Разработчик Python, удаленно

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Сейчас мы ищем разработчика на задачи разработки DWH платформы и автоматизации ETL-процессов.

Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов Mail.Ru (Почта, Медиапроекты, Облако, Звонки, Маруся и др.). А также разработкой сервисов для решения различных бизнес-задач с этими данными. В данный момент наш вычислительный кластер хранит десятки петабайт данных.

Задачи

• Разработка DWH платформы
• Разработка ETL data-pipelines
• Проектирование схем для хранения данных
• Разработка сервисов для доступа к данным
• Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы)
• Подготовка витрин данных
• Организация CI/CD и мониторинга процессов обработки данных

Наш стек:

• Язык разработки Python 3
• Экосистема Hadoop3 (hdfs, Yarn, Hive, Spark)
• DB: PostgreSQL, ClickHouse
• ETL: Airflow, Kafka

Требования

• Опыт разработки сервисов на Python (от 2х лет)
• Базовые знания SQL
• Готовность погрузиться в стек Hadoop
• Опыт использования контроля версий git
• Умение работать в команде

Будет плюсом

• Понимание и опыт работы с экосистемой Hadoop, классических RDBMS 
• Linux и Bash 
• Опыт работы с языками Java/Go
• Опыт работы с Docker и Kubernetes
• Cсылки на публичные репозитории, статьи с примерами работы

Мы предлагаем