Разработчик Python, Москва

Откликнуться

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Сейчас мы ищем разработчика на задачи разработки DWH платформы и автоматизации ETL-процессов.

Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов Mail.Ru (Почта, Медиапроекты, Облако, Звонки, Маруся и др.). А также разработкой сервисов для решения различных бизнес-задач с этими данными. В данный момент наш вычислительный кластер хранит десятки петабайт данных.

Задачи

Разработка DWH платформы
Разработка ETL data-pipelines
Проектирование схем для хранения данных
Разработка сервисов для доступа к данным
Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/маркетинговые платформы)
Подготовка витрин данных
Организация CI/CD и мониторинга процессов обработки данных

Наш стек:

Язык разработки Python3
Экосистема Hadoop3 (hdfs, Yarn, Hive, Spark)
DB: PostgreSQL, ClickHouse
ETL: Airflow, Kafka

Требования

Опыт разработки сервисов на Python (от 2х лет)
Базовые знания SQL
Готовность погрузиться в стек Hadoop
Опыт использования контроля версий git
Умение работать в команде

Будет плюсом

Понимание и опыт работы с экосистемой Hadoop, классических RDBMS
Linux и Bash
Опыт работы с языками Java/Go
Опыт работы с Docker и Kubernetes
Cсылки на публичные репозитории, статьи с примерами работы

Мы предлагаем

Официальная зарплата

Гибкий график работы

Бонусы и скидки от партнеров

Офис в центре города

ДМС

Профессиональная команда

Откликнуться