DWH Разработчик, Москва

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Сейчас мы ищем разработчика на задачи разработки DWH платформы и автоматизации ETL-процессов.

Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов Mail.ru (почта, портал, медиапроекты, облако, звонки и др.).

Задачи

• Разработка DWH платформы;
• Перевод  ETL пайплайнов на стриминг событий; 
• Проектирование схем для хранения данных;
• Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
• Автоматизация data-pipelines, ETL процессов;
• Подготовка витрин данных;
• Организация CI/CD и мониторинга процессов обработки данных.

Наш стек:

• экосистема Hadoop (hdfs, Yarn, Hive, Spark, Flume, etc)
• DB: Vertica, PostgreSQL, ClickHouse;
• Streaming: Kafka;
• ETL: Airflow, Own DataFlow System;
• BI: Tableau, Redash, Grafana.

Требования

• опыт DWH разработки от 3 лет и знание Python/Go/Java;
• глубокое понимание и опыт работы с экосистемой Hadoop, классических RDBMS;
• опыт организации ETL-процессов обработки данных;
• Linux и Bash;
• умение собирать ожидания и потребности заказчиков и управлять ими.

Будет плюсом

• опыт разработки ETL на Airflow;
• опыт работы с Vertica;
• опыт работы с фреймворками потоковой обработки данных (spark streaming, flink, samza и т.д.);
• опыт работы с Docker и Kubernetes;
• ссылки на публичные репозитории, статьи с примерами работы.

Мы предлагаем