DWH Разработчик, Москва
Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.
Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.
Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.
Сейчас мы ищем разработчика на задачи разработки DWH платформы и автоматизации ETL-процессов.
Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов Mail.ru (почта, портал, медиапроекты, облако, звонки и др.).
Задачи
- Разработка DWH платформы;
- Перевод ETL пайплайнов на стриминг событий;
- Проектирование схем для хранения данных;
- Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
- Автоматизация data-pipelines, ETL процессов;
- Подготовка витрин данных;
- Организация CI/CD и мониторинга процессов обработки данных.
Наш стек:
- экосистема Hadoop (hdfs, Yarn, Hive, Spark, Flume, etc)
- DB: Vertica, PostgreSQL, ClickHouse;
- Streaming: Kafka;
- ETL: Airflow, Own DataFlow System;
- BI: Tableau, Redash, Grafana.
Требования
- опыт DWH разработки от 3 лет и знание Python/Go/Java;
- глубокое понимание и опыт работы с экосистемой Hadoop, классических RDBMS;
- опыт организации ETL-процессов обработки данных;
- Linux и Bash;
- умение собирать ожидания и потребности заказчиков и управлять ими.
Будет плюсом
- опыт разработки ETL на Airflow;
- опыт работы с Vertica;
- опыт работы с фреймворками потоковой обработки данных (spark streaming, flink, samza и т.д.);
- опыт работы с Docker и Kubernetes;
- ссылки на публичные репозитории, статьи с примерами работы.
Мы предлагаем
Mail.ru Group

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.