DWH Разработчик, Москва

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Сейчас мы ищем разработчика на задачи разработки DWH платформы и автоматизации ETL-процессов.

Команда занимается разработкой платформы для хранения и обработки данных ключевых сервисов Mail.ru (почта, портал, медиапроекты, облако, звонки и др.).

Задачи

  • Разработка DWH платформы;
  • Перевод  ETL пайплайнов на стриминг событий; 
  • Проектирование схем для хранения данных;
  • Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.);
  • Автоматизация data-pipelines, ETL процессов;
  • Подготовка витрин данных;
  • Организация CI/CD и мониторинга процессов обработки данных.

Наш стек:

  • экосистема Hadoop (hdfs, Yarn, Hive, Spark, Flume, etc)
  • DB: Vertica, PostgreSQL, ClickHouse;
  • Streaming: Kafka;
  • ETL: Airflow, Own DataFlow System;
  • BI: Tableau, Redash, Grafana.

Требования

  • опыт DWH разработки от 3 лет и знание Python/Go/Java;
  • глубокое понимание и опыт работы с экосистемой Hadoop, классических RDBMS;
  • опыт организации ETL-процессов обработки данных;
  • Linux и Bash;
  • умение собирать ожидания и потребности заказчиков и управлять ими.

Будет плюсом

  • опыт разработки ETL на Airflow;
  • опыт работы с Vertica;
  • опыт работы с фреймворками потоковой обработки данных (spark streaming, flink, samza и т.д.);
  • опыт работы с Docker и Kubernetes;
  • ссылки на публичные репозитории, статьи с примерами работы.

Мы предлагаем

Официальная зарплата
Гибкий график работы
Бонусы и скидки от партнеров
Офис в центре города
ДМС
Профессиональная команда

Mail.ru Group

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group. 

Похожие вакансии

MY.GAMES, Москва

python SQL ETL

Аналитик

Одноклассники, Санкт-Петербург

java

Java-разработчик (проект "Поиск")

​Платформа «Mail.ru для бизнеса», Москва

python

Руководитель команды разработки в B2B

Delivery Club, Москва

python machine learning

Senior Data Scientist

Рекламные технологии, Москва

python QA automation

Инженер по автоматизации тестирования

Рекомендательные сервисы, Москва

python django asyncio

Python разработчик

myTarget: рекламная платформа Mail.ru Group, Москва

python c++

C++-разработчик для обработки статистики и развития сети

Mail.ru Cloud Solutions, Москва

go perl lua

Go-разработчик в команду Hotbox

Mail.ru Cloud Solutions, Москва

go perl lua

Go-разработчик в команду IAM

ВКонтакте, Санкт-Петербург

java android kotlin

Android-разработчик во Вконтакте

Почта, Москва

go

Go - разработчик в команду почтового хранилища

Одноклассники, Санкт-Петербург

python unix

Инженер-разработчик Data Science (проект "Лента")

Департамент по экосистемным продуктам Mail.ru Group, Москва

DWH analytics architecture

Аналитик данных

Myteam, Москва

java android kotlin

Android-разработчик

ВКонтакте, Санкт-Петербург

java

Java-разработчик в Единое видео

Одноклассники, Санкт-Петербург

java

Java-разработчик (проект "Лента")

Одноклассники, Москва

hadoop linux spark

Data engineer (Data Science platform)

Департамент исследований и образования, Москва

python django

Python-разработчик

Одноклассники, Санкт-Петербург

java backend

Java-разработчик ("ТамТам")

myTarget: рекламная платформа Mail.ru Group, Москва

python

Python-разработчик в myTarget

WhaleKit, Москва

java

Senior Java-разработчик, студия Whalekit

Юла, Москва

java QA automation

Инженер по автоматизации тестирования

VK Pay, Москва

python aiohttp asyncio

Python-разработчик в команду умной ленты

Mail.ru Group, Москва

python SQL

Инженер данных (Data Engineer) в Департамент бизнес-процессов

Геосервисы, Москва

python linux PostgreSQL bash kubernetes

DevOps

Mail.ru Cloud Solutions, Москва

python linux kubernetes

Python-разработчик в команду IaaS

Отдел медиабаинга, Москва

python analytics SQL

Антифрод аналитик

Mail.ru Cloud Solutions, Москва

go perl lua

Go разработчик в IAM

Одноклассники, Санкт-Петербург

java hadoop

Hadoop developer (Big Data- аналитик)

E-Commerce, Москва

go PostgreSQL

Go-разработчик в команду PayDay

Mail.ru Group, Москва

python analytics SQL marketing

Маркетинговый аналитик

Рекомендательные сервисы, Москва

go linux PostgreSQL

Go-разработчик

VK Pay, Москва

javascript vue.js python django

Full Stack разработчик

Юла, Москва

java android kotlin

Android разработчик в проект Юла

MY.GAMES, Москва

javascript python

Python-разработчик

MY.GAMES, Москва

go

Go-разработчик

Эксплуатация Unix, Москва

python linux MySQL PostgreSQL kubernetes

Инженер доступности сервисов / SRE

Mail.ru Cloud Solutions, Москва

python go linux kubernetes

Python/Go-разработчик в команду PaaS (DinApp)

Mail.ru Cloud Solutions, Москва

python go linux kubernetes

Python/Go-разработчик в команду PaaS (Runtime)

VK Pay, Москва

python asyncio

Python-разработчик в команду CREED

MY.GAMES, Москва

python SQL

ML-инженер

Внутреняя информационная разработка, Москва

python react django

Fullstack разработчик (Python, Javascript)

Mail.ru Group, Москва

java android kotlin

Android-разработчик в Notify

r_keeper, Москва

python PostgreSQL SQL

Продуктовый аналитик

myTarget: рекламная платформа Mail.ru Group, Москва

python go linux highload

Go-разработчик в myTarget

Delivery Club, Москва

python go kubernetes

Go/Python-разработчик в команду R&D (Delivery club)

Проект myTracker, Москва

python SQL

Data Scientist

Одноклассники, Санкт-Петербург

javascript java

Fullstack-разработчик

Delivery Club, Москва

python linux kubernetes

Site Reliability Engineer

MY.GAMES, Москва

python linux unix MySQL PostgreSQL bash

Системный администратор Linux

Отдел медиабаинга, Москва

python analytics SQL marketing

Аналитик

Myteam, Москва

go

Go-разработчик

VK Pay, Москва

python QA automation API

Инженер по автоматизации тестирования / SDET / QA Automation Engineer (VK Pay)

Одноклассники, Москва

analytics SQL ETL

Продуктовый Аналитик / Product Analyst

Юла, Москва

go php architecture

Backend Teamlead (Platform)

WhaleKit, Москва

python ruby linux PostgreSQL

DevOps/Unix-системный администратор

MY.GAMES, Москва

java

Java-разработчик (MY.GAMES, студия Whalekit)

Mail.ru Group, Москва

python

Python-разработчик в Департамент бизнес-процессов

Worki, Москва

java kotlin mobile

Android-разработчик

Mail.ru Cloud Solutions, Москва

go perl lua tarantool

Руководитель команды разработки Hotbox

Рекламные технологии, Санкт-Петербург

python analytics SQL

Аналитик данных

r_keeper, Москва

java

Team lead (Java)

PREDICT, Москва

python machine learning

ML-инженер

Skyforge, Москва

java

Java программист

Технический департамент, Москва

go

Go-разработчик в проект NDA

Одноклассники, Санкт-Петербург

java android kotlin

Разработчик Android (проект "Дискавери")

Delivery Club, Москва

python analytics SQL

Аналитик

Delivery Club, Москва

go highload

Руководитель команды разработки Go/PHP (Discovery)

Голосовые технологии (Маруся), Москва

python aiohttp

Python разработчик

Delivery Club, Москва

python SQL

Руководитель направления привлечения и онбординга курьеров

Delivery Club, Москва

python analytics SQL

Операционный аналитик

VK Pay, Москва

python QA automation

Инженер по автоматизации тестирования / SDET / QA Automation Engineer (VK Pay)

Delivery Club, Москва

go highload

Руководитель команды разработки Go/PHP (Market Tech)

Pixonic, Москва

java

Старший Java-разработчик (Аналитическая платформа)

E-Com платформа, Москва

python react

Backend-разработчик в команду Е-commerce

Одноклассники, Москва

javascript java

Full-stack разработчик в "Новые пользователи"

Одноклассники, Санкт-Петербург

java hadoop data science

Data Scientist (проект "Дискуссии")

Развивай.рф, Москва

java DevOps linux

DevOps-инженер

Mail.ru Цифровые Технологии, Москва

go

Go-разработчик в Налоговый мониторинг

Pixonic, Москва

java

Java-разработчик

MY.GAMES, Москва

python hadoop ETL

Разработчик BI-DWH

Одноклассники, Санкт-Петербург

java android kotlin

Android-разработчик (intern)

E-Commerce, Москва

go

Go-разработчик в Notify

Одноклассники, Москва

javascript java SQL

Fullstack-разработчик (проект "Монетизации")

Mail.ru Group, Москва

python analytics SQL

Аналитик данных

Почта, Москва

python c++ go

С++ программист в Vision

Одноклассники, Москва

java

Java разработчик (проект "Новых пользователей")

Одноклассники, Санкт-Петербург

javascript java NoSQL

Java разработчик (проект "Фото")

​Платформа «Mail.ru для бизнеса», Москва

go linux

DevOps

VK Pay, Москва

python linux PostgreSQL

Python разработчик

Одноклассники, Москва

java hadoop SQL ETL

Data Engineer

IT Territory, Воронеж

java backend

Java-разработчик (back-end игр)

Mail.ru Group, Москва

javascript python go kubernetes

Fullstack-разработчик (Python/Go/JS) в команду аналитики

Одноклассники, Москва

java android kotlin

Разработчик Android (проект "Новых пользователей")

Data office, Москва

python hadoop PostgreSQL scala

Разработчик-исследователь