python hadoop Airflow

Задачи

  • участие совместно с командой data scientist’ов в процессе создания рекомендательной системы для игрового направления: feature engineering, оптимизация загрузки и хранения данных, организация процесса валидации данных;
  • участие в создании бэкенда для рекомендательной системы: разработка микросервисов для загрузки и обработки данных;
  • разработка ETL-процессов;
  • повышение надежности и отказоустойчивости ETL-процессов;
  • реализация построения отчетности по основным онлайн- и офлайн-метрикам.

Требования

  • опыт в разработке ETL-процессов (плюсом будет опыт работы c Airflow) — от 2 лет;
  • опыт программирования на Python — от 3 лет;
  • опыт работы с большими данными — от 1 года;
  • опыт работы со стеком Hadoop, Hive и Spark;
  • уверенное знание SQL на уровне написания сложных запросов;
  • умение оптимизировать процессы обработки и загрузки данных на SQL, Spark и Python;
  • знание Linux, Bash.

Похожие вакансии

python machine learning Bigdata

Data Scientist (myTracker)

Проект myTracker, Москва
python linux unix MySQL bash System Administration Engineer

Site Reliability Engineer

Эксплуатация Unix, Москва
python

Python разработчик (инфраструктура)

Маруся, Москва
python MySQL

Ведущий Python разработчик в Таргет

myTarget: рекламная платформа Mail.ru Group, Москва
python

Руководитель команды Python разработчиков

Внутреняя информационная разработка, Москва
python DevOps bash git kubernetes openstack

Технический директор (MCS)

Mail.ru Cloud Solutions, Москва
java hadoop

Hadoop developer (Big Data- аналитик)

Одноклассники, Санкт-Петербург
python SQL

Старший аналитик/Data Scientist в продуктовую аналитику

Юла, Москва
java hadoop DWH

Ведущий DWH разработчик - Развитие.ру

Новый проект, Москва
python bash

Разработчик инфраструктуры автоматизированного тестирования

Поиск, Москва
python Bigdata analytics

Data Scientist

Направление PREDICT, Москва
python go

Разработчик в Группу Автоматизации

Технический департамент, Москва
python

Python разработчик Дети

Здоровье Mail.ru, Москва
python Bigdata analytics

Team leader Data Science

Направление PREDICT, Москва
python ios product management laravel

Преподаватели GeekBrains

GeekBrains, Москва
java hadoop

Ведущий программист Java (Hadoop, Spark)

Поиск, Москва
Bigdata hadoop SQL

Data engineer (SQL)

Мой Мир, Москва
python c++ machine learning

Ведущий разработчик машинного обучения

Антиспам, Москва
python SQL

Старший аналитик

Юла, Москва
python machine learning Bigdata

Senior Data Scientist

Проект myTracker, Москва
python

Продуктовый аналитик (VK Pay)

VK Pay, Москва
machine learning java hadoop unix spark

Big Data developer (Data Science platform)

Одноклассники, Москва
hadoop spark

Data Scientist (deep learning)

Одноклассники, Санкт-Петербург
java hadoop SQL ETL

Data Engineer

Одноклассники, Москва
python analytics

Data Scientist / Программист-исследователь

Delivery Club, Москва
python

Senior Python Разработчик

MAPS.ME, Москва
python

Data scientist, NLP

Маруся, Москва
python php java Account manager

Технический аккаунт менеджер (myTracker)

Проект myTracker, Москва
python go CI

Разработчик Python/Go

Антиспам, Москва
python SQL

Data Scientist

Рекомендательные системы, Москва
python linux cisco

Сетевой инженер

Mail.ru Group, Москва
python SQL

Старший продуктовый аналитик (департамент AdVentures)

adVentures, Москва
python SQL

Аналитик больших данных

Рекламные технологии, Москва

Поиск вакансий