Data engineer (Data Science platform), Москва

Задачи

  • развитие платформы хранения и обработки больших данных;
  • внедрение новых инструментов для анализа данных / машинного обучения;
  • разработка сервисов облегчающих работу data-science-специалистов;
  • решение различных задач связанных с производительностью и отказоустойчивостью big-data-инфраструктуры;
  • создание новых и поддержка рабочих пайплайнов - MapReduce, Spark, Samza;
  • взаимодействие с командами DataScience и SRE;
  • написание новой и дополнение уже имеющейся документации.

Требования

  • готовность к самостоятельному обучению и постоянному развитию;
  • понимание принципов работы локальных сетей и основных сетевых сервисов;
  • знания принципов работы баз данных и распределенных систем хранения и обработки данных;
  • знание Bash/Python для автоматизации процессов и Java/Scala для поддержки ETL и внедрения новых сервисов;
  • опыт администрирования GNU/Linux, сборки пакетов и понимание принципов заложенных в Kerberos/SSL;
  • опыт работы с системами мониторинга и инструментами для сбора метрик;
  • опыт работы с со свежими версиями продуктов фонда Apache: Hadoop, Kafka, Spark, Zeppelin, Airflow, Zookeeper.

Технологический стэк: hadoop-3.1.x / kafka-2.4.x / spark-2.3.x / airflow-1.10.x / zeppelin-0.8.x / zookeeper-3.6.x.

Мы предлагаем

Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи

Одноклассники

Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок. 

Похожие вакансии

Поиск, Москва

hadoop linux spark

Инженер по тестированию

Рекламные технологии, Москва

hadoop linux spark

Инженер по автоматизации тестирования (Python)

Поиск, Москва

hadoop linux spark

Ведущий программист Java (Hadoop, Spark)

Tarantool, Москва

hadoop linux spark

Java разработчик

Mail.ru Cloud Solutions, Москва

hadoop linux spark

Python-разработчик в команду IaaS

Mail.ru Цифровые Технологии, Москва

hadoop linux spark

Teamlead DevOps команды

Одноклассники, Санкт-Петербург

hadoop linux spark

Hadoop developer (Big Data- аналитик)

Mail.ru Group, Москва

hadoop linux spark

Руководитель команды разработки DWH платформы

Mail.ru Cloud Solutions, Москва

hadoop linux spark

Системный администратор/SRE

Одноклассники, Москва

hadoop linux spark

DevOps инженер / системный администратор Linux

Юла, Москва

hadoop linux spark

C++ разработчик

Tarantool, Москва

hadoop linux spark

Си разработчик

Pixonic, Москва

hadoop linux spark

DevOps инженер

Юла, Москва

hadoop linux spark

Senior DevOps-инженер

MAPS.ME, Москва

hadoop linux spark

DevOps-инженер

myTarget: рекламная платформа Mail.ru Group, Москва

hadoop linux spark

Инженер по автоматизации тестирования

Голосовые технологии (Маруся), Москва

hadoop linux spark

C++ разработчик

Tarantool, Москва

hadoop linux spark

Разработчик решений

Одноклассники, Санкт-Петербург

hadoop linux spark

Java разработчик (Поддержка пользователей)

Instant Messengers, Москва

hadoop linux spark

С++ разработчик

E-Com платформа, Москва

hadoop linux spark

DevOps-инженер

Одноклассники, Санкт-Петербург

hadoop linux spark

Data Scientist

Одноклассники, Москва

hadoop linux spark

Data Engineer