Data engineer (Data Science platform), Москва

Задачи

  • развитие платформы хранения и обработки больших данных;
  • внедрение новых инструментов для анализа данных / машинного обучения;
  • разработка сервисов облегчающих работу data-science-специалистов;
  • решение различных задач связанных с производительностью и отказоустойчивостью big-data-инфраструктуры;
  • создание новых и поддержка рабочих пайплайнов - MapReduce, Spark, Samza;
  • взаимодействие с командами DataScience и SRE;
  • написание новой и дополнение уже имеющейся документации.

Требования

  • готовность к самостоятельному обучению и постоянному развитию;
  • понимание принципов работы локальных сетей и основных сетевых сервисов;
  • знания принципов работы баз данных и распределенных систем хранения и обработки данных;
  • знание Bash/Python для автоматизации процессов и Java/Scala для поддержки ETL и внедрения новых сервисов;
  • опыт администрирования GNU/Linux, сборки пакетов и понимание принципов заложенных в Kerberos/SSL;
  • опыт работы с системами мониторинга и инструментами для сбора метрик;
  • опыт работы с со свежими версиями продуктов фонда Apache: Hadoop, Kafka, Spark, Zeppelin, Airflow, Zookeeper.

Технологический стэк: hadoop-3.1.x / kafka-2.4.x / spark-2.3.x / airflow-1.10.x / zeppelin-0.8.x / zookeeper-3.6.x.

Мы предлагаем

Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи

Одноклассники

Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок. 

Похожие вакансии

Одноклассники, Санкт-Петербург

DevOps linux

Системный администратор Linux

Panzerdog, Калининград

linux

Программист Elixir (Panzerdog, MY.GAMES)

MY.GAMES, Москва

c++ linux

Программист С++ в отдел портирования(MGVC)

Delivery Club, Москва

python linux kubernetes

Site Reliability Engineer

Delivery Club, Москва

linux kubernetes

DevOps (Kubernetes)

WhaleKit, Москва

DevOps linux unix kubernetes NoSQL

DevOps / Unix-системный администратор

Mail.ru Цифровые Технологии, Москва

linux architecture

Архитектор

Одноклассники, Санкт-Петербург

java hadoop

Hadoop developer (Big Data- аналитик)

Tarantool, Москва

c++ lua linux

Разработчик решений

Mail.ru Group, Москва

python hadoop DWH ETL

DWH-разработчик (департамент бизнес-процессов)

Одноклассники, Санкт-Петербург

java hadoop data science

Data Scientist (проект "Дискуссии")

Рекламные технологии, Москва

linux bash advertising

DOOH инженер

Одноклассники, Москва

linux bash

DevOps инженер / системный администратор Linux

Эксплуатация Unix, Москва

python linux MySQL PostgreSQL kubernetes

Инженер доступности сервисов / SRE

Рекламные технологии, Москва

python bigdata hadoop

Senior Big Data Engineer в AdTech-направление

Delivery Club, Москва

linux management

Head of Stability & Tooling

Mail.ru Cloud Solutions, Москва

python go linux openstack algorithms

Python/Go-разработчик в команду PaaS

Технический департамент, Москва

python linux

Team lead в в группу Автоматизации

Юла, Москва

linux MySQL kubernetes

DevOps

Геосервисы, Москва

c++ linux

Старший C++ разработчик (routing platform)

Pixonic, Москва

DevOps linux SRE

DevOps инженер

Одноклассники, Москва

javascript java react hadoop spark

Java разработчик (проект "Товарной платформы")

​Платформа «Mail.ru для бизнеса», Москва

linux openstack

DevOps

VK Pay, Москва

python linux PostgreSQL

Python разработчик

Allods Team, Москва

c++ c# linux

Backend-разработчик C#

r_keeper, Москва

linux kubernetes

DevOps

Одноклассники, Москва

java hadoop SQL ETL

Data Engineer

Mail.ru Cloud Solutions, Москва

python c++ go linux

Руководитель группы разработки PaaS