Big Data Platform Engineer, Москва

Задачи

  • развитие платформы хранения и обработки больших данных.

У нас:

  • big data: 4 hdfs кластера общим объемом ~100PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все сервера расположены в 5 разных дата центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
  • lang: java, scala, python, bash.

Требования

  • хорошее знание java/scala;
  • опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.

Мы предлагаем

Официальная зарплата
Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи

Одноклассники

Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок. 

Похожие вакансии

Mail.ru Cloud Solutions, Москва

python linux MySQL kubernetes

Руководитель команды IaaS

Одноклассники, Москва

DevOps linux

Системный администратор Linux

Эксплуатация Unix, Москва

python linux MySQL PostgreSQL kubernetes

Инженер доступности сервисов / SRE

MY.GAMES, Москва

c++ linux

Программист С++ в отдел портирования(MGVC)

Геосервисы, Москва

c++ linux

Старший C++ разработчик (search services)

MY.GAMES, Москва

python linux unix MySQL PostgreSQL bash

Системный администратор Linux

Tarantool, Москва

lua linux

Разработчик решений

MY.GAMES, Москва

machine learning linux bash

ML-инженер

Технический департамент, Москва

python go linux kubernetes

DevOps-инженер

IT Territory, Москва

linux unity 3d

Геймдизайнер

Юла, Москва

linux kubernetes

DevOps-инженер

Одноклассники, Санкт-Петербург

java hadoop

Hadoop developer (Big Data- аналитик)

Технический департамент, Москва

python go linux

Разработчик в группу Автоматизации

Mail.ru Cloud Solutions, Москва

python linux

SRE в MCS Private Cloud

Технический департамент, Москва

c++ go linux

Разработчик виртуальной инфраструктуры

Tarantool, Москва

lua linux

С-разработчик в команду Tarantool Language Runtime

Одноклассники, Санкт-Петербург

java hadoop data science

Data Scientist (проект "Дискуссии")

Mail.ru Cloud Solutions, Москва

python linux MySQL kubernetes openstack

Python-разработчик с знанием Storage (команда IaaS)

myTarget: рекламная платформа Mail.ru Group, Москва

python DevOps linux jenkins

DevOps-инженер (AdTech)

Одноклассники, Санкт-Петербург

linux bash

DevOps инженер / системный администратор Linux

Delivery Club, Москва

python hadoop spark SQL

System analyst / Data architect (DWH & BI)

WhaleKit, Москва

python ruby linux PostgreSQL

DevOps/Unix-системный администратор

Mail.ru Group, Москва

c++ linux

С++ разработчик

myTarget: рекламная платформа Mail.ru Group, Москва

go linux kubernetes highload

Go-разработчик

MGVC, Москва

php linux html

Full-stack разработчик

IT Territory, Москва

c# android linux unity 3d

Unity-разработчик (новый проект)

Рекомендательные сервисы, Москва

python c++ go machine learning hadoop kubernetes

Senior Data Scientist

Mail.ru Cloud Solutions, Москва

python linux kubernetes

Python-разработчик в команду IaaS

Delivery Club, Москва

python linux bash pentesting

Аналитик информационной безопасности

Mail.ru Cloud Solutions, Москва

python go linux kubernetes

Python/Go-разработчик в команду PaaS (Runtime)

MY.GAMES, Москва

python hadoop ETL

Разработчик BI-DWH

Антиспам, Москва

c++ linux

Руководитель команды С++ разработки в Антиспам

Mail.ru Цифровые Технологии, Москва

python linux kubernetes

Teamlead DevOps-команды

Pixonic, Москва

python linux bash

DevOps инженер

Почта, Москва

python linux kubernetes openstack

Devops

Рекомендательные сервисы, Москва

python linux asyncio

Python разработчик в Пульс

Технический департамент, Москва

linux

Специалист технической поддержки

Tarantool, Москва

c++ lua linux

Руководитель команды Enterprise

Департамент исследований и образования, Москва

linux MySQL PostgreSQL bash

Site Reliability Engineer

Технический департамент, Москва

python linux bash

Аналитик информационной безопасности (SOC)

Одноклассники, Москва

java hadoop spark

Data Architect

Mail.ru Group, Москва

python go java hadoop DWH ETL

Разработчик Python

MGVC, Минск

php linux

Технический руководитель

Одноклассники, Москва

linux

Эксперт по информационной безопасности

Delivery Club, Москва

linux kubernetes

DevOps-инженер

Развивай.рф, Москва

java DevOps linux

DevOps-инженер

Mail.ru Cloud Solutions, Москва

python go linux kubernetes

Python/Go-разработчик в команду PaaS (DinApp)

E-Commerce, Москва

linux bash jenkins kubernetes

DevОps

Одноклассники, Москва

java hadoop SQL ETL

Data Engineer

Mail.ru Cloud Solutions, Москва

python c++ go linux

Руководитель группы разработки PaaS