Data Engineer в Яндекс Еду

Технологии и команда экспертов мирового уровня

Каждый день сотни IT-команд Яндекса решают сложные, уникальные и интересные технологические задачи. У нас можно работать в разных командах с разной продуктовой культурой и атмосферой: в больших хайлоад-сервисах и небольших внутренних стартапах. Все специалисты влияют на развитие продукта, помогают встраивать и развивать топовые технологии в сервисах, которые делают жизнь миллионов людей лучше.

• Сильная команда, с которой можно расти и самому стать экспертом мирового уровня
• Возможность поработать с разными командами над разными задачами и продуктами
• Участие в разработке технологий, которые влияют на мировую IT-индустрию
• Культура инноваций и создание по‑настоящему уникальных продуктов и сервисов

О вакансии

Яндекс Еда — это сервис доставки еды из ресторанов и магазинов. Наша цель — создать лучший фудтех-продукт на рынке, и для этого нам предстоит решить множество непростых и интересных задач.

Мы расширяем команду и ищем дата-инженеров в команду DWH. Служба разработки платформы управления данными (DMP) формирует актуальные и полные данные для сервиса.

Нам нужны инженеры данных, которые вместе с аналитиками будут проектировать и оптимизировать сложные расчёты и алгоритмы, а также разрабатывать инструменты для сотен бизнес-пользователей.

Какие задачи вас ждут

Оптимизация ETL-процессов

Вам предстоит работать с большими массивами данных, выявлять узкие места в пайплайнах обработки и предлагать решения для их ускорения, решать задачи по оптимизации SQL-запросов, настройке распределённых вычислений.

Обработка данных

Вы будете преобразовывать сырые данные в структурированный формат для дальнейшего анализа. Это включает очистку данных, работу с пропусками и аномалиями, а также создание признаков для моделей и отчётов.

End-to-end-управление данными

Вы будете отвечать за полный цикл работы с данными: от их извлечения из источников до трансформации, хранения и конечного использования в аналитике или ML-моделях.

Поддержка и развитие data-решений

Вы будете поддерживать существующие ETL-процессы, оперативно исправлять инциденты и дорабатывать инфраструктуру для повышения отказоустойчивости. Также в зоне ответственности — документирование процессов и настройка мониторинга качества данных.

Мы ждем, что вы

• Работали с отладчиками и верификаторами
• Уверенно программируете на Python
• Разбираетесь в классических алгоритмах и структурах данных
• Хорошо знаете SQL и понимаете устройство современных реляционных баз данных
• Понимаете и можете объяснить необходимость непрерывной интеграции и непрерывной доставки (CI/CD), преимущества использования Git и код-ревью

Будет плюсом, если вы

• Руководили стажёрами или начинающими специалистами
• Работали по методологии Agile
• Участвовали в проектировании хранилищ данных
• Создавали сложные высоконагруженные процессы ETL и ELT (отдельным плюсом будет знание инструментов Luigi и Airflow)
• Разрабатывали процессы обработки сложных событий (CEP) во времени, приближенном к реальному (Kafka Streams, Spark, Flink)
• Знакомы со стеком технологий Hadoop, Spark, Hive
• Работаете со специализированными аналитическими базами данных (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, Pandas, SciPy, Matplotlib, Bokeh)
• Программируете на C++

Что мы предлагаем

Высокий совокупный доход Премии каждые полгода для всех, кто успешно прошёл ревью.

Офисы, в которые хочется ходить В офисах есть всё, что нужно для комфортной работы: удобные рабочие зоны, уютные места для отдыха, кофепойнты для спокойных перерывов.

В офисах в Москве, Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани и Нижнем Новгороде есть тренажёрные залы со всем необходимым.

Расширенная медицинская страховка Начинает работать с первого месяца. В неё входят:

• плановая и неотложная помощь, стоматология, расширенный превентивный чекап, телемедицина 24/7;
• психотерапия в онлайн-сервисах наших партнёров;
• после года работы добавляется лазерная коррекция зрения, после двух — ведение беременности и роды.

Также мы покрываем 80% стоимости ДМС для супругов и детей.

Возможности для роста Есть всё, чтобы учиться: внутренняя платформа с 100+ курсами, менторство и программы для руководителей.

Оплачиваем участие в профильных конференциях и помогаем подготовиться к публичным выступлениям.

Если для работы нужен иностранный язык, поможем организовать обучение и оплатим 50% стоимости.

И ещё Делаем закрытые мероприятия: вечеринки, фестивали и другие ивенты.

В Яндексе много клубов по интересам, Random Coffee, сервисы для знакомств и взаимопомощи. А наши спортивные клубы регулярно участвуют в забегах, триатлонах и других соревнованиях.

На портале скидок масса специальных предложений для сотрудников от наших партнёров.

Доступно соискателям с инвалидностью

Ключевые навыки

• ETL
• Clickhouse
• Python
• SQL
• Apache Airflow
• Hadoop
• Greenplum

Задайте вопрос работодателю

Он получит его с откликом на вакансию Где располагается место работы? Какой график работы? Вакансия открыта? Какая оплата труда? Как с вами связаться? Другой вопрос

Где предстоит работать

Москва, Деловой центр, Москва-Сити, Тестовская, Тестовская, 1-й Красногвардейский проезд, 22с1 Показать на большой карте