Data Engineer

SM Lab — ИТ-компания, которая создаёт и развивает информационные системы, цифровые сервисы, а также обеспечивает качество и надёжность решений для крупных ритейлеров одежды, обуви и спортивных товаров. Компания развивает флагманские продукты, отвечающие современным рыночным трендам. Внутри SM Lab применяются гибкие методологии, осуществляется трансформация бизнес-процессов с переводом их в цифровое пространство, и создаются уникальные технологические решения для ритейла.

Мы находимся в поиске Data Engineera в платформенную команду BI.

Команда занимается развитием корпоративного хранилища данных (DataLake). Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и помогает коллегам в оптимизации сложных потоков.

Обязанности:

• Реализация ETL в Hadoop (с помощью Airflow);
• Работа с различными источниками данных: Oracle MS SQL API личных кабинетов, микросервисы;
• Батч и стримы с помощью PySpark и Kafka;
• Подготовка витрин для анализа (Hive + Spark+ SQL).

Требования:

• Уверенное владение Python;
• Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;
• Знание SQL;
• Опыт работы с реляционными базами данных (Oracle).

Наш стек: Kafka, Spark, Airflow, Jira, Confluence, GitLab.

*БАЛАНС РАБОТЫ И ЛИЧНОЙ ЖИЗНИ

Ключевые навыки

• Apache Kafka
• Spark
• Apache Airflow
• Hadoop
• Python

Задайте вопрос работодателю

Он получит его с откликом на вакансию Где располагается место работы? Какой график работы? Вакансия открыта? Какая оплата труда? Как с вами связаться? Другой вопрос

Где предстоит работать

Москва