Data Engineer

О проекте

Вы присоединитесь к проекту одной из ведущих международных консалтинговых компаний, которая сотрудничает с крупнейшими организациями по всему миру.

Проект направлен на разработку высоконагруженной платформы обработки данных для кредитного скоринга.

Команда создаёт корпоративную платформу данных, предназначенную для обработки больших объёмов данных, автоматизации ETL-процессов и развития аналитической инфраструктуры.

Чем предстоит заниматься

• Регулярно запускать и поддерживать production-пайплайны обработки данных;
• Мониторить стабильность пайплайнов и расследовать причины сбоев;
• Поддерживать процессы регламентного переобучения моделей;
• Разрабатывать и поддерживать многостадийные ETL-пайплайны;
• Работать с OLAP-СУБД и механизмами массовой загрузки данных;
• Подготавливать и поддерживать операционную отчётность;
• Работать с большими объёмами клиентских и аналитических данных;
• Взаимодействовать с командами Data Engineering, Machine Learning и DevOps.

Требования

• 4 года опыта в Data Engineering;
• Опыт работы с большими объёмами клиентских данных, желательно в банках, финтехе или телекоме;
• Уверенный SQL: оптимизация тяжёлых аналитических запросов; оконные функции; партиционирование; батчевая обработка; работа с большими выборками и контроль OOM;
• Практический опыт работы с OLAP-СУБД;
• Понимание и практический опыт массовой загрузки данных (Stream Load, bulk insert или аналогичные механизмы);
• Уверенный Python, включая PySpark, pandas, pyarrow, Parquet;
• Опыт построения многостадийных ETL-пайплайнов;
• Понимание и применение идемпотентности при обработке данных;
• Опыт реализации механизмов восстановления после сбоев;
• Практический опыт работы с системами оркестрации: Airflow, Dagster, Prefect или аналогичными;
• Опыт интеграции разнородных внешних источников данных будет преимуществом.

Мы предлагаем

• Возможность работать над масштабным проектом в сфере финансовых технологий;
• Сложные технические задачи, связанные с высоконагруженными системами и большими объёмами данных;
• Работу в опытной команде Data Engineering, Machine Learning и DevOps;
• Конкурентоспособную заработную плату в зависимости от опыта и технической экспертизы.

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?

Какой график работы?

Вакансия открыта?

Какая оплата труда?

Как с вами связаться?

Другой вопрос

Где предстоит работать

Ташкент

Показать на большой карте