Data engineer

Dans le cadre d’un projet stratégique au sein d’un acteur majeur du secteur bancaire, vous interviendrez sur une plateforme de traitement des données de marché utilisée dans le cadre de la gestion des risques.

La plateforme repose sur deux briques principales :

DataStage, utilisé pour l’ingestion des données et la préparation d’une couche de données brute.

Dataiku, utilisé pour l’implémentation des règles de gestion et la transformation des données. Vous participerez à l’évolution des flux de données et à l’implémentation des règles permettant d’assurer la fiabilité et la cohérence des données utilisées par les équipes métier.

Vos missions

Analyser les besoins métiers et les règles de gestion fournies par la MOA.

Implémenter et faire évoluer les flux de transformation de données sous Dataiku (recipes visuelles, jointures de datasets, requêtes SQL).

Analyser et modifier les pipelines de données existants en garantissant la stabilité des traitements.

Réaliser des tests et contrôles de cohérence des données.

Développer et maintenir les pipelines d’ingestion sous DataStage.

Gérer l’ingestion de fichiers et l’alimentation d’une couche de données brute (raw layer).

Échanger avec les équipes métier afin de clarifier et challenger certaines règles de gestion.

Profil recherché

Expérience de 5 ans minimum en data engineering / data processing

Très bonne maîtrise du SQL

Expérience avec Dataiku et/ou DataStage

Rigueur dans l’analyse et le traitement des données Environnement technique :

Dataiku

DataStage

SQL avancé / DB2 ou autre base relationnelle

Python

S3

GitLab (CI/CD)

IWS