Data Engineer Python H/F

Détail du poste

Dans le cadre d'un projet de mise à disposition de données à des fins d'analyse, de test ou de développement, vous contribuez à concevoir et industrialiser des traitements de préparation et d'anonymisation de données. Vous veillez à leur qualité, leur traçabilité et leur exécution à l'échelle.

Les objectifs et critères d'anonymisation sont définis avec les interlocuteurs compétents, notamment le DPO et les équipes Conformité et Sécurité. La pseudonymisation ne doit pas être assimilée à l'anonymisation.

Missions principales

• Concevoir, développer et maintenir des pipelines de données en Python.
• Traiter des volumes importants à l'aide de Dask et Polars, en évaluant leur pertinence selon les cas d'usage.
• Mettre en oeuvre les transformations définies dans le cadre du projet : suppression ou transformation de champs, généralisation, agrégation ou autres techniques retenues.
• Contribuer à la détection des données directement ou indirectement identifiantes, en coordination avec les experts concernés.
• Développer des contrôles automatisés : schéma, qualité, cohérence, complétude et détection de régressions.
• Mesurer les performances des traitements et optimiser leur consommation de ressources.
• Assurer la traçabilité des traitements, des versions de code et des jeux de données produits.
• Documenter les règles de transformation, les limites connues et les résultats des contrôles.
• Participer aux revues de code, aux tests et à l'intégration continue.
• Collaborer avec les équipes métiers, Data, Sécurité, Conformité et Protection des données.

Le profil recherché

Compétences techniques requisesTrès bonne maîtrise de Python et de l'écosystème data associé.Expérience pratique de Polars et/ou Dask ; capacité à comparer leurs usages et leurs performances.Maîtrise des traitements de données tabulaires et des formats courants : Parquet, CSV, JSON.Pratique de la conception de pipelines fiables et reproductibles.Maîtrise des tests automatisés, du contrôle de qualité des données et du versionnement avec Git.Connaissance des environnements de déploiement et d'exécution industrialisés : conteneurs, ordonnanceurs ou plateformes distribuées selon l'environnement du projet.Sensibilité aux enjeux de protection des données, de minimisation des accès et de sécurisation des environnements.