Data Engineer Spark Scala/AWS/Python
Description du poste
Nous sommes le premier industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients.
Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d’usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique.
Nous comptons plus de 900 collaborateurs en mission chez nos clients grands comptes dans tout secteur d’activité
Dans le cadre du renforcement de son équipe Data, notre client recherche un Big Data Engineer H/F pour contribuer au développement et à l'exploitation de sa plateforme Data sur AWS.
Vous intégrerez une équipe Core Data en charge d'un Data Lake centralisé, sécurisé et performant, ainsi que de traitements Big Data développés en Scala / Spark et de la plateforme Dataiku.
Vous évoluerez dans un environnement transverse, en collaboration avec les équipes Data, BI, Data Science et les directions métiers, selon une méthodologie Agile SAFe.
Missions
- Concevoir, développer et optimiser des pipelines de données (ingestion, transformation, export).
- Développer des traitements Big Data avec Spark Scala, Python et SQL.
- Exploiter et faire évoluer les architectures Data Lake sur AWS.
- Développer et maintenir des Flows et WebApps sur Dataiku.
- Mettre en œuvre des flux batch et streaming avec Kafka.
- Orchestrer les traitements et leurs dépendances avec Airflow.
- Garantir la qualité, la performance et la fiabilité des données.
- Assurer le maintien en condition opérationnelle de la plateforme : supervision, analyse des anomalies et résolution des incidents.
- Participer aux tests, revues de code, déploiements et pratiques CI/CD.
- Maintenir la documentation technique et collaborer avec les équipes métiers et techniques.
Profil recherché
Vous justifiez d'une expérience en Data Engineering, idéalement dans des environnements Big Data à forte volumétrie.Vous maîtrisez
- Spark Scala, Python et SQL.
- AWS : S3, EMR, EKS, EC2, Lambda, Athena.
- Dataiku DSS : Flows et WebApps.
- Kafka / MSK et Airflow.
- GitLab, CI/CD, Maven et Terraform.
Ce poste vous intéresse ?