Data Engineer/Python/ IA Agentique F/H
JEMSDescription du poste
Descriptif du poste:\n\nDans le cadre du développement de nos activités Data, nous recherchons un(e) Data Engineer confirmé(e) - Python/IA Agentic H/F en CDI sur Paris disposant d'une solide expertise dans la conception et l'industrialisation de pipelines de données sur des environnements Cloud et Big Data.\nVous interviendrez sur des projets à forts enjeux techniques et métier, au sein d'environnements complexes nécessitant des compétences avancées en traitement de données distribuées, optimisation des performances et mise en production de solutions Data.\n \nVous serez impliqué(e) sur l'ensemble du cycle de vie des projets, de la conception des architectures techniques au déploiement des pipelines en production, en passant par le développement, les phases de tests et l'optimisation des traitements.\n \nVous pourrez également intervenir sur des projets innovants intégrant des cas d'usage d'Intelligence Artificielle générative et des architectures basées sur les LLM.\nVos principales missions\nConception et développement Data\n* Concevoir, développer et maintenir des pipelines de données ETL/ELT.\n* Développer des traitements distribués avec Python, PySpark et Apache Spark.\n* Concevoir des architectures Data robustes, évolutives et adaptées aux enjeux de volumétrie.\n* Mettre en place des frameworks et composants réutilisables pour industrialiser les développements.\n* Participer à la modélisation et à l'intégration de données issues de sources hétérogènes.\n* Garantir la qualité, la cohérence et la fiabilité des données.\n Optimisation et industrialisation\n* Optimiser les performances des traitements Spark et PySpark sur des volumes importants de données.\n* Analyser les performances des jobs et identifier les axes d'amélioration (Spark UI, partitionnement, jointures, gestion des ressources et dimensionnement des clusters).\n* Industrialiser les pipelines et automatiser les déploiements via des chaînes CI/CD.\n* Assurer le monitoring, la supervision et la maintenance des traitements en production.\n* Mettre en place des mécanismes de gestion des erreurs, de reprise et de traçabilité.\n* Participer à l'amélioration continue des plateformes Data.\n Innovation Data & IA (selon les projets)\n* Participer à l'intégration de solutions d'IA générative dans les écosystèmes Data.\n* Contribuer à la conception de pipelines d'ingestion documentaire et de préparation des données pour des applications RAG.\n* Intervenir sur des architectures basées sur les LLM et des systèmes multi-agents.\n* Participer à l'industrialisation et au déploiement de ces solutions.\n* \n \n\nProfil recherché:\n\nVotre profil\nDe formation supérieure en informatique, Data ou systèmes d'information (Bac 5 ou équivalent), vous justifiez d'au moins 5 ans d'expérience en Data Engineering.\nVous avez développé une solide expertise dans la conception, le développement et l'industrialisation de solutions Data, idéalement dans des environnements Cloud et Big Data.\nCompétences techniques recherchées\nLangages et traitement de données\n* Python : maîtrise avancée.\n* SQL : maîtrise avancée.\n* PySpark / Apache Spark : expérience confirmée à experte.\n* Bash : connaissance appréciée.\nPlateformes Data et Cloud\n* Databricks : expérience significative.\n* AWS et/ou Microsoft Azure.\n* Connaissance des architectures Data Lake / Data Warehouse.\n* Expérience sur des solutions de stockage distribuées et des bases SQL/NoSQL.\nIndustrialisation et DevOps\n* Docker et Kubernetes.\n* Git, GitLab ou GitHub.\n* CI/CD et automatisation des déploiements.\n* Monitoring, logging et supervision des pipelines.\nIA générative : un plus\n* Connaissance des LLM et des API OpenAI / Azure OpenAI.\n* Expérience sur des architectures RAG et la recherche vectorielle.\n* Connaissance des architectures multi-agents.
Ce poste vous intéresse ?