DATA ENGINEER — DATABRICKS / STREAMING / AWS

CONTEXTE

Dans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.

Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité.

Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu’avec des équipes internationales basées notamment à Paris, Houston et Singapour.

RESPONSABILITÉS

• Concevoir, maintenir et optimiser des pipelines de données batch et temps réel.
• Développer des solutions de streaming data à haute performance.
• Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake.
• Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis.
• Développer des pipelines et APIs en Python.
• Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM.
• Garantir la disponibilité, l’intégrité, la qualité et la performance des données.
• Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel.
• Participer à l’amélioration continue des pratiques de monitoring, CI/CD et observabilité.
• Collaborer avec les équipes métier et techniques dans un contexte international et exigeant.

ENVIRONNEMENT TECHNIQUE

Databricks

Spark

Structured Streaming

Delta Lake

Python

AWS

Kinesis

Kafka

• S3

Lambda

SQS

SNS

EventBridge

IAM

PySpark

Git

GitHub Actions

CloudWatch

Grafana

Profil candidat

• 5+ ans d’expérience en Data Engineering.
• Expertise confirmée en Data Streaming.
• Très forte maîtrise de Databricks : Spark Streaming, Structured Streaming, Delta Lake.
• Excellente maîtrise de Python : pipelines, APIs, WebSockets.
• Expertise AWS, notamment Kinesis, SQS, SNS, EventBridge, S3, Lambda et IAM.
• Solide expérience sur Kafka et/ou Kinesis : conception, déploiement et monitoring de pipelines temps réel.
• Français courant, à l’oral comme à l’écrit.
• Anglais courant.

Compétences appréciées :

• Spark / PySpark et ETL batch.
• Orchestration : Prefect ou équivalent.
• CI/CD : Git, GitHub Actions.
• Observabilité : CloudWatch, Grafana ou équivalent.
• Expérience dans le trading de matières premières ou d’énergie.
• Connaissance des contraintes réglementaires du secteur.