Data Engineer (AWS)

Siamo alla ricerca di un Data Engineer senior per progettare e far evolvere una piattaforma dati moderna, interamente costruita su AWS con approccio serverless e infrastructure-as-code. Lavorerai end-to-end: dall'ingestione delle sorgenti fino all'esposizione del dato, contribuendo attivamente alle scelte architetturali della piattaforma.

Attività

• Progettare e sviluppare pipeline dati end-to-end su AWS con servizi serverless (Lambda, Step Functions, AWS Pipes, Glue, ECS, ECR)
• Realizzare soluzioni di Data Engineering e Data Lake scalabili, resilienti e affidabili sul piano della qualità del dato
• Sviluppare servizi e API in Python (FastAPI) e applicazioni containerizzate con Docker
• Gestire Data Governance, catalogazione, metadata management e data lineage (Glue Data Catalog, DataZone)
• Integrare sorgenti dati tramite AppFlow e DMS
• Progettare, amministrare e ottimizzare database RDS e database analitici
• Monitorare la piattaforma con strumenti di observability (Grafana, logging, alerting)
• Applicare le best practice di sicurezza AWS (IAM, secrets management, least privilege)
• Ottimizzare costi e utilizzo delle risorse cloud
• Collaborare alle scelte architetturali e all'evoluzione della piattaforma

Location

• Hybrid (una giornata al mese presso la sede di Milano)

Competenze richieste

• AWS: Lambda, Step Functions, AWS Pipes, Glue, Athena, S3, ECS/ECR, RDS, DataZone, AppFlow, DMS, Amazon Bedrock
• Sviluppo: Python, FastAPI, Docker, Hasura (nice to have)
• Platform: Pulumi, Linux, CI/CD, Grafana

Requisiti

• Esperienza senior su AWS in produzione, con focus su serverless (Lambda, Step Functions, AWS Pipes) e container (ECS, ECR)
• Sviluppo Python solido: type hints, codice testato, paradigmi funzionali dove appropriato
• Data engineering su AWS: Glue, Athena, S3, data lake; ETL/ELT robusti e idempotenti
• Competenze DBA forti: modellazione, tuning e gestione di RDS e database analitici
• Infrastructure-as-Code con Pulumi (Python): module design, gestione dello stato e dei diversi stack (dev/staging/prod)
• Data governance e data lineage: catalogo, metadati, tracciabilità del dato
• Osservabilità: Grafana, metriche, log strutturati, alerting
• Sicurezza cloud: IAM, gestione dei secret, principio del minimo privilegio, mentalità OWASP
• Gestione costi e billing AWS: capacità di leggere la spesa e ottimizzarla
• Confidenza con Linux e con la linea di comando

Nice to have

• GenAI / Foundation Models con Amazon Bedrock (RAG, agenti, integrazione LLM)
• Hasura e layer GraphQL su database
• Integrazione dati con AppFlow e DMS
• DataZone per data mesh / data sharing
• Strategie di backup e disaster recovery su AWS
• AWS Well-Architected Framework applicato (review, ADR, remediation)
• Esperienza in contesti regolamentati (fintech, banking, insurance)
• Sistemi event-driven e streaming

Offriamo

• Retribuzione commisurata all'esperienza
• Corsi di formazione, partecipazione a fiere/eventi tech, pc aziendale dove necessario

Come candidarsi

• Invia il CV a hr@quadilo.com con oggetto "Data Engineer (AWS)".