Data Engineer – Databricks & Python (Common Library)

Estamos a contratar | Data Engineer – Databricks & Python (Common Library) Na Mootiva, estamos a recrutar um Data Engineer com forte experiência em Databricks e Python, para desempenhar um papel central na criação e evolução de uma biblioteca comum reutilizável, base de suporte a pipelines batch e streaming numa arquitetura Medallion (Bronze, Silver, Gold). Esta função é ideal para quem gosta de construir frameworks, definir standards e criar fundações técnicas sólidas, que aumentem a produtividade, consistência e colaboração entre equipas de Data Engineering.

Responsabilidades

• Desenhar e implementar uma biblioteca Python comum para Databricks, utilizada em pipelines batch e streaming - Desenvolver módulos PySpark reutilizáveis e classes abstratas para as camadas Bronze, Silver e Gold - Definir e promover boas práticas de código, documentação e testes - Manter integração CI/CD com GitLab e Databricks Asset Bundles (DABs) - Trabalhar em proximidade com DataOps, garantindo estabilidade e observabilidade em produção - Integrar monitorização, logging e validação de qualidade de dados com Grafana e DQX Plataforma & Stack Azure Databricks · Azure ADLS Gen2 · Airflow (AKS) · Terraform · Python · PySpark · SQL · Grafana · Kafka (Aiven) · GitLab · Talend · Databricks Asset Bundles (DABs) · DQX (Data Quality Framework) O que procuramos - Experiência comprovada em Databricks, PySpark e desenho de bibliotecas Python - Forte base de engenharia de software (OOP, testes, CI/CD, princípios de abstração) - Conhecimento de processamento de dados batch e streaming - Experiência com Medallion Architecture e boas práticas de ciclo de vida de dados - Familiaridade com Airflow (AKS), Terraform e Azure ADLS Gen2 Na Mootiva, ligamos talento à inovação.