Data Engineer
Descrição da vaga
Quem somos?
Na Ytech, vivemos e respiramos tecnologia.
A nossa missão é transformar desafios em soluções e encontrar, todos os dias, novas formas de inovar.
Fundada em 2020, somos uma start-up tecnológica que atua nos setores de IT e Telecomunicações, com uma ambição clara: agitar o mercado, romper padrões e criar valor real através da inovação.
Qual o desafio que temos para ti?
📍 Localização: Lisboa
🏠 Regime: Híbrido
Procuramos um Data Engineer para integrar um projeto no setor bancário, participando no desenvolvimento e manutenção de soluções de dados em Databricks.
Vais construir pipelines escaláveis, otimizar processos de transformação e processamento de dados e contribuir para a evolução da plataforma de dados da organização.
⚙️ O que vais fazer:
- Desenvolver e manter pipelines de dados ETL/ELT, integrando informação de diferentes sistemas.
- Construir soluções de processamento e transformação de dados com Databricks, Python, Scala, SQL e Apache Spark.
- Trabalhar com Delta Lake e Azure Data Lake no armazenamento e organização de grandes volumes de dados.
- Identificar e corrigir falhas, garantindo a fiabilidade e o desempenho dos pipelines.
- Otimizar processos de dados para melhorar a sua eficiência e escalabilidade.
- Utilizar Git e Azure DevOps na gestão de código, tarefas e versões.
- Colaborar com a equipa na evolução da plataforma e na melhoria contínua das soluções de Data Engineering.
- Dinamismo, autonomia e capacidade de investigar e resolver problemas.
- Facilidade de aprendizagem e vontade de explorar novas tecnologias.
- Boa comunicação e espírito de equipa.
- Orientação para resultados e foco na qualidade das soluções.
- Conhecimentos de Unity Catalog, Kafka e Airflow.
- Familiaridade com práticas de CI/CD.
- Conhecimentos de arquitetura Lakehouse e experiência em ambientes cloud Azure.
- Experiência em Data Engineering, preferencialmente de 2 ou mais anos.
- Experiência prática com Databricks.
- Conhecimentos de programação em Python e Scala.
- Bons conhecimentos de SQL e Apache Spark.
- Experiência na construção e manutenção de pipelines ETL/ELT.
- Conhecimentos de Delta Lake e Azure Data Lake.
- Experiência com Git e Azure DevOps.
📩 Se ficaste com vontade de saber mais, envia o teu CV para cmendes@ytech.io e descobre o que podemos construir juntos 🚀
Interessado nesta vaga?