Pular para o conteúdo principal

Data Engineer

Tecnologia
Ytech
Lisboa, PortugalHá 1 mês
Tempo inteiro

Descrição da vaga

Quem somos?

Na Ytech, vivemos e respiramos tecnologia.

A nossa missão é transformar desafios em soluções e encontrar, todos os dias, novas formas de inovar.

Fundada em 2020, somos uma start-up tecnológica que atua nos setores de IT e Telecomunicações, com uma ambição clara: agitar o mercado, romper padrões e criar valor real através da inovação.

Qual o desafio que temos para ti?

📍 Localização: Lisboa

🏠 Regime: Híbrido

Procuramos um Data Engineer para integrar um projeto no setor bancário, participando no desenvolvimento e manutenção de soluções de dados em Databricks.

Vais construir pipelines escaláveis, otimizar processos de transformação e processamento de dados e contribuir para a evolução da plataforma de dados da organização.

⚙️ O que vais fazer:

  • Desenvolver e manter pipelines de dados ETL/ELT, integrando informação de diferentes sistemas.
  • Construir soluções de processamento e transformação de dados com Databricks, Python, Scala, SQL e Apache Spark.
  • Trabalhar com Delta Lake e Azure Data Lake no armazenamento e organização de grandes volumes de dados.
  • Identificar e corrigir falhas, garantindo a fiabilidade e o desempenho dos pipelines.
  • Otimizar processos de dados para melhorar a sua eficiência e escalabilidade.
  • Utilizar Git e Azure DevOps na gestão de código, tarefas e versões.
  • Colaborar com a equipa na evolução da plataforma e na melhoria contínua das soluções de Data Engineering.
🧠 O que valorizamos em ti:
  • Dinamismo, autonomia e capacidade de investigar e resolver problemas.
  • Facilidade de aprendizagem e vontade de explorar novas tecnologias.
  • Boa comunicação e espírito de equipa.
  • Orientação para resultados e foco na qualidade das soluções.
  • Conhecimentos de Unity Catalog, Kafka e Airflow.
  • Familiaridade com práticas de CI/CD.
  • Conhecimentos de arquitetura Lakehouse e experiência em ambientes cloud Azure.
🎓 O que procuramos:
  • Experiência em Data Engineering, preferencialmente de 2 ou mais anos.
  • Experiência prática com Databricks.
  • Conhecimentos de programação em Python e Scala.
  • Bons conhecimentos de SQL e Apache Spark.
  • Experiência na construção e manutenção de pipelines ETL/ELT.
  • Conhecimentos de Delta Lake e Azure Data Lake.
  • Experiência com Git e Azure DevOps.

📩 Se ficaste com vontade de saber mais, envia o teu CV para cmendes@ytech.io e descobre o que podemos construir juntos 🚀

Keywords
ScalaApache KafkaMS-DOSApache SparkScalabilityIoBoaDevOpsAirflowPythonSqlApache LicenseApache Http ServerUnityCI / CDBig dataGitCI/CD

Interessado nesta vaga?