Data Engineer Pleno (Databricks / Spark / Python)

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.

Papéis e Responsabilidades:

• Desenvolver e manter pipelines de ingestão de dados utilizando Autoloader (incremental, schema evolution e otimização de throughput).

• Processar dados em larga escala utilizando Spark Structured Streaming e Spark SQL.

• Aplicar boas práticas de engenharia de dados, incluindo particionamento e otimizações com Delta Lake.

• Realizar análise e otimização de performance e custos em ambientes Databricks.

• Implementar processos de Data Quality para garantir confiabilidade dos dados.

• Utilizar Git para controle de versionamento, incluindo pull requests e boas práticas de desenvolvimento colaborativo.

• Criar documentação técnica clara e organizada das soluções implementadas.

• Colaborar com times de negócio, analytics e tecnologia para garantir que os dados estejam estruturados, acessíveis e seguros.

Qualificações Essenciais:

• Experiência com engenharia de dados e processamento de grandes volumes de dados.

• Conhecimento em Python, Apache Spark e Databricks.

• Experiência na construção e manutenção de pipelines de dados escaláveis.

• Conhecimento em Spark SQL e Structured Streaming.

• Experiência com versionamento de código utilizando Git.

Serão considerados Diferenciais:

• Experiência com metodologias ágeis (Scrum, Kanban, entre outras).

• Conhecimento em arquitetura de dados moderna e melhores práticas de ETL/ELT.

• Perfil autogerenciável, com forte capacidade de resolução de problemas e tomada de decisão em ambientes complexos.

• Interesse em novas tecnologias e inovação em soluções de dados.

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/

Desejamos boa sorte! 😊🚀