Data Engineer

Data Engineer con experiencia en el desarrollo de soluciones de datos en entornos Cloud, principalmente sobre Azure. Con conocimientos sólidos en Databricks, Python, PySpark y Scala, enfocado en la construcción, optimización y mantenimiento de procesos ETL y pipelines de datos. Dominio de bases de datos relacionales y consultas avanzadas utilizando SQL, PL/SQL y T-SQL.

Experiencia trabajando con Spark SQL, desarrollo de procesos de ingeniería de datos en la nube, manejo de repositorios mediante GitHub y prácticas de integración y despliegue continuo (CI/CD). Se valoran conocimientos adicionales en herramientas BI/ETL, así como experiencia en plataformas cloud como AWS y/o GCP.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos escalables utilizando Databricks, PySpark, Python y Scala.

• Implementar procesos de extracción, transformación y carga (ETL/ELT) para integrar datos provenientes de múltiples fuentes.

• Desarrollar y optimizar consultas, procedimientos almacenados y modelos de datos utilizando SQL, PL/SQL y T-SQL.

• Gestionar y procesar grandes volúmenes de información en entornos Cloud, principalmente sobre Microsoft Azure.

• Crear y mantener notebooks, jobs y workflows en Databricks para el procesamiento eficiente de datos.

• Garantizar la calidad, integridad y disponibilidad de los datos mediante controles y validaciones automatizadas.

• Colaborar con equipos de analítica, BI y negocio para comprender requerimientos y convertirlos en soluciones de datos.

• Implementar buenas prácticas de desarrollo, control de versiones y automatización utilizando GitHub y herramientas de CI/CD.