Data Engineer – Python, Azure Databricks & Data Integration
Tecnología
Hace 2 días
Tiempo completoPresencial
Descripción del puesto
Buscamos incorporar un/a Data Engineer para participar en un proyecto tecnológicor, trabajando en el desarrollo y mantenimiento de soluciones de ingeniería de datos y servicios backend sobre la plataforma analítica del banco.
La persona seleccionada participará en la construcción y exposición de activos de datos críticos, garantizando la calidad, robustez, escalabilidad y eficiencia de las soluciones desarrolladas.
Funciones principales
- Analizar requisitos funcionales y técnicos, transformando las necesidades de negocio en soluciones tecnológicas eficientes y mantenibles.
- Desarrollar y mantener procesos ETL/ELT sobre Azure Databricks.
- Construir y mantener pipelines de datos, garantizando la consistencia, trazabilidad y fiabilidad de la información.
- Desarrollar componentes software y APIs REST para la integración y exposición de datos.
- Participar en el diagnóstico de incidencias en producción, análisis de causa raíz y resolución de problemas técnicos.
- Aplicar buenas prácticas de desarrollo, testing, revisión de código y procesos CI/CD.
- Optimizar el rendimiento de procesos batch y soluciones basadas en Spark y Databricks.
- Utilizar herramientas de inteligencia artificial aplicadas al desarrollo, como GitHub Copilot, para mejorar la productividad y facilitar el análisis y la implementación de soluciones.
- Colaborar con equipos multidisciplinares en entornos de trabajo ágiles.
- Contribuir a la mejora continua de las soluciones y procesos del equipo.
- Experiencia en ingeniería de datos y procesamiento de información.
- Conocimientos sólidos de Python aplicados al desarrollo de soluciones de datos.
- Experiencia en SQL para consultas y transformaciones de datos.
- Experiencia trabajando con Git y flujos de desarrollo colaborativo.
- Experiencia con herramientas y procesos CI/CD, como Jenkins o GitHub Actions.
- Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas, Física o disciplinas técnicas equivalentes.
- Español fluido.
- Capacidad para leer y comprender documentación técnica en inglés.
- Residencia actual en España.
- Experiencia con Apache Spark, PySpark y Azure Databricks.
- Conocimientos de desarrollo backend con Spring Boot o frameworks similares.
- Experiencia diseñando e implementando APIs REST.
- Conocimientos de Java.
- Experiencia con herramientas de IA aplicadas al desarrollo, como GitHub Copilot.
- Conocimientos de plataformas Cloud, especialmente Microsoft Azure.
- Conocimientos de Kafka y tecnologías de mensajería y event streaming.
- Conocimientos de Machine Learning y MLOps.
- Experiencia trabajando con metodologías ágiles.
Keywords
Data EngineeringPythonSQLAzure DatabricksETL/ELTData PipelinesApache SparkPySparkREST APIsGitCI/CDJenkinsGitHub ActionsBackend DevelopmentJavaMicrosoft AzureSpring BootGitHub CopilotArtificial IntelligenceKafka
¿Te interesa este puesto?