Lead Data Engineer Databricks Azure

Poszukujemy Lead Platform Engineer, który wesprze realizację dużego programu transformacji platformy danych polegającego na migracji legacy środowisk Data Warehouse do architektury Databricks Lakehouse na platformie Azure.

Osoba na tym stanowisku będzie pracować w ramach Central Migration Team (CMT) oraz współpracować z Local Migration Teams (LMT) w wielu krajach (m.in. w Polsce, na Węgrzech i na Słowacji). Inżynier będzie odpowiedzialny za prowadzenie działań technicznych związanych z platformą oraz zapewnienie zgodności z referencyjną architekturą Data Platform.

Do Twoich obowiązków będzie należało:

• Prowadzenie technicznej implementacji środowiska platformy Databricks
• Wsparcie w konfiguracji oraz optymalizacji infrastruktury Azure Databricks
• Zapewnienie zgodności z referencyjną architekturą oraz architekturą Lakehouse
• Wspieranie zespołów inżynierskich w zakresie najlepszych praktyk dotyczących budowy pipeline’ów danych i korzystania z platformy
• Wsparcie wdrażania akceleratorów migracyjnych oraz frameworków automatyzacji
• Zapewnienie efektywnej konfiguracji środowiska platformowego
• Odpowiedzialność za niezawodność, skalowalność oraz wydajność platformy
• Zapewnianie wsparcia technicznego dla lokalnych zespołów migracyjnych
• Wsparcie w rozwiązywaniu problemów technicznych oraz podejmowaniu decyzji projektowych w środowisku międzynarodowym

Idealnie abyś posiadał/a:

• Bardzo dobrą znajomość Azure Databricks
• Ekspercką wiedzę z zakresu Apache Spark
• Bardzo dobrą znajomość Python oraz SQL
• Doświadczenie w projektowaniu i utrzymaniu platform danych na platformie Azure
• Doświadczenie w pracy z architekturą data lakehouse
• Praktyczne doświadczenie z Unity Catalog oraz Delta Lake
• Doświadczenie w budowaniu i utrzymaniu pipeline’ów CI/CD dla platform danych
• Doświadczenie w dużych