Opis stanowiska
Data Platform Developer (Kafka / Event-Driven)
Poszukujemy doświadczonej osoby na stanowisko Data Platform Developer, która będzie odpowiedzialna za projektowanie, budowę i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven opartych na Apache Kafka, Kafka Connect, Kafka Streams, kSQL, Spring Boot, Quarkus/GraalVM oraz MongoDB, GraphQL i Apache Iceberg. Rola łączy kompetencje developerskie i analityczne: od analizy wymagań biznesowych i mapowania danych pomiędzy systemami źródłowymi, platformą streamingową i bazą ODS (MongoDB + GraphQL), przez przekształcanie potrzeb interesariuszy w specyfikacje techniczne, aż po implementację i wdrożenia w środowiskach chmurowych i on-premise.
Główne zadania:
- Analiza – współpraca z analitykami, Data Engineerami, DevOpsami i zespołami IT nad zrozumieniem procesów i danych biznesowych oraz przekładanie ich na specyfikacje techniczne.
- Dokumentacja – funkcyjna (use case, user story) i techniczna (diagramy, mapowanie pól pomiędzy systemami).
- Architektura i modelowanie danych – projektowanie rozwiązań event-driven, topików Kafka (naming, partycjonowanie), schematów Avro/Protobuf/JSON Schema wraz z wersjonowaniem, kolekcji MongoDB, schematów GraphQL i tabel Iceberg.
- Implementacja – mikroserwisy Spring Boot obsługujące zdarzenia Kafka (producent, konsument, stream processing) oraz warstwa API GraphQL nad MongoDB (Spring GraphQL, Quarkus/GraalVM).
- Integracja danych – konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Iceberg i innych systemów; transformacje przez SMT i własne konwertery.
- DevOps / CI/CD – automatyzacja tworzenia konfiguracji topików, konektorów, streamów kSQL i aplikacji Kafka Streams.
- Observability – metryki (Prometheus, Grafana), logi (Vector, ELK), tracing (OpenTelemetry, Dynatrace).
- Utrzymanie i optymalizacja – diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych; tuning Kafki (partycje, retencja, ISR) oraz optymalizacja wydajności i kosztów Kafki, MongoDB i Iceberg.
- Współpraca – praca w Agile (Scrum/Kanban), code review, warsztaty i dzielenie się wiedzą.
Wymagania:
- Apache Kafka – min. 3 lata doświadczenia produkcyjnego: brokery, topiki, partycjonowanie, producenci/konsumenci, schematy, replikacja; biegłość w Kafka Streams i kSQL
- Kafka Connect – konfiguracja i rozwój konektorów (gotowych i własnych), własne SMT i konwertery
- Java i Spring (Boot, Cloud, Security, Data)
- MongoDB – projektowanie schematów dokumentowych, indeksowanie, optymalizacja zapytań
- GraphQL – schematy i resolvery (np. Spring GraphQL)
- Apache Iceberg – podstawy formatu tabel i zarządzania metadanymi
- Monitoring – Prometheus, Grafana, OpenTelemetry
- Bezpieczeństwo – TLS, SASL, ACL, szyfrowanie danych at-rest i in-transit
- Agile (Scrum/Kanban), Jira/Confluence
Mile widziane:
- Python
- Quarkus/GraalVM
- Doświadczenie w automatyzacji CI/CD i wdrożeniach w chmurze oraz on-premise
- Doświadczenie w analizie wymagań i tworzeniu dokumentacji funkcyjnej
Proces rekrutacji:
- Rozmowa wstępna
- Rozmowa techniczna
- Decyzja
Interesuje Cię ta oferta?