Przejdź do treści głównej

Data Platform Developer

Technology
Warszawa, Polska1 miesiąc temu
Pełny etat

Opis stanowiska

Data Platform Developer (Kafka / Event-Driven)

Poszukujemy doświadczonej osoby na stanowisko Data Platform Developer, która będzie odpowiedzialna za projektowanie, budowę i utrzymanie nowoczesnych, skalowalnych rozwiązań event-driven opartych na Apache Kafka, Kafka Connect, Kafka Streams, kSQL, Spring Boot, Quarkus/GraalVM oraz MongoDB, GraphQL i Apache Iceberg. Rola łączy kompetencje developerskie i analityczne: od analizy wymagań biznesowych i mapowania danych pomiędzy systemami źródłowymi, platformą streamingową i bazą ODS (MongoDB + GraphQL), przez przekształcanie potrzeb interesariuszy w specyfikacje techniczne, aż po implementację i wdrożenia w środowiskach chmurowych i on-premise.

Główne zadania:

  1. Analiza – współpraca z analitykami, Data Engineerami, DevOpsami i zespołami IT nad zrozumieniem procesów i danych biznesowych oraz przekładanie ich na specyfikacje techniczne.
  2. Dokumentacja – funkcyjna (use case, user story) i techniczna (diagramy, mapowanie pól pomiędzy systemami).
  3. Architektura i modelowanie danych – projektowanie rozwiązań event-driven, topików Kafka (naming, partycjonowanie), schematów Avro/Protobuf/JSON Schema wraz z wersjonowaniem, kolekcji MongoDB, schematów GraphQL i tabel Iceberg.
  4. Implementacja – mikroserwisy Spring Boot obsługujące zdarzenia Kafka (producent, konsument, stream processing) oraz warstwa API GraphQL nad MongoDB (Spring GraphQL, Quarkus/GraalVM).
  5. Integracja danych – konfiguracja i rozwój konektorów Kafka Connect (source/sink) do MongoDB, S3, Iceberg i innych systemów; transformacje przez SMT i własne konwertery.
  6. DevOps / CI/CD – automatyzacja tworzenia konfiguracji topików, konektorów, streamów kSQL i aplikacji Kafka Streams.
  7. Observability – metryki (Prometheus, Grafana), logi (Vector, ELK), tracing (OpenTelemetry, Dynatrace).
  8. Utrzymanie i optymalizacja – diagnozowanie problemów z replikacją, opóźnieniami i niezgodnościami danych; tuning Kafki (partycje, retencja, ISR) oraz optymalizacja wydajności i kosztów Kafki, MongoDB i Iceberg.
  9. Współpraca – praca w Agile (Scrum/Kanban), code review, warsztaty i dzielenie się wiedzą.

Wymagania:

  • Apache Kafka – min. 3 lata doświadczenia produkcyjnego: brokery, topiki, partycjonowanie, producenci/konsumenci, schematy, replikacja; biegłość w Kafka Streams i kSQL
  • Kafka Connect – konfiguracja i rozwój konektorów (gotowych i własnych), własne SMT i konwertery
  • Java i Spring (Boot, Cloud, Security, Data)
  • MongoDB – projektowanie schematów dokumentowych, indeksowanie, optymalizacja zapytań
  • GraphQL – schematy i resolvery (np. Spring GraphQL)
  • Apache Iceberg – podstawy formatu tabel i zarządzania metadanymi
  • Monitoring – Prometheus, Grafana, OpenTelemetry
  • Bezpieczeństwo – TLS, SASL, ACL, szyfrowanie danych at-rest i in-transit
  • Agile (Scrum/Kanban), Jira/Confluence

Mile widziane:

  • Python
  • Quarkus/GraalVM
  • Doświadczenie w automatyzacji CI/CD i wdrożeniach w chmurze oraz on-premise
  • Doświadczenie w analizie wymagań i tworzeniu dokumentacji funkcyjnej

Proces rekrutacji:

  1. Rozmowa wstępna
  2. Rozmowa techniczna
  3. Decyzja
Keywords
KanbanApache KafkaGrafanaSpring FrameworkJSONJiraProtocol BuffersMongodbGraphQLGraalVMDevOpsUse casePythonScrumApache Http ServerApache AvroJavaCI/CD

Interesuje Cię ta oferta?

Podobne oferty