본문으로 건너뛰기

Data Engineer (Data Platform)

Technology
넥스트증권㈜
영등포구, 대한민국1주 전
정규직

직무 설명

넥스트증권㈜

Data Engineer (Data Platform)

포지션 및 자격요건

Data Engineer

주요 업무책임

ㆍ레이크하우스 플랫폼 설계·운영:

  • Databricks Delta Lake·Unity Catalog 기반 레이크하우스의 스토리지·컴퓨트·카탈로그 구조를 설계하고

환경 분리·권한·비용·성능을 관리합니다.

ㆍKafka 플랫폼 운영:

  • Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다.

토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다.

ㆍ서비스 인프라 운영(EKS·RDS):

  • 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다.

버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다.

ㆍ파이프라인 실행 플랫폼:

  • Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을

운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다.

ㆍ데이터 품질·거버넌스 플랫폼:

  • 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공

통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고

데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다.

ㆍIaC·환경 자동화:

  • Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고

환경 복제·확장을 자동화합니다.

ㆍ플랫폼 안정성·온콜:

  • 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다.

개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다.

ㆍ다운스트림 플랫폼 지원:

  • 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록

플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.

필수 자격요건

ㆍ5년 이상의 데이터 엔지니어 또는 데이터 플랫폼 엔지니어 경력

ㆍPython, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분

ㆍApache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분

ㆍ대용량 데이터 처리와 분산 시스템을 이해하고 계신 분

ㆍ배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분

ㆍAWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분

ㆍ다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분

  • EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응)
  • RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정)

ㆍTerraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분

ㆍ모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분

선호 자격요건

ㆍKafka 클러스터(Schema Registry·Kafka Connect·ksqlDB 등)를

프로덕션에서 설계·운영하고 처리량·지연·장애 복구·업그레이드를 직접 다뤄보신 분

ㆍ배치·스트리밍 파이프라인을 직접 설계·운영하고 재처리·백필·멱등성을 확보해보신 분

ㆍDatabricks(Delta Lake, Unity Catalog, DLT) 또는 유사 레이크하우스 플랫폼을 멀티 환경으로 운영해보신 분

ㆍHelm·Argo CD 등 GitOps 기반 Kubernetes 배포 자동화 경험이 있으신 분

ㆍRDS·Aurora PostgreSQL에서 Multi-AZ 구성·읽기 복제본 운영·PITR 복구를 설계하고 운영해보신 분

ㆍ멀티 클러스터·미러링·환경 복제 등 플랫폼 확장을 설계해보신 분

ㆍ데이터 계약·리니지·카탈로그·품질 도구(dbt, OpenLineage, Great Expectations 등)를 플랫폼에 연동해보신 분

ㆍ증권·은행·카드사 등 금융·규제 환경에서 데이터 플랫폼을 운영해보신 분

ㆍ전자금융감독규정, ISMS-P 등 금융 규제·보안 요구사항을 인프라 설계에 반영해보신 분

ㆍ데이터를 사용하는 서비스·분석·AI/ML 팀과 플랫폼 SLA를 합의하고 운영해보신 분

ㆍAI 코딩 에이전트(Claude Code, Codex, Cursor 등)를 활용한 Agentic Engineering 경험 또는 관심이 있으신 분

기타사항

ㆍ접수기간 : 채용시 마감(수시채용)

ㆍ접수방법 : 당사 채용 홈페이지 지원

ㆍ자세한 상세요강은 반드시 채용 홈페이지에서 직접 확인해 주시기 바랍니다.

기업 채용 홈페이지 바로가기 click

Keywords
OrchestrationCloningKotlinApache KafkaApache SparkMetadataCursorMysqlPostgresqlPythonApache Http ServerJavaUnity

이 직무에 관심이 있으신가요?