Data Engineer (Data Platform)
직무 설명
넥스트증권㈜
Data Engineer (Data Platform)
포지션 및 자격요건
Data Engineer
주요 업무책임
ㆍ레이크하우스 플랫폼 설계·운영:
- Databricks Delta Lake·Unity Catalog 기반 레이크하우스의 스토리지·컴퓨트·카탈로그 구조를 설계하고
환경 분리·권한·비용·성능을 관리합니다.
ㆍKafka 플랫폼 운영:
- Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다.
토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다.
ㆍ서비스 인프라 운영(EKS·RDS):
- 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다.
버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다.
ㆍ파이프라인 실행 플랫폼:
- Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을
운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다.
ㆍ데이터 품질·거버넌스 플랫폼:
- 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공
통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고
데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다.
ㆍIaC·환경 자동화:
- Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고
환경 복제·확장을 자동화합니다.
ㆍ플랫폼 안정성·온콜:
- 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다.
개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다.
ㆍ다운스트림 플랫폼 지원:
- 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록
플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.
필수 자격요건
ㆍ5년 이상의 데이터 엔지니어 또는 데이터 플랫폼 엔지니어 경력
ㆍPython, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분
ㆍApache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분
ㆍ대용량 데이터 처리와 분산 시스템을 이해하고 계신 분
ㆍ배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분
ㆍAWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분
ㆍ다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분
- EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응)
- RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정)
ㆍTerraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분
ㆍ모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분
선호 자격요건
ㆍKafka 클러스터(Schema Registry·Kafka Connect·ksqlDB 등)를
프로덕션에서 설계·운영하고 처리량·지연·장애 복구·업그레이드를 직접 다뤄보신 분
ㆍ배치·스트리밍 파이프라인을 직접 설계·운영하고 재처리·백필·멱등성을 확보해보신 분
ㆍDatabricks(Delta Lake, Unity Catalog, DLT) 또는 유사 레이크하우스 플랫폼을 멀티 환경으로 운영해보신 분
ㆍHelm·Argo CD 등 GitOps 기반 Kubernetes 배포 자동화 경험이 있으신 분
ㆍRDS·Aurora PostgreSQL에서 Multi-AZ 구성·읽기 복제본 운영·PITR 복구를 설계하고 운영해보신 분
ㆍ멀티 클러스터·미러링·환경 복제 등 플랫폼 확장을 설계해보신 분
ㆍ데이터 계약·리니지·카탈로그·품질 도구(dbt, OpenLineage, Great Expectations 등)를 플랫폼에 연동해보신 분
ㆍ증권·은행·카드사 등 금융·규제 환경에서 데이터 플랫폼을 운영해보신 분
ㆍ전자금융감독규정, ISMS-P 등 금융 규제·보안 요구사항을 인프라 설계에 반영해보신 분
ㆍ데이터를 사용하는 서비스·분석·AI/ML 팀과 플랫폼 SLA를 합의하고 운영해보신 분
ㆍAI 코딩 에이전트(Claude Code, Codex, Cursor 등)를 활용한 Agentic Engineering 경험 또는 관심이 있으신 분
기타사항
ㆍ접수기간 : 채용시 마감(수시채용)
ㆍ접수방법 : 당사 채용 홈페이지 지원
ㆍ자세한 상세요강은 반드시 채용 홈페이지에서 직접 확인해 주시기 바랍니다.
이 직무에 관심이 있으신가요?