도경 하

원천 시스템부터 데이터 플랫폼까지 이어지는 데이터 워크플로우의 전 과정 (수집, 적재, 모니터링, 운영)을 직접 설계하고 구축해 온 데이터 엔지니어입니다.

메타 테이블 기반으로 수십 개의 원천 시스템, 약 2,000개 테이블을 단일 템플릿으로 처리하는 SSoT(Single Source of Truth) 파이프라인 자동화 프레임워크를 설계해, 재현 가능한 방식으로 다수의 원천을 안정적으로 통합했습니다.

기존 레거시 시스템을 분석하여 Lakehouse 기반 통합 데이터 플랫폼으로 전환했으며(Azure Data Factory·Databricks Lakeflow 활용), Dependency 기반 오케스트레이션과 Spark 분산 처리로 대용량 데이터의 처리 성능을 최적화했습니다.

예외, 타임아웃, 실패 처리를 아우르는 통합 관측성 대시보드를 마련해 대규모 배치의 실행 안정성을 확보했고, 여러 방식으로 분산돼 있던 파이프라인을 장기 유지보수가 가능한 형태로 재구축한 경험이 있습니다. 다양한 비즈니스 로직을 데이터 수집 및 ETL 과정에 녹여내는 것이 제 강점입니다.

이러한 경험을 바탕으로 최근에는 LLMOps 관점의 자동화에 관심을 가지고 LLM 서비스 및 AI 워크플로우와 유연하게 연동되는 자동화 구조를 설계할 수 있도록 학습하며 역량을 넓혀가고 있습니다.

Companies

글로벌 보험사 및 제약사의 데이터 플랫폼 구축, 국내 게임사 PoC, 국내 스포츠 CRM 플랫폼 운영·유지보수 등을 담당

2021.10~2024.04까지 동일한 CRM팀 소속으로 회사 이전. 2024.04 (주)클루커스 내에서 Data Engineer Team으로 사내 팀 이동

• (주)클루커스 (2022.05~현재)

• 주식회사 메타넷엑스 (2022.01~2022.05)

• (주)커스토머인사이트 (2021.10~2021.12)

Projects

글로벌 보험사 A사 통합 데이터 플랫폼 구축 Data Engineer - (주)클루커스 (2025-04 - 2025-12)

온프레미스 EDW(Exadata/Informatica)와 Azure Synapse로 이원화된 데이터 플랫폼을 Azure Databricks 기반 통합 데이터 플랫폼으로 전환.

보험사 특성의 폐쇄망 환경에서 32개 원천 시스템을 연결한 수백 개의 Informatica 파이프라인을 Azure Data Factory(원천: Oracle, SQL Server, PostgreSQL)와 Databricks Lakeflow(DB2)를 활용해 최적화 및 재구축 진행.

• 메타데이터 SSoT 자동화 프레임워크 설계: 기존 Informatica로 설계된 테이블 간 의존성, 각 테이블 별 배치 주기, 적재 방식(Delete & Insert/Upsert/Overwrite) 등을 분석하여 파이프라인 메타 테이블에 선언적으로 정의해 개별 파이프라인들을 메타 기반 배치로 표준화 및 자동화함

• Spark 분산 처리 성능 최적화: ThreadPoolExecutor 기반 원천 단위 병렬 처리, JDBC 파티셔닝 튜닝으로 약 2,000여개 테이블 병렬 수집, Data Skew 구간은 RRN 및 Repartition으로 대응해 클러스터 처리 성능 확보

• 실행 오케스트레이션 및 Task Dependency 설계: 고객사 요청에 의해 Azure Data Factory와 Databricks Lakeflow를 혼합 구성한 환경에서 FLAG용 메타테이블을 설계하여 Bronze-Mart 의존성 구현, While-loop 기반 의존성 제어 로직 설계

• Unity Catalog 기반 데이터 거버넌스: 테이블 및 컬럼 단위 접근 권한과 메타데이터 관리 체계를 구성해 고객사 환경에서 요구되는 데이터 접근 통제 구현

• 운영 중 이슈의 근본 원인 추적 및 통합 모니터링 체계 구축: Bronze 데이터 적재 중 원천 부하 이슈 발생 → Azure Data Factory IR 동시 실행 수로 인한 동시 쿼리 요청 수로 원인 파악 후 원천 시스템 운영진과 소통하며 동시 실행 한도(54 → 48) 조정, 오케스트레이션 혼합 구성 환경에서 통합 관측성 대시보드(Databricks 대시보드) 구축

글로벌 제약사 V사 통합 데이터 플랫폼 구축 Data Engineer (DE Part Lead) - (주)클루커스 (2024-09 - 2025-01)

SharePoint 기반 비정형 원천 데이터, Salesforce CRM 데이터를 수집하여 MS Fabric 통합 데이터 플랫폼 구축. 원천 데이터 수집, 적재, 데이터 품질 기준 수립까지 전체 파이프라인 설계 및 구축 진행. 파트 리드로서 아키텍처 설계, 고객사 커뮤니케이션, 운영 이관까지 원천 수집부터 품질 기준 수립 전 과정을 주도.

• SharePoint → MS Fabric Lakehouse ETL 파이프라인 구축: 형식 편차가 크고 변경 가능성이 높은 SharePoint 원천에 대응해 수집 스키마와 적재 규칙을 표준화된 메타데이터로 관리, 원천 데이터 변경 시에도 파이프라인 재작업 없이 확장 가능한 자동화 프레임워크 구축 (Dataflow Gen2, Pipeline 등 활용)

• Medallion 계층별 품질 기준 정의: Bronze, Silver, Gold 계층별 책임과 품질 기준을 정의해 Lakehouse 적재 이후 데이터 활용 단계의 일관성과 신뢰도 확보

• 통합 모니터링 체계 구축: 파이프라인 구축 이후 Power BI 기반 통합 모니터링 대시보드를 생성하여 장애 감지와 운영 가시성 개선

• 운영 이관 및 교육: 구축 완료 후 운영 담당자와 현업 부서를 대상으로 파이프라인 운영, 데이터 활용 교육을 진행해 고객사 자체 운영 체계로 이관

국내 게임사 Z사 데이터 플랫폼 도입 PoC Data Engineer - (주)클루커스 (2024-04 - 2024-05)

MS Fabric 기반 신규 데이터 플랫폼 도입 여부를 기술적으로 검증해야하는 상황에서 DE/DW 구축 파트 담당.

• 제한된 기간 안에 요구사항 검증: 핵심 기능 중심으로 PoC 범위를 설계하여 기술 선정 의사 결정 지원에 기여

• 후속 구축 리스크 완화: 초기 검증 단계에서 운영 관점 정보가 부족했던 한계를 배포, 모니터링, 유지보수 체크포인트로 보완

국내 스포츠 CRM Data Platform 운영 및 유지보수 Data Engineer - (주)클루커스 (2022-05 - 2024-04)

국내 스포츠 협회(K, K) CRM 플랫폼에서 다중 원천 데이터 통합 적재부터 실시간 행동 로그 수집 체계 도입까지 운영 및 추가 구축을 담당

• 다중 원천 데이터 통합 적재: 티켓 판매 데이터와 WEB/APP 운영 데이터를 수집하여 Dynamics 365의 Dataverse에 통합 적재하는 파이프라인 운영

• 데이터 정합성 검증: 다양한 원천에서 수집하는 각 데이터 간의 정합성 검증 로직을 설계해 이전에 수기로 검증하던 과정을 최적화 시키고 데이터 신뢰도를 확보

• 고객사 요청 대응 및 엔터티 확정: Dynamics 365 추가 개발 요청에 따라 신규 엔터티를 개발하고 해당 엔터티의 적재 파이프라인 확장

• 실시간 행동 로그 수집 체계 도입 (PM): WEB/APP 실시간 로그 수집 솔루션(WiseCollector) 도입 프로젝트 매니징, 도입 이후 실시간 행동 로그 수집 및 적재 파이프라인을 운영하고 원천 유실, 적재 지연을 감지하는 알람 체계 구축

• 운영 표준화: 고객별로 상이한 운영 방식과 데이터 흐름을 수집, 적재, 모니터링 절차로 표준화해 운영 안정성 확보

• Adobe Campaign 캠페인 운영 개선: 캠페인 발송 워크플로우를 구축하고 발송 로직을 재설계하여 기존의 전체 발송 시간을 평균 5시간에서 평균 1시간으로 단축

국내 스포츠 CRM Data Platform 운영 및 유지보수 Data Engineer(CRM) - 주식회사 메타넷엑스 (2022-01 - 2022-05)

국내 스포츠 협회(K**, K) CRM 플랫폼 유지 보수 및 캠페인 운영 워크플로우의 유지 보수를 담당

• Dynamics 365 기반 CRM 플랫폼 정합성 모니터링 수행

• Adobe Campaign 기반 캠페인 발송 워크플로우의 유지 보수를 담당

글로벌 패션 고객사, 제약사 CRM 데이터 유지보수 및 분석 지원 System Engineer - (주)커스토머인사이트 (2021-10 - 2021-12)

글로벌 패션 회사, 제약사의 CRM 데이터 유지 보수 및 마케터 분석 지원을 담당

• 분석 데이터 추출 지원: 고객사 마케터 요청에 따라 세그먼트별 분석 데이터를 추출하고 보고서 작성 지원

• CRM 데이터 유지 보수: CRM 데이터 이슈 발생 시 원인 파악 및 대응

한국외국어대학교 (2013-03 ~ 2019-02)

말레이·인도네시아어과 졸업(학사)