㈜서치독
[프리랜서](강동역) AI 사내 기술문서 검색 프로젝트 - Data Engineer
포지션 및 자격요건
Data Engineer
( 2명 )
프로젝트 개요
- 대형 건설사 건설부문 대상 AI 기반 기술문서 검색 플랫폼 2차 고도화
- 기간: 6개월 (2026.10 ~ 2027.03) / 상주(강동역) - 수행 형태: 2주 단위 Sprint 기반 Agile - 모집 포지션: Data Engineer 3명 - 담당 워크스트림: 「데이터셋 구축」 「검색/AI 서비스 데이터 아키텍처 구축」 - 주요 대상 데이터: 건설 기술문서, PDF, 도면 등 정형·비정형 데이터
담당 업무
- AI 검색 플랫폼의 데이터 수집·가공·적재 파이프라인 설계 및 구축
- 건설 기술문서, PDF, 도면 등 비정형 데이터의 전처리 및 검색 가능한 형태로 데이터셋 구축 - 원천 데이터 → 전처리 → 메타데이터 생성 → 검색 인덱스 적재까지 End-to-End 데이터 파이프라인 개발 - OpenSearch 기반 검색 서비스를 위한 Index Schema, Metadata, Mapping 및 데이터 적재 구조 설계 - 문서 유형, 프로젝트, 공종, 문서번호, Revision 등 검색에 필요한 메타데이터 모델 설계 및 표준화 - AI/RAG 서비스에서 활용할 Chunk, Embedding, 원문 및 Metadata 간 데이터 구조 설계 - 정형·비정형 데이터를 통합하여 사용할 수 있는 검색/AI 서비스용 데이터 모델 및 아키텍처 설계 - 기존 데이터 및 신규 데이터의 증분 적재, 변경·삭제, 재색인 등 데이터 Lifecycle 설계 및 구현 - 대용량 문서 처리 시 Batch/비동기 처리 구조 설계 및 성능 최적화 - AWS 기반 개발 환경에서 구축된 데이터 파이프라인의 삼성 내부 운영 환경 이관 지원 - S3/Object Storage, DB, OpenSearch 등 데이터 저장소 간 Interface 및 데이터 흐름 설계 - 데이터 품질 검증 기준 수립 및 누락·중복·파싱 오류·메타데이터 정합성 검증 - 검색 및 AI Engineer와 협업하여 검색 품질 개선을 위한 데이터 구조 및 데이터셋 개선 - Application Architect, Backend Engineer, AI Engineer와 데이터 Interface 및 API 연계 구조 협의 - 데이터 모델 정의서, 테이블/인덱스 정의서, Interface 정의서, 데이터 흐름도 등 관련 산출물 작성 및 관리
필수 역량
- Data Engineer 또는 Data Architect로서 데이터 플랫폼/서비스 구축 프로젝트 수행 경험
- Python 및 SQL을 활용한 데이터 처리·가공 경험 - ETL/ELT 및 데이터 수집·전처리·적재 파이프라인 설계 또는 개발 경험 - RDB, NoSQL, Search Engine 등 서로 다른 데이터 저장소에 대한 이해 - 데이터 모델링 및 Metadata 설계 경험 - 대용량 데이터의 Batch 또는 비동기 처리 경험 - REST API, 파일/Object Storage 등 다양한 방식의 데이터 연계 경험 - Git 기반 협업 및 개발 프로세스 경험 - 요구사항을 기반으로 데이터 구조와 처리 Flow를 정의하고 문서화할 수 있는 역량 - 개발자, AI Engineer, Architect 등 이종 직군과 원활하게 협업할 수 있는 커뮤니케이션 능력
우대 사항
- OpenSearch / Elasticsearch 기반 데이터 모델링, Index 설계 및 대용량 적재 경험
- AI/LLM, RAG, Enterprise Search 서비스용 데이터 파이프라인 구축 경험 - Embedding, Chunking, Vector Search 등 AI 검색용 데이터 구조에 대한 이해 - PDF, 이미지, 도면 등 비정형 데이터 전처리 경험 - AWS S3, Lambda, DynamoDB 등 AWS 기반 데이터 서비스 활용 경험 - Airflow, Spark 등 데이터 처리/워크플로우 기술 활용 경험 - Data Lake / Data Warehouse / Data Mart 설계 또는 구축 경험 - 데이터 표준화, Metadata 관리, Data Lineage 및 데이터 품질 관리 경험 - 대기업 사내 시스템 구축 및 운영환경 이관 프로젝트 경험 - 삼성 관계사 프로젝트 또는 삼성 내부 보안/운영 환경 경험 - 건설/엔지니어링 도메인의 문서, 도면, 시방서 등 데이터에 대한 이해 - Agile/Scrum 기반 2주 Sprint 개발 프로젝트 경험
스킬
ㆍPython, SQL, AWS, OpenSearch/Elasticsearch, S3, RDB/NoSQL, ETL/ELT, Data Modeling, Git
자격요건
ㆍ학력 : 대졸이상
ㆍ경력 : 경력
전형절차
ㆍ서류전형 > 유선면접 > 원격면접 > 최종합격
ㆍ면접일정은 추후 통보됩니다.
ㆍ면접일정은 사정에 따라 추가되거나 생략될 수 있습니다.
유의사항
ㆍ허위사실이 발견될 경우 채용이 취소될 수 있습니다.
