AI Platform 추론 최적화 Engineer (경력)
직무 설명
㈜카카오
AI Platform 추론 최적화 Engineer (경력)
포지션 및 자격요건
AI Platform 추론 최적화 Engineer
업무내용
ㆍLLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화
ㆍvLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영
ㆍLLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법 적용
ㆍ분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert /
Sequence Parallelism, MoE 라우팅)
ㆍ추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표 측정 및 개선
ㆍKubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화
ㆍ라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발
ㆍ코드 리뷰, 테스팅, 지속적인 통합(CI) 및 지속적인 배포(CD)를 통해 높은
품질의 서비스 제공
지원자격
ㆍPython 또는 Go을 활용한 시스템/백엔드/ML 시스템 개발 경력이 5년 이상인 분
ㆍTransformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에
대한 깊은 이해가 있는 분
ㆍvLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 실제 프로덕션 또는
대규모 실험 환경에서 운영해 본 경험이 있는 분
ㆍGPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분
(Nsight, NCU, PyTorch Profiler 등)
ㆍK8s에 대한 이해도가 높은 분
ㆍ클라우드 환경에서의 CI/CD 경험이 있는 분
ㆍ새로운 환경에 도전하는 오픈 마인드를 가진 분
우대사항
ㆍvLLM, SGLang, TensorRT-LLM, Hugging Face Transformers,
PyTorch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이
있는 분 (PR 머지, RFC 작성, 메인테이너 활동, 이슈 트리아지 등)
ㆍCUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분
ㆍLLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts,
FlashAttention, PagedAttention, RadixAttention 등)을 실무에 적용해 본
경험이 있는 분
ㆍ모델 양자화 / 압축 (AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning,
Distillation 등) 실무 경험이 있는 분
ㆍ대규모 분산 추론(Tensor / Pipeline / Expert Parallelism,
Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분
ㆍNVIDIA Triton Inference Server, KServe, Ray Serve,
vLLM Production Stack, LLM-D 등 서빙 플랫폼 구축 경험이 있는 분
ㆍ대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론
워크로드 운영 경험이 있는 분
ㆍ고성능 네트워킹(RDMA, RoCE, InfiniBand, NCCL 튜닝) 또는
네트워크 트러블 슈팅 경험이 있는 분
ㆍML 또는 AI 동작에 대한 이해도가 높은 분
ㆍ다양한 프로그래밍 언어 사용에 대한 거부감이 없는 분
(Python / C / CUDA / Go / Rust 등)
ㆍLLM 추론 성능 관련 논문을 읽고 구현/재현해 본 경험이 있는 분
기타사항
ㆍ접수기간 : ~ 영입종료시
ㆍ접수방법 : 당사 채용 홈페이지 지원
ㆍ자세한 상세요강은 반드시 채용 홈페이지에서 직접 확인해 주시기 바랍니다.
이 직무에 관심이 있으신가요?