본문으로 건너뛰기

AI Platform 추론 최적화 Engineer (경력)

Technology
㈜카카오
성남시, 대한민국3주 전
정규직

직무 설명

㈜카카오

AI Platform 추론 최적화 Engineer (경력)

포지션 및 자격요건

AI Platform 추론 최적화 Engineer

업무내용

ㆍLLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화

ㆍvLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영

ㆍLLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법 적용

ㆍ분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert /

Sequence Parallelism, MoE 라우팅)

ㆍ추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표 측정 및 개선

ㆍKubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화

ㆍ라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발

ㆍ코드 리뷰, 테스팅, 지속적인 통합(CI) 및 지속적인 배포(CD)를 통해 높은

품질의 서비스 제공

지원자격

ㆍPython 또는 Go을 활용한 시스템/백엔드/ML 시스템 개발 경력이 5년 이상인 분

ㆍTransformer 아키텍처 및 LLM 동작 원리(어텐션, KV cache, 디코딩 전략 등)에

대한 깊은 이해가 있는 분

ㆍvLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 실제 프로덕션 또는

대규모 실험 환경에서 운영해 본 경험이 있는 분

ㆍGPU 환경에서의 성능 프로파일링 및 최적화 경험이 있는 분

(Nsight, NCU, PyTorch Profiler 등)

ㆍK8s에 대한 이해도가 높은 분

ㆍ클라우드 환경에서의 CI/CD 경험이 있는 분

ㆍ새로운 환경에 도전하는 오픈 마인드를 가진 분

우대사항

ㆍvLLM, SGLang, TensorRT-LLM, Hugging Face Transformers,

PyTorch 등 LLM/ML 오픈소스 프로젝트에 의미 있는 컨트리뷰션 경험이

있는 분 (PR 머지, RFC 작성, 메인테이너 활동, 이슈 트리아지 등)

ㆍCUDA / Triton 커널을 직접 작성하거나 튜닝해 본 경험이 있는 분

ㆍLLM 추론 가속 기법(Speculative Decoding, Mixture-of-Experts,

FlashAttention, PagedAttention, RadixAttention 등)을 실무에 적용해 본

경험이 있는 분

ㆍ모델 양자화 / 압축 (AWQ, GPTQ, FP8, INT4, SmoothQuant, Pruning,

Distillation 등) 실무 경험이 있는 분

ㆍ대규모 분산 추론(Tensor / Pipeline / Expert Parallelism,

Disaggregated Prefill-Decode 등)을 설계·운영해 본 경험이 있는 분

ㆍNVIDIA Triton Inference Server, KServe, Ray Serve,

vLLM Production Stack, LLM-D 등 서빙 플랫폼 구축 경험이 있는 분

ㆍ대규모 GPU 클러스터(수십~수백 GPU 이상) 환경에서의 추론

워크로드 운영 경험이 있는 분

ㆍ고성능 네트워킹(RDMA, RoCE, InfiniBand, NCCL 튜닝) 또는

네트워크 트러블 슈팅 경험이 있는 분

ㆍML 또는 AI 동작에 대한 이해도가 높은 분

ㆍ다양한 프로그래밍 언어 사용에 대한 거부감이 없는 분

(Python / C / CUDA / Go / Rust 등)

ㆍLLM 추론 성능 관련 논문을 읽고 구현/재현해 본 경험이 있는 분

기타사항

ㆍ접수기간 : ~ 영입종료시

ㆍ접수방법 : 당사 채용 홈페이지 지원

ㆍ자세한 상세요강은 반드시 채용 홈페이지에서 직접 확인해 주시기 바랍니다.

기업 채용 홈페이지 바로가기 click

Keywords
CUDARustPyTorchPythonCI/CD

이 직무에 관심이 있으신가요?