大模型推理运维架构师

该职位来源于猎聘 工作职责： 1、负责大模型推理服务平台的整体架构设计与高可用运维，主导模型部署、弹性扩缩容、故障自愈等核心体系建设，保障大规模生产环境的稳定性； 2、深度主导推理链路端到端性能调优，持续突破吞吐量（Throughput）与端到端时延（Latency）瓶颈，制定并落地差异化的SLA/SLO分级保障策略； 3、构建精细化成本运营体系，通过混部调度、GPU分时复用、KV Cache管理及模型量化等手段，系统性降低单次推理边际成本； 4、跟踪并落地业界前沿推理加速技术（如vLLM、TensorRT-LLM、Triton、FlashAttention等），进行深度的二次开发与技术选型，保持平台技术前沿性。 任职资格： 1、本科及以上学历，5年以上分布式系统或AI平台运维/开发经验，具有大型LLM推理服务生产环境的深度落地经验； 2、精通Kubernetes与Docker生态，深入理解GPU虚拟化、CUDA编程模型及NVIDIA全栈生态（A100/H100、NCCL、MIG），具备千卡级以上GPU集群的调度与治理实战经验； 3、源码级掌握至少一种主流推理框架（vLLM、TensorRT-LLM、TGI），精通其底层性能瓶颈与内核调优参数，有实际量化、稀疏化或Continuous Batching优化成果； 4、扎实的工程编码能力（Python/Go/C++），有独立构建运维自动化平台或可观测性体系的实战经验； 极强的成本敏感度与数据驱动思维，具备资源规划、容量预测与预算管理能力； 5、出色的跨团队协同与项目推动力，能独立承担技术方案决策，自驱力强，能快速适应AI赛道高动态业务节奏。