模型工程中心 - 推理优化工程师

岗位职责： a 推理引擎优化 - vLLM/Triton/sglang 集成与调优 - TP/PP 并行策略、Continuous Batching - KV 缓存优化（Prefix Cache、Chunked Prefill、PD 分离） - 量化策略（W4AFP8/FP8/INT4/NVFP4） b MaaS 生命周期管理 - 模型仓库、版本管理、灰度发布 - 模型下载/分发/加载/下架全流程 - 异构算力适配（H800/NVFP4/未来国产芯片） c 性能压测 - W1-W3 benchmark（V4-Flash/GLM/Qwen 吞吐对比） - W6 500 QPS 压测、延迟/SLA 验证 - 持续性能优化（GPU 利用率 70% 目标） 任职要求： 必备 - 5年以上 AI 推理优化经验，至少 2 年 vLLM/Triton 实战 - 精通 GPU 推理（NVIDIA H100/H800/未来国产） - 熟悉模型量化（INT4/FP8/W4AFP8） - 熟悉 KV 缓存优化、Prefix Cache、Continuous Batching - 熟悉 NCCL/RCCL 通信库 - 有 ≥2 张 GPU 以上的集群部署经验 加分 - 有 vLLM 源码贡献 - 熟悉 MoE 模型部署（DS V4/GLM-5.2/M3/K3） - 熟悉AMD GPU或国产芯片（昇腾/摩尔线程） - 有规模化生产集群推理经验