大模型部署优化工程师
Other
上海市, 中国¥30,000 - ¥60,000 /月1周前
全职
职位描述
该职位来源于猎聘 岗位职责 1、负责大模型推理加速与性能优化工作,基于VLLM、SGLang等社区主流AI推理框架,完成模型推理链路的调优、适配与迭代升级,解决推理延迟高、吞吐低、显存占用过高等核心问题。 2、负责Triton自定义算子开发、适配与优化,针对大模型推理场景的专属算子进行自研、重构与迭代,优化算子执行效率,提升整体推理链路性能。 3、参与模型编译优化工作,熟练运用模型编译技术对大模型进行量化、剪枝、层融合、内存优化、计算图优化等改造,降低模型推理成本,提升模型部署兼容性与运行效率。 4、跟进业界大模型部署、推理加速、算子优化的前沿技术与社区动态,结合业务场景落地新技术、新方案,持续迭代优化部署架构与推理体系。 任职要求 1、熟练掌握 Triton 算子开发、调试、适配与性能调优,具备独立开发自定义推理算子的实战经验。 2、精通社区主流大模型推理框架,熟练使用 VLLM、SGLang 完成模型部署、适配与性能优化,掌握框架底层推理逻辑和各种优化原理。 3、扎实掌握大模型部署全流程技术栈,熟悉模型量化、推理加速、显存优化、负载均衡、高并发部署等核心技术,具备大规模大模型线上部署优化落地经验。 4、熟悉深度学习模型编译优化技术,了解计算图优化、算子融合、推理编译、硬件适配等相关原理,具备模型编译调优实战能力。
对这个职位感兴趣吗?