大模型推理服务工程师
云从科技职位描述
职位介绍 # 大模型推理服务工程师(LLM Serving / AI Infra) 工作地点:上海 我们正在建设面向企业客户的大模型推理服务与 AI Infra 能力,通过 GPU 算力、多模型部署、模型路由和推理优化,为业务提供稳定、高效、可规模化的模型 Token 服务。 这个岗位不是纯模型算法或 CUDA 算子优化岗位。我们希望找到一位后端工程基础扎实、真正搭过生产级大模型推理服务,同时理解 GPU 资源和推理经济性的工程师:不仅能把模型服务架起来、跑稳定,还能持续提高单位 GPU 的 Token 产出、降低推理成本,并支持企业私有化部署。 ## 一、岗位职责 1. 建设大模型推理服务 基于 vLLM、SGLang、TensorRT-LLM、TGI 等主流推理框架完成大模型部署、服务化、升级、扩缩容和版本治理; 建设稳定统一的模型服务接口,支持多模型、多实例生产环境运行。 2. 建设 Model Router / LLM Gateway 负责多模型、多实例及不同模型供应商的统一接入和路由能力; 建设负载均衡、Fallback、限流、配额、鉴权、多租户等服务治理机制; 根据模型能力、时延、成本、SLA和GPU负载设计合理的动态路由策略。 3. 负责生产级后端与高可用建设 负责模型服务相关的注册发现、配置管理、并发控制、超时重试、故障隔离等核心后端能力; 建设监控、日志、告警、灰度、回滚及SLA/SLO体系; 处理线上模型服务的性能、稳定性和复杂故障问题。 4. 建设GPU资源调度与集群能力 参与GPU资源池、模型实例调度、资源分配、容量规划及弹性扩缩容; 提升GPU利用率和集群资源使用效率; 处理不同GPU型号、驱动、网络、存储和Kubernetes环境中的工程问题。 5. 负责大模型私有化部署 支持模型服务在客户私有云、VPC、本地GPU集群等环境中的部署交付; 基于Docker、Kubernetes完成容器化、资源编排和环境适配; 持续提升私有化部署的自动化、标准化、可升级和可诊断能力。 6. 持续优化推理性能与单位算力Token产出 围绕TTFT、TPOT、Tokens/s、吞吐量、并发、显存占用、GPU利用率等指标进行性能分析和优化; 结合Continuous Batching、KV Cache、模型并行、量化、请求调度等手段持续提升推理效率; 在模型质量、时延、吞吐和资源成本之间做工程取舍。 7. 优化Token成本与模型服务经济性 建立单卡、单机及集群级容量模型; 分析单位Token成本、GPU利用率及不同模型部署方案的成本收益; 通过Serving Engine、资源调度、模型路由等系统优化,提高单位GPU的Token产出并降低服务成本。 8. 参与模型服务规模化建设 面向真实客户和业务流量持续完善计量、配额、容量、故障和成本治理; 推动模型服务从“能够运行”逐步升级为“稳定、可复制、可规模化交付”的生产基础设施。 ## 二、任职要求 1. 本科及以上学历,计算机、软件工程、人工智能等相关专业优先。 2. 具备扎实的后端开发能力,熟练掌握 Python、Go、C++ 中至少一种语言,有生产级后端、分布式系统或高并发服务开发经验。 3. 有真实的 LLM Serving / Model Serving 生产实践,能够独立完成大模型自部署、自维护及在线服务建设;仅调用第三方模型API不属于该类经验。 4. 熟悉至少一种主流推理框架,如 vLLM、SGLang、TensorRT-LLM、TGI 等,并具备实际部署或生产调优经验。 5. 有 GPU模型服务及集群经验,熟悉Docker、Kubernetes,理解GPU资源、模型实例、容量和调度之间的关系。 6. 具备大模型私有化部署或高度可迁移的自管GPU集群经验,能够处理驱动、网络、存储、容器、离线环境等真实部署问题。 7. 理解大模型推理中的核心性能机制,能够解释并分析 TTFT、TPOT、Tokens/s、Batch、KV Cache、显存、GPU利用率、并发和吞吐等指标。 8. 具备推理性能或成本优化实践,能够结合真实生产场景说明优化前后的指标变化、技术取舍和收益。 9. 具备较强的生产问题定位和Debug能力,能够从网关、后端服务、推理引擎、GPU、网络等不同层面定位复杂问题。 ## 三、加分项 1. 有云厂商大模型/MaaS、模型云、GPU云或大模型推理平台相关工作经验。 2. 实际建设过 Model Router / LLM Gateway / 模型网关,有多模型路由、Fallback、限流、配额、多租户或模型治理经验。 3. 做过大规模GPU集群、GPU资源调度、容量规划和资源利用率优化。 4. 有大规模模型服务、MaaS或按Token提供模型服务的生产或商业化经验。 5. 有明确的 Tokens/s/GPU、单位Token成本、GPU利用率、容量或推理成本优化结果。 6. 熟悉Continuous Batching、Paged Attention、KV Cache、Tensor Parallel、量化等推理优化技术,并有实际生产实践。 7. 有CUDA、Triton、Kernel、编译器或推理引擎深度优化经验,并能证明这些优化最终提升了真实生产环境中的吞吐、显存效率或Token成本。 8. 有异构GPU、国产GPU/NPU或复杂企业私有化环境的模型部署经验。 ## 四、我们特别看重 我们更关注你是否真正做过生产级模型服务,以及在其中承担了什么技术责任,而不是简历上出现多少框架名称。 理想的候选人能够完整讲清楚: 模型如何部署 → 服务如何稳定运行 → 多模型如何路由 → GPU资源如何调度 → 性能瓶颈如何定位 → 单位Token成本如何下降 → 如何在客户私有环境稳定交付。 如果你同时具备底层CUDA/Triton优化经验会是明显加分,但这不是岗位的前置要求。
对这个职位感兴趣吗?