北京国际算力服务有限公司岗位简介 负责公司'Token 工厂'(大模型推理即服务平台)的设计、开发与运维。平台以 GPUStack 式架构管理 GPU 算力与推理引擎生命周期,以 new-api 式架构承载 API 网关、租户鉴权、配额与计费,对外提供 OpenAI 兼容的大模型推理服务,对内支撑模型部署、灰度发布、弹性扩缩容与成本核算。 岗位职责 1.负责大模型推理服务平台整体架构设计与核心模块开发:模型部署管理、OpenAI 兼容 API 网关、模型路由(权重分流/fallback/灰度)、多租户与访问控制。 2.负责推理引擎编排与性能优化:基于 vLLM / SGLang / TensorRT-LLM 等引擎的服务化接入,完成连续批处理、KV Cache 分层(LMCache/HiCache)、投机解码(EAGLE3/MTP/N-grams)、量化(FP8/AWQ)等线上落地,持续优化 TTFT/TPOT 与吞吐。 3.负责 GPU 算力调度与集群运维:GPU 资源调度、显存估算、张量/流水线并行配置、多机互联(NVLink/RoCE/RDMA),NVIDIA 与国产芯片(昇腾 CANN、海光、摩尔线程等)混合集群管理。 4.负责 API 分发与计费体系:多渠道(自研集群 + 第三方 MaaS)统一接口、协议转换(OpenAI/Claude/Gemini)、令牌配额管理、token 级计量计费、对账与限流熔断。 5.负责平台可观测性建设:Prometheus + Grafana 监控体系(GPU 利用率、QPS、延迟、错误率、token 计量),告警、日志与容量规划。 6.负责模型升级与发布流程:基于模型路由别名实现无缝版本切换与灰度,Benchmark 体系(GuideLLM 等)支撑容量与成本评估。 7.跟踪 GPUStack、new-api、vLLM、SGLang 等开源社区演进,评估并引入新技术。 任职要求(必备) 基础能力 8.本科及以上学历,计算机相关专业,3 年以上后端或基础架构开发经验; 9.精通 Python(FastAPI/Pydantic v2/SQLModel/SQLAlchemy asyncio)与 Go(Gin/GORM)至少一门,有另一门实际项目经验者优先; 10.熟悉 REST/OpenAPI 设计、SSE 流式传输、WebSocket 实时通信; 11.熟悉 Linux、Docker、Kubernetes 及 Helm,具备容器化平台工程实战经验。 推理引擎与大模型服务 12.熟悉至少一种 LLM 推理引擎(vLLM / SGLang / TensorRT-LLM / MindIE)的部署、配置与调优,理解 PagedAttention、连续批处理、张量并行等核心机制; 13.熟悉 OpenAI 兼容 API 协议(Chat/Completions/Responses/Embeddings),了解 Claude Messages、Gemini 等协议差异与格式转换; 14.有大模型在线服务(高并发、低延迟)实际研发与运维经验。 网关与分布式系统 15.熟悉 API 网关体系(Higress/Envoy/Nginx 任一),掌握限流、熔断、重试、负载均衡、加权路由等常见治理手段; 16.熟悉 MySQL/PostgreSQL、Redis,有高并发下数据一致性(幂等、事务)处理经验,了解计费记账类系统的对账与回滚设计; 17.熟悉 Prometheus + Grafana 监控体系,能独立搭建 GPU 与推理服务指标链路。 GPU 集群运维 18.熟悉 NVIDIA 生态:驱动/CUDA 版本矩阵、NVIDIA Container Toolkit、nccl-test、DCGM/nvidia-smi 排障; 19.了解 GPU 资源切片(MIG/MPS)与显存容量规划,有多机多卡分布式推理实战者优先。 加分项 20.深度使用过 GPUStack、new-api(One API 系)、vLLM、SGLang、llama.cpp、Higress 中的任意项目,有源码阅读或贡献经历; 21.熟悉 KV Cache 系统化优化(Prefill/Decode 分离、LMCache/HiCache 等)或投机解码落地经验; 22.有国产算力适配经验:昇腾 CANN/MindIE、海光 DCU、摩尔线程、寒武纪等; 23.有 Go 网关二开经验(Redis 限流、Casbin 权限、计量计费、渠道管理),了解 OI/令牌分组/配额设计; 24.有 ClickHouse 计量日志、Stripe/EPay 支付接入、SAML/OIDC 企业 SSO 接入经验; 25.有 Kubernetes 上 GPU 调度(DRA/GPU Operator)或拓扑感知调度经验; 26.前端能力加分:React + TypeScript,能独立完成管理台(渠道/令牌/部署表单、监控与计费看板)开发; 27.在云厂商(火山方舟、阿里 PAI、腾讯云 TI、华为 ModelArts)、大模型公司(智谱、月之暗面、MiniMax、商汤)或推理服务商(硅基流动、潞晨、无问芯穹)有相关平台研发经历。
对这个职位感兴趣吗？