AI 推理部署与运维工程师

业务介绍 负责开源模型推理服务及 GPU 实例的部署、监控与运行保障，支持平台 API 服务、企业专属实例和私有化部署交付。 岗位职责 1. 基于成熟推理框架部署首批高频开源模型，提供可接入平台的标准化 API 服务。 2. 负责 GPU 实例、容器及模型运行环境配置，建立部署、更新与回滚流程。 3. 开展性能与稳定性测试，分析并发、响应延迟、吞吐量、显存占用及单位推理成本。 4. 建设服务监控、日志与告警，处理资源异常、模型服务故障及性能问题。 5. 落实网络隔离、访问控制、密钥管理及日志脱敏等安全措施。 6. 协调 GPU 供应商及外部交付团队，完成企业专属实例、私有化部署的技术验证、验收和运维交接。 任职要求 1. 3 年及以上运维、云平台或模型部署相关经验，具备实际 GPU 推理服务部署经验。 2. 熟悉 Linux、Docker、GPU 驱动及 CUDA 环境，掌握 Python 或 Shell 脚本。 3. 熟悉 vLLM、SGLang 等至少一种推理框架，能够独立完成模型部署与接口验证。 4. 理解模型精度、量化、上下文长度、并发与显存占用之间的关系。 5. 具备压力测试、监控告警及故障定位能力，能够输出部署文档与测试报告。 6. 具备客户交付意识，能够与研发、供应商及客户技术团队有效协作。