大模型推理运维工程师

该职位来源于猎聘 必备条件： 1、至少有NVIDIA H系列及以上经验， 2、必须有大模型部署和推理优化经验 3、不光是软件层面经验，也要懂硬件。 定位边界 本岗位偏运维保障，核心产出是服务稳定、故障快速恢复和 SLA 达成，不是模型开发或加速算法研发。推理加速指运用引擎参数、调度策略和资源配比保障已有方案稳定兑现性能，不承担量化/剪枝/蒸馏等算法设计。 岗位职责 1、大模型推理 SLA 保障：对线上推理服务可用性、延迟、吞吐负责，建立 SLI/SLO 与告警响应机制，主导故障预防、应急恢复和复盘闭环。 2、推理加速运维落地：负责 vLLM / TensorRT-LLM / Triton 等推理引擎的部署、配置与参数调优；配合算法同事完成加速方案的上线验证、灰度发布、稳定性看护与回滚。 3、驱动与调度运维：负责 GPU 驱动、CUDA、cuDNN、NCCL 版本管理与兼容性维护；维护 K8s/Slurm 等集群的 GPU 调度策略，处理驱动、调度导致的 GPU 异常。 4、软硬一体算力箱保障：负责现场算力箱部署、巡检、监控与故障响应，处理 GPU、主板、存储、网络、供电散热等问题，联动厂商闭环。 5、可观测性与自动化：搭建 GPU 与推理服务监控告警体系，编写巡检、故障采集、服务重启等自动化脚本，沉淀故障 SOP 与运维文档。 岗位要求 1、本科及以上，2 年以上 Linux 运维 / SRE / AI 基础设施运维经验。 2、熟悉 Linux、Docker/Kubernetes、GPU 运行环境及驱动/CUDA/NCCL 版本管理。 3、熟悉至少一种推理引擎的部署、配置与运行态排障，能处理模型加载失败、显存不足、批处理失效、NCCL 超时等问题。 4、具备生产故障应急能力，SLA 意识强，能围绕可用性、P99 延迟、错误率、超时淘汰率开展工作。 5、掌握 Shell/Python，能编写自动化运维工具。 6、有 GPU 集群、大模型推理服务、算力箱/边缘节点运维经验者优先。