运维工程师（AI模型运维）

该职位来源于猎聘 岗位要求： 1.算力集群全生命周期管理： 负责大规模 GPU 算力集群（如 NVIDIA A100/H100/B200 系列、异构国产算力）的规划、部署、日常运控与容量管理。 2.高性能网络与存储调优： 维护和优化高性能物理网络，调优分布式存储（如 Ceph, GlusterFS, JuiceFS），确保大模型训练 Checkpoint 读写及海量数据集加载的 I/O 性能。 3.资源调度与运控平台建设： 深度参与基于 Kubernetes (配合 Volcano/Kueue) 或 Slurm 的算力调度平台的建设，优化多租户资源隔离、GPU 碎片整理机制，提升整机算力利用率（MFU/HFU）。 4.大模型 serving 稳定性保障： 配合算法/开发团队，保障分布式推理框架（如 vLLM, Triton Inference Server, TGI）在生产环境的平滑扩缩容、负载均衡及长连接稳定性。 5.故障快速收敛与自动化治理： 建立健全 GPU 集群的硬件故障故障自动隔离机制（Node Fencing）。深度排查并解决 GPU XID 错误、PCIe 掉卡、NCCL 通信超时、NVLink 链路异常 等 AI 特异性底层硬件与网络故障。 6.全链路可观测性建设： 构建从物理硬件（DCGM、NVIDIA-SMI）到网络拓扑、再到上层大模型服务指标的监控大屏与告警体系，实现分钟级故障定界。 任职要求： 1. 核心技术能力（算力与底层） 深厚的 Linux 与网络功底： 5年以上传统或云原生运维经验，2年以上大规模 AI 算力集群实际运维经验。精通 Linux 内核参数调优，深入理解 TCP/IP 协议栈。 RDMA 网络专家： 熟练掌握 InfiniBand / RoCE v2 网络的配置与调优，具备 NCCL (NVIDIA Collective Communications Library) 通信环境的排查与排障经验。 熟悉英伟达生态栈： 精通 CUDA、cuDNN 环境部署，熟练使用 NVIDIA-SMI、NVML 库，对 NVSwitch 拓扑结构、NVLink 技术有深刻的物理层面理解。 分布式存储实战： 具备大规模高并发读写存储的调优经验，熟悉存储与中间件，包括Redis、Rabbitmq、对象存储（S3/OSS）、关系型/向量数据库，掌握如何优化存储架构以应对大模型断点续训（Checkpointing）时的写入峰值。 2. 调度与云原生技术 AI 编排与调度： 熟练掌握 Kubernetes 架构，对 GPU 共享调度（如 GPU 分段、虚拟化）、弹性调度（Volcano 等）有实际落地经验；或者具备大型 Slurm 集群维护经验。 AI 工具链配合： 熟悉 vLLM、Triton、Ollama 或 HuggingFace 生态工具的部署与运维，理解分布式训练（Megatron-LM, DeepSpeed）的底层运行逻辑。 熟悉CI/CD流程，主导或者参与规划过CI/CD流程建设，包Jenkins 、GitLabCI、Drone、Sonarqube等 监控与告警： 熟练使用 Prometheus, Grafana, ELK。有使用 NVIDIA DCGM Exporter 进行 GPU 精细化监控指标抓取的实战经验。 3. 自动化与软实力 自动化运维： 至少精通 Shell、Python 中的一种，能编写高质量的集群自动化部署、自动化健康检查（Health Check）及故障自愈脚本。 抗压与复盘能力： 面对动辄数百万成本的算力中断，具备极强的心理素质和冷静的问题分析能力，习惯以 Post-Mortem（故障复盘机制）驱动系统架构的持续改良。 加分项 有头部互联网公司、云厂商智算中心（AIDC）或头部大模型独角兽企业搬迁、调优、千万级 Token/秒 推理网关运维经验者优先。 参与过开源智算运维工具、K8s 调度插件设计并贡献过社区代码者优先。 良好的英文技术文档读写能力,具备良好的团队协作与沟通能力