青年拔尖人才计划-GPU运维工程师

工作职责

1.安装维护GPU服务器操作系统、驱动、CUDA运行环境及容器组件，建立版本兼容性与配置基线，完成节点接入、环境标准化及升级维护。

2.建立节点、集群及模型服务的监控、日志和分级告警体系，跟踪GPU温度、功耗、显存、利用率、错误事件、互联状态，以及服务可用性、请求成功率、响应延迟、队列等待和网络存储状态。

3.排查GPU掉卡、Xid或ECC错误、驱动异常、降频、节点重启、性能衰退及平台服务故障，结合日志、遥测和测试结果定位原因，形成修复与复测记录。

4.检查PCIe、NVLink及节点侧高速网络链路，配合网络团队定位跨卡、跨节点通信故障和性能异常。

5.建设维护适合业务的Kubernetes或Slurm集群，配置资源池、用户、项目、队列、配额及优先级，优化排队和资源分配，支持训练、批处理及在线推理。

6.协同算法、应用及Token优化团队部署模型和应用服务，执行版本发布、健康检查、扩缩容、灰度验证、流量切换及回滚。

7.按流程实施任务排空、节点隔离、变更验证、升级回滚、备份恢复及必要的容灾演练，确认节点健康后重新加入资源池，控制维护影响并降低重复事故。

8.通过脚本、配置管理及基础设施即代码实现批量配置、巡检、日志收集、诊断和部署自动化，维护权限、密钥、租户隔离及操作审计。

9.提供可核对的GPU时长、任务、模型调用、功耗及设备健康数据，支持用量计费、客户交付、容量规划和成本分析，实施经验证的设备策略并跟踪效果。

10.协同硬件工程师、厂商及国内外机房处理维修和现场问题，维护节点、驱动、固件及故障台账，参与明确排班下的值守、跨时区交接和故障复盘。

任职资格

1.计算机、软件工程、电子信息、通信等相关专业。

2.熟悉Linux、容器、网络及存储，能够独立分析系统日志、进程和资源占用，排查节点、调度、服务及依赖故障。

3.熟悉GPU驱动与CUDA环境兼容性管理，掌握nvidia-smi、DCGM等工具，理解GPU显存、PCIe、NVLink、ECC及常见错误，具备实际设备诊断经验。

4.掌握Python、Shell或Go中的至少一种，具有自动化部署、批量运维、配置管理和版本管理能力。

5.理解模型服务及训练任务运行方式，具备发布回滚、容量管理、权限控制、变更隔离及备份恢复实践，能够编写可追溯的操作与交接文档。

6.能够阅读英文技术资料、处理英文工单并与海外服务商协作，按明确排班参与故障值守及跨时区交接。