跳转到主要内容

LLM Ops 工程师(大模型运维)

Technology
路特创新
深圳-南山区, 中国¥25,000 - ¥50,000 /月1个月前

职位描述

岗位职责 1、负责大模型推理服务日常运维与 API 号池全生命周期管理,包括部署配置、监控告警、版本切换、扩容协调、线上故障应急响应,以及号池轮询调度、额度监控、异常账号切换、限流规避与成本优化; 2、负责大模型基础能力评测与厂商对接,覆盖性能、稳定性、成本三大维度,输出标准化评测报告,推进选型、采购、版本协调与扩容资源落实,维护厂商对接台账; 3、负责智能体项目上线与回滚全流程管理,制定上线方案与 Checklist,组织灰度发布、异常回滚与上线复盘,维护操作手册与版本记录; 4、负责专业爬虫的设计、开发与维护,包括爬虫架构搭建、反爬机制应对(IP 代理池 / UA 池 / 验证码 / 频率控制)、数据采集清洗与结构化存储,支持大模型训练评测及业务数据需求; 5、紧跟业务需求,参与项目日会周会,同步基础设施进展与风险,作为业务与技术桥梁,持续向 AI Infra 工程化方向拓展能力边界。 任职要求 1、本科及以上学历,计算机、软件工程、人工智能等相关专业; 2、2 年以上运维 / SRE / 基础设施 / 技术支持相关经验,有大模型 API 运维或号池管理经验优先; 3、熟悉大模型推理服务的部署与监控流程,了解主流大模型厂商 API、配额、计费与限流机制; 4、有 API 号池或密钥管理经验,了解轮询调度、额度监控、异常切换、并发控制等基本策略,能独立维护号池稳定运行; 5、熟悉 Linux 系统与常用运维工具,了解 Docker / Kubernetes 基本操作,能独立完成服务部署与问题排查; 6、了解 Prometheus / Grafana 等监控告警体系,具备线上故障定位与应急处理能力,日常需求 1 个工作日内响应; 7、具备 Python 开发能力,能独立编写爬虫脚本,熟悉 Scrapy / Playwright / Selenium 等至少一种爬虫框架,了解反爬机制与应对策略; 8、具备数据清洗与结构化处理能力,熟悉常见数据存储格式(JSON / CSV / 数据库); 9、具备强跨团队沟通协调能力,能同时对接业务、研发、厂商多方,推动需求落地与问题闭环; 10、工作认真负责、结果导向,具备风险预判能力和文档习惯,对 AI Infra 技术有热情,愿意持续学习推理框架、性能调优、成本优化等方向。 加分项 1、有大模型 API 号池系统设计或开发经验,能实现自动化调度与成本管控; 2、有智能体(Agent)平台或 LLM 应用上线、灰度、回滚实操经验; 3、有大规模分布式爬虫系统开发与运维经验,熟悉代理池建设、验证码打码平台对接; 4、有大模型评测框架搭建或 Benchmark 测试经验,了解 vLLM / SGLang 等推理框架基本原理; 5、具备厂商商务谈判或采购流程推进经验; 6、熟悉大模型调用成本核算,有缓存策略、模型路由、上下文压缩等降本优化实践; 7、有 Go / Java 开发能力,能编写自动化运维工具或号池管理后端服务。

Keywords
2年以上GrafanaJSONLinuxPythonJavaDockerKubernetesSelenium

对这个职位感兴趣吗?