AI运维工程师

岗位使命 运营 MaaS、LLM/GenAI、模型服务、训练管道、向量库、RAG 应用与 MLOps 工具链，建立模型性能、质量、延迟、成本和风险的可观测与自动化运营。 核心职责 · 运营 MaaS：模型/端点上线、版本/回滚、API Gateway、配额/限流、多租户权限和容量管理。 · 监控模型和推理管道的健康、延迟、吞吐、GPU 利用率、Token 消耗和成本。 · 建设 prompt/response 日志、追踪、嵌入质量和模型特定遥测。 · 使用 Grafana、Prometheus、Datadog、Splunk/ELK、OpenTelemetry 建设看板和告警。 · 定义 AI 服务 SLI/SLO/SLA、Error Budget，主动发现异常。 · 监测模型/数据漂移、准确性下降、幻觉、偏见/公平性信号并建立反馈闭环。 · 排查配额耗尽、GPU 饱和、推理质量下降等 AI 特有事件。 · 采用 AIOps 实现异常检测、告警关联、降噪、根因分析、预测/自愈和自动扩缩容。 · 使用 Terraform、Ansible、Python 和 CI/CD 自动化健康检查、修复、故障转移和重训练触发。 任职硬性要求 · 4–6+年 MLOps/LLMOps/AI 平台或 SRE 经验，有生产模型服务运营经验。 · 熟悉 LLM/GenAI、RAG、向量数据库、Model Serving 和 GPU 资源。 · 掌握 Prometheus/Grafana/OpenTelemetry 及日志平台中至少一类。 · 具备 Python、Terraform/Ansible、Kubernetes 和 MLOps CI/CD 自动化能力。 · 理解 SLI/SLO、Error Budget、容量/成本、漂移、幻觉和模型评估。 · DevOps Toolsets Integration、CI/CD、Infrastructure、Linux OS Administration、专业英文写作和 Markdown 文档能力为基础要求。 · 熟悉 Agile/DevOps、ITIL、SDLC、Incident/Problem/Change Management 和全球团队协作。 优先条件 · 有 vLLM/SGLang/KServe/Seldon/Kubeflow、Milvus/pgvector/Qdrant 实战。 · 有 AIOps、告警关联、自愈、Guardrail 或 LLM 评估经验。 · 有医药/医疗合规、敏感数据或多租户 MaaS 经验。