AI解决方案架构师

该职位来源于猎聘 岗位职责 1. 负责公司 AIHub 大模型平台 的部署、运行维护、监控、容量管理及稳定性保障。 2. 负责大模型 API 网关及模型接入链路的运行维护，包括：

• OpenAI / Claude / Gemini / DeepSeek / 豆包等模型接入
• 自建及第三方模型服务
• API Gateway / LLM Gateway
• 流式请求
• 超时、重试、Fallback
• 限流与熔断
• Token 及调用量监控 3. 负责 Kubernetes、Docker、Linux 等基础运行环境的维护及优化。 4. 建设 AIHub 可观测体系，对以下核心指标进行监控：

API 请求成功率

• TTFT / 首 Token 延迟
• 请求整体延迟

Token 吞吐量

• 并发量
• 模型错误率
• 上游模型可用性
• CPU / GPU / 内存 / 网络资源
• Token 与模型调用成本 5. 建立模型及供应商健康检查机制，在上游模型异常时配合实现自动切换、降级及故障隔离。 6. 负责 GPU 推理环境的运行维护，包括 vLLM、模型部署、GPU 显存、推理性能及容量管理。 7. 建设自动化运维能力，包括 CI/CD、配置管理、自动部署、扩缩容及故障恢复。 8. 负责 AI 平台的生产故障处理、根因分析及问题复盘，持续提升平台 SLA 和稳定性。 9. 配合安全团队完成账号权限、API Key、Secret、IAM、审计日志等安全治理。 10. 配合 FinOps 建设模型及算力成本监控能力，对云资源、GPU、Token 等成本进行分析和优化。 任职要求 1. 3 年以上 Linux / DevOps / SRE / 云平台运维相关经验。 2. 熟悉 Linux、Docker、Kubernetes，具备生产环境 Kubernetes 运维经验。 3. 熟悉至少一种主流公有云平台，如：

AWS

Azure

• 阿里云
• 火山引擎
• 腾讯云 4. 熟悉 Prometheus、Grafana、ELK、VictoriaMetrics 等监控日志体系。 5. 熟悉 HTTP / HTTPS、DNS、TCP/IP、负载均衡、Nginx、API Gateway 等基础技术。 6. 熟悉 Python、Shell 等至少一种自动化脚本语言。 7. 对大模型 API 有基本理解，能够理解：

Token

Context

Streaming

Completion

Embedding

Function Calling

• 模型限流
• API 并发 8. 具备较强的故障定位和问题分析能力。 加分项 有 LLM Gateway / AI Gateway 运维经验 有 vLLM、TGI、SGLang 等推理框架经验 有 NVIDIA GPU / CUDA 运维经验 有大模型私有化部署经验 熟悉 Terraform / Ansible / Helm 熟悉 FinOps 或云成本管理 有 API Gateway / Kong / APISIX / Envoy 运维经验 有高并发 API 服务运行维护经验