Agent基础设施开发工程师

岗位职责 1.

Agent

Observability系统研发 • 负责Agent应用及Agent Runtime可观测性系统的设计、开发与工程化落地。 • 负责Agent 执行过程中运行数据采集与管理功能的开发。 • 建立Agent端到端执行链路追踪能力的开发。 • 负责Agent执行信息及运行上下文的统一采集和分析。 2.

Agent

Evaluation评测体系研发 • 负责Agent系统的评测框架和评测基础设施建设。 • 建设Benchmark数据集，支持离线数据集评测、自动化评测和回归测试。 • 建立Agent评测指标体系。 • 建立多维Agent评测方式的设计、开发与工程化集成。 3. Agent / Memory质量工程 • 负责Agent Memory的运行监控和质量评估。 • 建立Agent Memory评测体系。 • 参与Agent Memory检索链路的质量分析和效果优化。 • 负责Agent执行失败、幻觉、错误Tool Call、错误记忆召回及上下文污染等问题的分析与定位。 • 建立Agent及Memory的离线测试集，保障版本迭代后的能力稳定性。 4. Agent运维平台与开发者工具 • 负责面向Agent开发者的Web UI、SDK、CLI、TUI等开发者工具建设。 • 负责Observability/Evaluation平台的后端服务、数据存储、查询及计算能力建设。 • 负责大规模运维数据的存储、索引、查询及生命周期管理。 • 负责系统性能、稳定性、资源成本及数据处理效率优化。 • 参与Docker、Kubernetes、CI/CD等环境下的平台部署、升级和运维。 • 建立平台自身的日志、Metrics、Tracing、健康检查及告警能力，保障平台稳定运行。 任职要求 1. 基本要求 • 本科及以上学历，计算机、软件工程、人工智能等相关专业。 • 3 年以上后端、数据平台、开发者/运维工具、可观测性或AI应用相关开发经验。 • 熟悉软件工程、系统设计及生产环境开发流程。 • 具备复杂平台、数据系统或AI应用的工程开发经验。 • 熟练掌握Python、Java、Go、Rust、TypeScript/Node.js至少一种编程语言。 • 具备实际Agent、RAG、LLM Application等 AI应用开发经验。 2.

Agent/AI能力 • 熟悉Agent、Workflow、LLM、RAG、Memory、Tool Calling、MCP等一种或多种 AI 应用技术。 • 理解Agent Runtime的基本运行机制，能够理解 Agent、LLM、Tool、Memory、Context之间的调用关系。 • 理解Agent执行过程中的Trace、Run、Step、Tool Call、LLM Call等基本概念。 • 了解Agent Evaluation、LLM-as-a-Judge、Golden Dataset、Regression Evaluation等常见评测方法。 • 具备Agent问题定位、效果分析或AI应用质量优化经验。 3. Observability/Evaluation能力 • 熟悉日志、Metrics、Distributed Tracing等可观测性技术。 • 熟悉OpenTelemetry、Prometheus、Grafana、ELK/OpenSearch等相关技术中的一种或多种。 • 具备Trace 数据采集、存储、查询、聚合或分析系统开发经验。 • 具备数据集、实验管理、自动化评测或质量平台开发经验。 • 理解Recall、Precision、MRR、Latency、Token、Cost等AI系统常见质量与性能指标。 • 具备构建自动化测试、回归测试和质量门禁的经验。 4. 工程化能力 • 具备容器化、云原生或微服务开发经验。 • 熟悉SQL/NoSQL数据库、缓存、消息队列等常见基础设施。 • 具备大规模日志、Trace 或时序数据处理经验者优先。 • 具备较好的系统设计能力，能够独立完成模块设计、开发、测试和交付。 • 具备较强的问题分析能力，能够从复杂Agent Trace中定位系统及业务问题。 加分项 • 有LangSmith、Langfuse、Arize Phoenix、Helicone、Weights & Biases等Agent Observability或Evaluation系统使用、研发或二次开发经验。 • 有Agent Evaluation、LLM Evaluation、LLM-as-a-Judge或AI Benchmark平台研发经验。 • 有Agent Trace、Workflow Trace、Prompt Trace或Tool Calling Trace系统研发经验。 • 有OpenTelemetry、Prometheus、Grafana、ClickHouse、Elasticsearch/OpenSearch等Observability基础设施研发经验。 • 熟练掌握 Rust，或有Python/Java/TypeScript Rust混合架构开发经验。