跳转到主要内容

Agent自动化评测系统开发

Technology
中电金信软件有限公司
1周前
全职

职位描述

岗位简介

我们正在做 Personal Agent,包含全双工实时语音交互能力。你主要负责这套 Agent 的自动化评测平台从 0 到 1 的开发与长期维护,产出稳定可用的工程系统,给产品验收、模型迭代提供可复现、可对比的评测能力。

岗位职责

1 负责评测平台整体设计与开发,搭建分布式任务调度、执行沙箱、重试与快照能力,支撑批量离线评测、定时回归、线上影子评测,保证大批量跑测稳定、结果可复现。

2 开发全双工语音交互仿真客户端,对接 WebSocket / SSE / RTC 流式链路,模拟真实用户行为,比如插话打断、网络抖动、长轮对话等;采集会话时序、各类时延、交互轨迹等原始数据。

3 对接 Agent 各个模块,包括会话管理、工具调用、记忆、ASR/TTS、推理服务;统一收日志、调用链路和指标,做链路追踪,方便后续定位是服务、语音链路还是模型本身带来的问题。

4 实现可扩展的打分框架,支持规则断言、LLM Judge、版本对照、A/B 对比等能力;提供指标聚合、报告、案例检索服务,对外暴露接口和后台看板,方便团队自助发起评测。

5 持续优化平台吞吐、资源占用和运行成本,解决并发、时序竞态、超时等流式交互场景下的工程问题。

任职要求

1 后端开发基础扎实,熟练使用 Go / Python 其中一门,熟悉异步编程、流式协议、微服务、任务调度和常用存储组件,能够独立完成模块设计、编码和线上问题排查。

2 了解 Agent 的基本运行流程,熟悉多轮对话、工具调用;知道全双工语音交互里流式输出、打断、VAD 这类场景会带来哪些工程难点。

3 有测试平台、评测 Harness、MLOps 平台或者自动化流水线开发经验,明白怎么降低大模型评测里的随机性,让结果稳定可信。

4 熟悉可观测体系,能做好日志、指标和链路追踪;习惯用接口化方式封装能力,方便其他团队自助使用。

加分:做过 RTC、实时语音仿真;接触过 tracing、实验平台;有 K8s 任务调度经验;了解 LLM 评测的常见思路。

  • 熟悉Agent、模型Harness、大模型记忆相关业务及系统开发;
  • 了解AI评测量化体系、打分校准机制、评测数据治理;
  • 有高并发任务系统、AI推理调度、数据平台研发经验优先。

岗位亮点

  • 核心赛道:深耕大模型刚需评测基建,技术壁垒高、成长性强;
  • 场景全面:覆盖大模型、Agent、调度、记忆四大核心AI场景,技术视野开阔;
  • 分工纯粹:专注平台技术研发,无需参与用例标注、场景设计等业务工作;
  • 价值落地:直接支撑模型质量与产品体验迭代,业务核心度高、成果可量化。
Keywords
LinuxMysqlPython

对这个职位感兴趣吗?