Harness 工程专家

岗位职责： 1. 主导企业AI质量标准体系的建设，定义覆盖模型能力、系统稳定性、输出安全性的多维质量基线 2. 建立AI系统上线质量门禁机制，推动评测体系成为AI产品发布的强制性前置环节 3. 构建AI风险监控体系，识别生产环境中的模型退化、幻觉频发、偏见放大等系统性风险 评测体系建设 4. 设计并维护企业级AI评测框架，覆盖功能准确率、边界case、一致性、安全性全维度 5. 建设自动化评测流水线，集成至CI/CD流程，实现AI系统的持续质量保障 技术洞察与引领 6. 持续跟踪AI评测领域前沿进展（LLM-as-Judge可靠性研究、自动化红队测试、Agent行为评测框架等），提升企业评测体系的科学性与覆盖度 7. 研判AI系统质量风险的演变趋势（幻觉、对齐失效、多模态误判等），前瞻性补强企业质量防线 任职要求： 1. 6年以上软件工程经验，其中2年以上AI系统评测框架从0设计并落地的实际经验 2. 深度理解大模型评估方法论，能独立设计覆盖能力边界、安全性、一致性的多维评测体系 3. 精通LLM-as-Judge、人工标注体系设计、自动化指标量化等评测手段，能识别并规避评测偏差 4. 具备系统化质量门禁设计能力，能将评测体系嵌入CI/CD流程，实现AI系统持续质量保障 5. 有在复杂AI产品中推动团队建立质量文化、并被业务结果验证的成功经验