Python agent 算法
山东百舜信息技术有限公司职位描述
岗位名称:大模型评测与应用工程师
一、 岗位核心定位
本岗位核心是从事大语言模型(LLM)的端侧 / 云侧评测工作,而非传统业务系统开发。以扎实的工程能力和逻辑思维为基础,深度参与大模型的复杂多轮对话测试、指令遵循评测及自动化评估工具的建设。重点在于设计高难度的 "对抗性" 评测用例,构建标准化、可量化的评价体系,确保模型输出达到高标准的实用要求。
二、 核心职责
多轮对话评测用例设计与架构:根据评测需求,独立完成角色扮演、多轮指令、知识推理及复杂约束等五类核心场景的用例设计,确保对话逻辑自洽、场景还原度高。
强约束条件与结构化数据输出:熟练运用变量占位符、动态约束规则,产出标准化、可接口化的评测数据,保障数据在自动化评测流程中的高效流转。
精细化评测量规(Rubric)制定:针对不同类型的用例,设计细致、多维度的评分矩阵(需明确覆盖完整性、相关性、准确性、角色贴合度及约束遵循度等指标),并制定阶梯式、可量化的具体打分逻辑,为最终产出提供严谨的评估基准。
思维链(CoT)推演与自我对齐验证:针对逻辑推理和复杂多轮场景,预先进行思维链拆解与路径预演;用例产出后,需严格按照既定 Rubric 量规进行自我验证,确保预期输出结果与评分标准精确对齐。
三、 硬性门槛条件
1.【经验要求】 至少 3 年以上 全栈研发、算法工程或大数据相关经验,熟练使用 Java / Python 等编程语言进行脚本开发、工具搭建,不仅仅是会写 JSON 数据。
2.【项目经历】 :有良好的工程落地能力,有处理复杂逻辑或海量数据的项目背景。
4.【技术方向】 需具备前后端全栈开发能力,具体技术栈不做限制,但必须具备扎实的代码编写和调试能力,能独立完成自动化评测脚本或辅助工具的编写。
5.【能力要求】计算机软件相关专业,能清楚了解代码实现的底层逻辑,而不是能实现功能就行。
四、 考核与录用流程
1.【结果导向】 试标平台将出具实际工程作业,最终录用结果以候选人的试标作业完成质量为准。
2.【宽松机制】 如果候选人试标表现异常优异、过往项目硬核度极高, 门槛可以破格放宽。
五、 加分项
过往经验:有参与过大模型评测、数据标注或 Prompt 调优相关的实习或项目经验。
技术背景:掌握 GO、C/C++、Rust、Swift 等其它编程语言;有 Agent 相关背景优先。
对这个职位感兴趣吗?