AI评测产品经理
美团职位描述
美团平台为用户的基础产品体验负责,还承担了美团的用户增长、市场和品牌营销以及多条业务线的产品设计职责,建立了融合文字、图片、视频和直播等不同形式的內容生态系统,同时整合地图服务部、客户服务和体验部、企业业务部、网约车业务部等部门,致力于用科技提升美团数亿消费者、近千万商家、骑手、司机和团长的服务体验。美团平台拥有高并发、多业务的复杂场景,为技术深度优化提供了最佳实践可能。这里有简单、讲逻辑、有爱的团队,更是一块理想的实战场地,舞台广阔,欢迎你来尽情施展。 岗位职责 1. 评测体系建设:深入洞察搜索场景下的用户需求与意图,系统性拆解并优化搜索体验的评估标准与打分维度,主导Benchmark数据集的构建和迭代,形成科学的体验评测体系 2. 自动化评测能力建设:持续优化基于LLM-as-a-Judge的评测方案,建立机评与人评一致率的量化监控机制,对机评的效果和稳定性负责,推动评测提效 3. 与产品、研发及业务团队建立深度协作机制,推动“问题发现—归因分析—方案落地—效果验证”的闭环工作流程,对核心体验指标及Badcase率的持续改善负责 岗位基本需求 1. 本科及以上学历,计算机、统计学、人工智能等相关专业优先,3年以上搜索/NLP/大模型相关工作经验。 2. 具备扎实的评测方法论基础,熟悉Benchmark构建、评测集设计、Rubrics构建等,有大模型评测相关项目经验者优先。 3. 沟通协作能力强,有跨团队项目推动经验,能高效协同产品、研发、业务多方达成目标;对行业评测方法有持续关注者优先。 具备以下者优先 1. 有探索精神,能够解决模糊问题 2. 对AI有热情,关注行业内的技术迭代和实践 岗位亮点 深入参与大模型评测的全流程体系,能够落地应用新的技术能力,不限制职能,鼓励充分探索,成长空间大 通过评测牵引优化,对真实的用户体验和业务场景有实际的影响和帮助 高频协同产品、研发、业务多方团队,影响力横跨搜索全链路,是体验改善的关键推动者
对这个职位感兴趣吗?