跳转到主要内容

VLA与世界动作模型算法⼯程师

Other
CAERI
上海市, 中国¥30,000 - ¥60,000 /月1个月前
全职

职位描述

该职位来源于猎聘 岗位职责(具⾝⼤脑⽅向) 1. VLA/VLN算法研发与落地 研发基于多模态⼤模型的VLA(视觉-语⾔-动作)与VLN(视觉-语⾔-导航)架构。 负责⾼维语义指令(如⾏业SOP、⻓程作业规划)到具⾝技能基元(SkillPrimitives)的动态解码与编排,实现复杂开放场景下的⻓程任务执⾏。 设计并优化多模态时空思维链(Spatial-TemporalCoT),赋予模型在真实物理场景下的空间具象观察与逻辑推理能⼒。 2. 世界动作模型(WorldActionModel)的构建与探索 研发基于潜空间的世界动作交互模型,实现对城市动态环境(如⾏⼈博弈、⻋辆交互、抓取操作)的⾼质量前向模拟与未来状态⽣成。 结合⼤模型认知中枢(Agent),落地基于世界动作模型算法,解决操作和移动类的问题(统⼀通⽤模型)。 3. 具⾝对⻬与闭环反思(Reflection)机制建设 探索并落地基于强化学习(RL)的连续控制与对⻬技术,在传统离线⾏为克隆(BC)的基础上,进⼀步突破模型在复杂开放环境下的操作天花板与⾏为边界。 构建基于底层物理反馈的VLM闭环反思引擎,实现技能的动态重规划与端侧⾃治。 职位要求 1. 基础与学术背景 计算机、⼈⼯智能、机器⼈控制或相关专业硕⼠及以上学历。经历要求(满⾜其⼀即可): 在具⾝智能和AI领域会议/期刊(如NeurIPS,ICLR,CVPR,ICRA等)以第⼀作者发表过VLM、VLA、RL、世界模型或端到端算法相关的⾼⽔平论⽂。 在⾏业头部具⾝智能企业或AI实验室拥有相关的核⼼算法研发与真机/仿真落地实习经验。 2. 核⼼技术栈 深⼊理解具⾝智能VLA与世界模型的前沿权威⼯作,熟悉并阅读过相关代表性论⽂和代码仓库(如PI (Physical Intelligence) 系列、Fast-WAM、OpenVLA等)。 熟悉主流的多模态⼤模型架构(如Qwen-VL,LLaVA,)及其⾼效微调技术(LoRA,DeepSpeed)。 对条件扩散模型(DiffusionModelsforPlanning)或视频/状态⽣成模型有深刻理解。 3. 具⾝Task闭环与评测Sense 完整跑通具⾝智能Task评估全流程:不仅会训练模型,更要对EmbodiedTask的仿真评测(Sim-to-Real)与真机、实⻋成功率指标体系有深刻的认知。 具备极强的TechnicalSense,能够从Task失败的录像/Log中敏锐定位是感知幻觉、策略崩塌还是物理执⾏越界,并提出有效的算法改进⽅案。 4. 编程与AI⼯程能⼒ 具备极强的PyTorch源码开发能⼒与⼤规模分布式训练经验。

Keywords
DeepSpeed

对这个职位感兴趣吗?