数据Infra工程师
职位描述
该职位来源于猎聘 数据Infra招募(具身智能方向) Base北/上/深/苏 你将会负责的工作: 作为数据平台的 tech member/lead,围绕 Ray 技术栈搭建支撑 VLA / 世界模型训练的数据基础设施。日常采集的 video-language-action 数据将在你设计的系统上被版本化、检索、分发,并以the best吞吐喂给训练集群。你的工作直接决定团队模型迭代的速度上限。 核心职责 1. 数据集管理与处理平台 数据以 LeRobot 格式组织存储。围绕数据集管理,你需要: - 选型并落地合适的数据版本管理方案,支持快照、分支、切片、溯源与复现;根据机器人数据的业务语义做必要的自研封装 - 在 Ray 之上为数据算法、标注团队提供统一的批处理作业框架,支撑百 TB 级数据上的查询、清洗、标注与特征抽取 2. 存储与训练数据加载 - 设计从对象存储经共享目录到 GPU 显存的完整数据路径,落地合适的分层缓存与预取方案,实现训练节点的透明缓存与预热 - 基于 Ray Data 搭建训练数据读取管线,对接 PyTorch 训练栈,解决大规模分布式训练中的 IO 瓶颈。存储与训练加载作为一个整体来设计,端到端对吞吐负责 我们希望你: - 2 年以上数据平台、数据基础设施或机器学习数据栈相关经验(欢迎优秀应届硕博士) - 扎实的 Python 工程能力,熟悉异步并发编程;熟悉分布式系统基本原理 - 熟悉分布式数据处理框架(Ray / Spark / Flink 等),有 Ray / Ray Data 实战经验或能快速上手的意愿 - 熟悉对象存储与缓存文件系统,理解分层数据路径的性能与成本权衡 - 良好的跨团队协作意识:愿意与算法同学深入沟通需求、理解他们的工作方式 - 良好的系统性思维与工程交付能力,能在 0 到 1 阶段做合理的技术决策并落地 - 作为 tech lead,有能力规划、拆解任务并带 2–3 人的小团队稳定交付 加分项 - 有为大模型训练(LLM / VLM / 视频生成 / VLA)搭建数据基础设施的经验 - 熟悉数据集版本管理工具(LakeFS / DVC / HuggingFace Datasets 等) - 有视频数据处理相关经验(ffmpeg / DALI / decord 等) - 熟悉高性能存储网络(RDMA / IB / 100GbE)及相关调优经验 - 在开源社区有相关贡献
对这个职位感兴趣吗?