数据Pipeline工程师 / 数据平台开发工程师

岗位职责： 1、开发并维护训练数据处理Pipeline，实现2D/3D/4D/VLA多模态数据的自动化流转 2、负责ROS/MCAP/HDF5/PCD等格式向Parquet、WebDataset等标准训练集格式的转换与结构化输出 3、开发自动化质检工具，实现几何一致性、时序一致性等校验规则的自动化执行 4、优化数据处理效率，支撑亿级规模数据集的生产与管理 5、与算法团队协作，快速迭代数据处理方案，响应模型训练的数据需求 任职要求： 1、本科及以上，计算机/软件/数据工程等相关专业，1-5年经验 2、精通Python，有扎实的数据工程能力，熟练使用Pandas、PyArrow等数据处理库 3、熟悉Linux环境，有Shell脚本、Git、Docker使用经验 4、有ETL/数据Pipeline/数据仓库/数据平台开发经验 5、加分项：熟悉自动驾驶/机器人数据格式，有Parquet/ WebDataset/ HDF5 使用经验