数采平台架构师(J10179)

职责描述： 数采平台架构师 一、岗位职责 建设覆盖数据接入、质检、预处理、数据标注、数据集制作及交付的完整数采平台，实现数据生产流程自动化、规范数据处理流程、合理调度计算资源、提升平台稳定性，支撑机器人数据业务规模持续高增长。 1.平台架构设计：负责机器人数采平台的整体架构设计与演进，覆盖数据接入、数据处理、数据标注、任务调度、计算资源管理、数据集制作及数据交付等核心环节。 2.数据集生产平台建设：负责数据筛选、质量评估、标注结果整合、数据加工、数据集生成、版本管理及发布等平台能力建设，打通从原始采集数据到可交付数据集的完整生产流程。 3.数据处理流水线建设：负责数据质检、数据预处理及数据加工流程的架构设计，支持任务编排、流程配置、依赖管理、并行处理和结果追溯，提升数据生产的自动化程度。 4.计算资源调度：负责 CPU/GPU 等异构计算资源的管理与调度，设计任务队列、优先级、并发控制、资源分配及失败重试机制，支撑数据质检、预处理及相关计算任务的高效执行。 5.数据存储与传输：负责机器人多模态数据的存储、传输、管理与分发架构设计，优化文件处理、数据校验、并发传输及存储成本。 6.平台稳定性与性能优化：建立任务运行监控、资源使用监控、异常告警及问题追踪机制，持续优化任务吞吐量、处理时效、标注效率、系统稳定性和资源使用效率。 7.技术方案与工程落地：负责关键技术选型、核心模块设计及技术攻关，结合现有云基础设施推动平台能力落地，并协同算法团队完成业务交付。 任职要求： 二、任职要求 1.本科及以上学历，计算机、软件工程等相关专业，10年以上平台软件研发经验，具备复杂平台的架构设计与落地经验。 2.具备数据处理平台、数据标注平台、数据工程平台、分布式计算平台或任务调度平台的设计和建设经验。 3.熟悉数据处理流水线、工作流编排、任务依赖、并发执行、失败重试及任务状态管理等机制。 4.具备数据平台建设经验，理解标注任务管理、标注流程、质量审核、标注结果管理及数据交付等核心环节。 5.具备 CPU/GPU 计算资源调度或管理经验，理解资源分配、配额管理、并发控制、资源隔离及利用率优化。 6.熟悉 Python、Go等开发语言，具备良好的系统设计、性能优化和工程实践能力。 7.熟悉 Linux、容器化部署、数据库、消息队列及对象存储等相关技术，具备分布式系统设计与问题排查能力。 8.具备良好的业务抽象能力，能够将数据质检、预处理、标注及数据集生产需求转化为可复用、可扩展的平台能力。 三、加分项 1.具备机器人、具身智能、自动驾驶或多模态数据平台建设经验。 2.了解 UMI、Ego 等机器人数据采集流程，熟悉相机、关节、触觉等多模数据处理. 3.具备私有化 AI 模型训练平台的设计、开发与部署经验。 4.熟悉 Kubernetes、Argo Workflows、Ray、Airflow 等相关技术，并具备实际落地经验。