大数据架构师(大厂)
经创聚源职位描述
车载数据架构师 岗位描述 负责车辆、设备以及车联网平台端到端数据架构设计与治理。保障车辆、ECU电子控制单元的数据安全可靠流转:从车端、边缘网关,到云服务、数据平台、上层业务应用。 针对海量高频车载数据,定义数据模型、数据标准、采集策略、流处理架构、存储方案以及数据治理规范。协同汽车、嵌入式软件、云、数据工程、网络安全、产品团队,搭建高可扩展、高效率的车载数据解决方案。 主要岗位职责 车载数据架构 设计覆盖车端‑边缘‑通信‑云端的完整数据架构,完成车辆数据的采集、传输、处理、存储、消费全链路。 车辆信号管理 定义并维护车辆信号模型、信号目录、命名规范、元数据、单位、时间戳、数据类型、质量指标、版本管理标准。 数据接入与通信 设计可靠的数据接入机制,采集车辆遥测、诊断信息、位置、事件、传感器、设备状态等各类数据。 流处理与实时计算 基于消息队列、流处理、时序技术,设计实时/近实时数据处理架构。 数据建模 面向车辆、驾驶员、行程、设备、事件、业务服务领域,构建概念、逻辑、物理数据模型;保证业务系统与分析系统之间数据一致性。 数据质量与治理 制定数据质量规则、校验机制、数据血缘、数据归属、数据留存策略、访问权限、完整的数据治理流程。 云端‑边缘集成 设计车端系统、边缘网关、云平台、数据湖、数据仓库、下游业务应用之间的数据流转与集成模式。 性能与可扩展性 针对大规模车队、高吞吐遥测数据,优化采集频率、传输效率、存储成本、处理时延、系统伸缩能力。 安全与隐私 在架构中落地加密、鉴权、匿名化、数据脱敏、隐私保护、安全传输。 技术标准与文档 制定架构标准、集成规范、数据字典、接口定义、技术文档;主持架构评审,做设计管控。 任职要求 工作经验 7年以上数据架构、数据工程、IoT平台、分布式系统、汽车软件相关领域工作经验。 车载数据认知 深入理解车辆数据、遥测、诊断、事件、行程、位置数据,以及高频时序数据特点。 车载通信协议 熟悉汽车通信协议与数据源:CAN、CAN‑FD、LIN、SOME/IP、UDS、MQTT等。 消息流中间件 熟练使用 Kafka、Pulsar、MQTT、AMQP 等消息与事件流平台。 数据处理引擎 具备实时/批处理框架经验:Apache Flink、Spark 等。 数据存储 熟悉关系型数据库、NoSQL、时序数据库、数据湖、湖仓一体、云对象存储。 云平台 有微软Azure、腾讯云等公有云实操经验,熟悉云上数据与集成服务。 编程与查询 熟练SQL;熟悉Python、Java、Scala等编程语言。 数据治理 理解数据质量、数据血缘、元数据管理、主数据、数据留存、访问控制、隐私合规。 架构与沟通 优秀架构思维、文档能力、问题解决能力;可和工程、产品、嵌入式、云、业务团队高效沟通;中英双语读写口语流利。 优先加分项 1. 车联网、汽车、远程信息处理、车辆诊断、智能交通、IoT项目经验优先。 2. 了解汽车行业标准、车辆信号目录、车队管理平台、车辆远程服务。 3. 数字孪生、边缘计算、车‑云一体化、大规模车队数据平台经验。 4. 熟悉数据隐私网络安全法规:个人信息保护法PIPL、GDPR、汽车网络安全标准。 岗位深度解读(面试参考) 1. 岗位定位:车云一体化数据架构师,不是单纯写ETL的数开,是做车端‑边缘‑云端全链路数据蓝图。 核心业务:把ECU/CAN/SOME‑IP的车载信号,通过网关、MQTT/Kafka流到云端,做建模、存储、治理,支撑车队、遥测、诊断、AI分析业务。 2. 核心技术栈 • 车载侧:CAN/CAN‑FD、SOME/IP、UDS、车辆信号模型 • 流处理:Kafka/Pulsar、MQTT、Flink/Spark • 存储:时序库、数据湖、湖仓一体、对象存储 • 云原生:Azure/腾讯云 • 治理:数据血缘、脱敏、隐私合规、信号目录管理 3. 业务难点 • 车端带宽有限,海量高频时序数据,要权衡采集频率、传输成本、时延; • 数据来源复杂:CAN、以太网、传感器、诊断DTC; • 强隐私合规,用户位置、驾驶行为数据必须脱敏; • 跨团队协同:要对接嵌入式、整车、云、安全、产品。
对这个职位感兴趣吗?