高级数据工程师

该职位来源于猎聘 高级数据工程师 工作职责

• 设计、搭建并维护高吞吐、高容错的本地数据平台；面向在线业务开发高效的数据处理与分析作业，配套完善的数据监控与调优能力。
• 在私有云 / 本地节点环境下，搭建、部署并优化企业级可扩展数据库与对象存储方案；针对航空航天业务场景开展索引优化、分区调整工作。
• 完成现有存储架构向 Apache Iceberg 湖仓架构迁移的实操测试、基准压测与落地实施，重点保障查询效率、严格时间旅行、ACID 事务、表结构演进等能力。
• 搭建并维护底层平台服务，对复杂非结构化文档做解析、分片处理，从中提取结构化知识，生成机器可读、具备语义能力的数据资产，支撑高精度信息检索。
• 将分散、本地化的数据集存储单元整合为统一的内部数据联邦体系，降低访问时延，标准化跨平台查询能力，实现数据库自动创建与资源分配。
• 搭建端到端数据标注系统，管理标注全生命周期，为预测类 AI 生成高质量基准数据集与真值数据。
• 参与 AI 可信体系的指标与数据质量底座建设，承担传统数据分析相关工作。 交付成果 1. 本地数据平台建设：落地空客中国本地稳定、高效、统一的数据访问层策略与平台。 2. 基于 Iceberg 的端到端湖仓底座 + 高性能数据 API：通过高性能数据 API 服务，配套强化 ACID 能力，为业务用户提供稳定高效的数据访问接口。 3. 本地数据仓库建设：作为核心参与方推进本地数仓建设，完成统一存储与计算底座部署，搭建本地元数据管理系统。 4. 深度数据质量校验与监控能力：基于数据标注框架，构建真值数据集与可信指标库。 关键绩效指标 KPI
• 本地数据平台的运行效率、容错能力与系统稳定性
• 具备质量管控、指标体系、数据标注框架的数据分析底座
• 后端服务与数据访问能力（高性能 ACID 接口）
• 本地 Iceberg 湖仓平台与端到端数据联邦中心
• 支持数据库自动创建与资源调度的数据库即服务访问层
• 结构化与非结构化知识抽取能力
• 数据目录与元数据管理系统 任职资格 学历 计算机科学、软件工程、数据科学或其他数理相关专业本科或硕士学历。 工作经验
• 5 年以上数据平台工程或机器学习基础设施实战经验；至少 2 3 年大规模数据平台建设及数据业务落地集成经验。 技术能力 1. 存储与湖仓：具备 ETL 技术栈、对象存储框架以及现代湖仓架构实操经验，熟悉 Apache Iceberg、Parquet。 2. 数据库管理：实操使用 Hive、关系型数据库（PostgreSQL、MySQL）、NoSQL、时序数据库、向量数据库。 3. 数据联邦：具备联邦查询引擎实操经验，或搭建数据库即服务（DBaaS）控制平面的项目经历。 4. 脚本与文档解析：熟练使用 Python，精通 SQL（高级分析、性能调优）；具备文档解析器开发、结构化 / 非结构化数据映射经验；会 Shell 脚本优先。 5. 数据质量：具备搭建数据质量体系实战经验，熟悉数据分析、数据标注中间件；生产环境指标体系建设、数据分析洞察实战经历。 6. 有 DataOps 或 MLOps 经验优先。 7. 掌握 Docker，有 AWS 或华为云平台使用经验优先。 基础能力
• 优秀的英文读写口语能力，可编写技术文档、开展全球团队协作。
• 出色的书面与口头汇报能力，能够打通技术团队与非技术业务方的沟通壁垒。
• 优秀沟通协作能力与团队意识，可高效参与跨职能团队。
• 具备持续改进思维，紧跟 AI 与大数据领域技术迭代