大数据架构师
Technology
商飞智能上海-浦东新区, 中国¥25,000 - ¥30,000 /月1个月前
职位描述
核心职责: 1.主导技术选型与架构设计:湖仓(Iceberg / Hudi)、实时链路(Flink + 实时OLAP)、非结构化数据(对象存储 + 元数据索引)。 2.制定旧大数据集群迁移路径与双轨过渡方案,并亲自参与关键模块编码。 3.中台去产品化:用开源组件 + 内部规范替代厂商中台能力。 4.带团队:分工、Code Review、规范文档,培养能独立处理平台故障的成员。 任职要求: 精通 Java 或 Scala 1.6年以上数据平台经验,其中至少 2 年承担技术决策 / Tech Lead 角色。 2.完整主导过至少一次旧数据平台到新架构的迁移重构。 3.用过 Iceberg / Hudi / Delta 之一,熟悉对象存储(S3 / OSS / COS / MinIO)。 4.精通 Doris / StarRocks / ClickHouse 至少一项。 5.Flink 生产环境落地经验(非 demo),熟悉 Kafka。 加分项: 1.有从厂商发行版(CDH / TDH / 国产数据中台)迁到 Apache 原生栈的经验。 2.有非结构化数据(文件、图片、日志)架构经验,理解“对象存储 + 元数据索引”。 3.熟悉 DataHub / OpenMetadata,或 DolphinScheduler / Airflow。 Flink 生产环境落地经验(非 demo),熟悉 Kafka。
Keywords
6年以上ClickHouseScalaApache KafkaAirflowApache LicenseApache Http ServerJavaData hubCode review
对这个职位感兴趣吗?