大数据开发工程师(3年+经验)
北京阳朗科技有限公司职位描述
工作地点:北京 / 上海 / 深圳 岗位职责 负责公司大数据平台(数据中台)的建设与持续迭代,包括数据接入、存储、计算、调度等核心链路的设计与开发; 基于业务需求进行数据建模,设计并优化数据仓库分层架构(ODS / DWD / DWS / ADS),保障数据质量与口径统一; 负责离线/实时数据开发,完成数据采集、清洗、加工、同步等ETL任务,支撑报表分析、用户画像、推荐、风控等业务场景; 构建并维护数据湖/仓一体架构,推进结构化与非结构化数据的统一管理与应用; 优化大数据任务的性能与资源使用,解决数据倾斜、任务调优、成本控制等问题,保障平台 SLA; 建立数据质量监控与数据治理体系,包括元数据管理、数据血缘、数据安全与权限管控; 跟踪大数据领域新技术发展,推动新技术在业务中的落地。 任职要求 本科及以上学历,计算机、软件工程、数据科学等相关专业优先; 3年以上大数据开发相关工作经验,至少主导或深度参与过1个完整的大数据平台/数据中台建设项目; 熟练掌握 Hadoop、Hive、Spark、Flink 等主流大数据技术栈,具备实际的项目开发调优经验; 熟悉 Kafka、Pulsar 等消息队列,具备实时数据流开发经验者优先; 熟悉数据仓库建模理论与方法(维度建模等),有 DWD/DWS 等分层设计实战经验; 熟练使用 SQL,掌握至少一门开发语言(Java / Scala / Python); 熟悉 Linux 环境及 Shell 脚本,掌握 Git、CI/CD 等常用开发协作工具; 具备良好的业务理解能力和沟通能力,能独立完成从需求分析到上线的全流程交付。 优先考虑: 有阿里云数据中台(DataWorks + MaxCompute + Hologres)或华为云数据中台(DataArts Studio + MRS/DLI)的实战经验; 有数据湖(Iceberg / Hudi / Delta Lake)或湖仓一体架构的建设与优化经验; 熟悉 Databricks 平台,具备 Lakehouse 架构实践经验; 有云上大数据平台(阿里云 / 华为云 / 腾讯云 / AWS / Azure)的部署、迁移或成本优化经验; 熟悉数据治理工具与方法论,有数据安全、权限体系建设经验; 有开源大数据组件的源码级理解或社区贡献。
对这个职位感兴趣吗?