大数据开发工程师（后端+大数据方向）

岗位职责 1、负责公司大数据平台架构设计与核心模块开发，包括数据采集、存储、计算、调度等系统 2、承担后端服务开发工作，构建高并发、高可用的数据服务API及业务系统 3、设计并实现数据仓库、实时计算、离线计算等大数据处理流程 4、优化大数据平台性能，解决海量数据场景下的技术难题 5、参与数据治理体系建设，保障数据质量与安全 任职要求 一、基础要求 1、具有计算机、数学、统计学等相关专业本科及以上学历，3年以上开发经验 2、扎实的Java/Scala/Python编程基础，精通至少一门语言 3、精通后端开发框架（Spring Boot/Spring Cloud等），具备微服务架构设计能力 4、熟悉分布式系统原理，有高并发、高可用系统设计经验 5、熟悉数据仓库建模理论，掌握维度建模与分层架构设计。 6、有大数据接入，挖掘等实战项目经验的优先考虑 二、核心技术要求 1、熟练掌握 Java、Scala 或 Python 中的至少一门开发语言，具备扎实的编码能力。 2、精通SQL，熟悉 MySQL、PostgreSQL等关系型数据库，熟悉数据仓库建设方法论。 3、深入理解并熟练使用 Hadoop、Hive、Spark、Flink、Kafka 等大数据生态组件。 4、熟悉实时计算框架（Flink/Kafka Streams），有大规模数据接入经验。 5、熟悉 Linux操作系统，能熟练编写 Shell、Python 等脚本。 6、有数据挖掘、机器学习相关经验，精通OLAP引擎（ClickHouse/Doris等）优先；