大数据开发工程师

工作职责 1.负责数据业务开发运维工作，包括但不限于数据采集，数据处理，数据建模等，熟练使用MPP数仓，hadoop 生态相关组件 2.负责数据平台日常运维，包括但不限于平台监控、配合升级扩容及性能优化等。 3.承担ETL/ELT流程的设计、开发、调度与优化，保障数据链路稳定高效运行 4.负责实时/离线计算任务开发（如Flink、Spark、Kettle等），保障数据时效性 5.配合业务数据管家定义数据资产，对数据质量、数据标准、数据规范等进行标准化执行。 6.深入研究数据业务相关技术，持续优化集群服务架构，探索新的数据技能及发展方向。 任职资格 一、基础条件 1. 一本及以上学历，计算机、软件工程、统计学等相关专业优先 2. 3年以上数据开发经验，工作积极主动，思维活跃、严谨，具备良好的沟通能力，有一定的抗压能力 二、核心技术能力 1. 大数据生态：熟悉 Hadoop、Hive、Flink、Spark、Kafka 等大数据技术组件，有实际大数据项目经验 2. 数据库与SQL：精通 SQL，熟悉至少一种 MPP 数据库（Doris、StarRocks 等） 3. 数据建模：熟悉数据仓库建模理论（维度建模、范式建模），有指标体系搭建经验 4. 脚本与系统：掌握至少一门脚本语言，具备 Linux 系统操作能力 5. Java开发：熟悉 Spring Boot 框架，熟练掌握 Java API 开发 三、数据平台与工具（优先项） 1. 数据中台产品：熟悉主流数据平台/数据中台产品（如 HDSP、Dataphin、DataArts 等）优先 2. BI报表：熟悉帆软报表及 BI 的开发与制作优先 四、业务与行业经验（优先项） 1. 熟悉 SAP、MES 等系统优先 2. 有制造业项目经验优先