中级Java开发工程师

岗位职责： 1、负责实时数据开发，基于 Apache Flink 搭建、优化实时计算任务，涵盖实时数据采集、清洗、关联、聚合、宽表计算、实时指标计算等全链路开发； 2、对接业务需求，梳理实时数据口径，完成实时运维可观测场景的 Flink 任务开发、调试、上线与迭代； 3、负责 Flink 集群运维优化：Job 调度、Checkpoint/Savepoint 调优、状态后端（RocksDB）优化、水印 Watermark、迟到数据处理、反压排查、任务资源调优、故障自动恢复； 4、参与实时数仓分层建设（ODS/DWD/DWS/ADS），结合 Kafka、Doris、Redis、ES 等存储组件构建流批一体数据体系； 5、解决线上实时任务各类问题：数据延迟、数据重复、数据倾斜、状态膨胀、checkpoint 失败、流批一致性、 Exactly-Once 语义保障； 6、沉淀实时计算通用工具、UDF 函数、Flink 任务模板、监控告警体系（对接 Prometheus/Grafana/SkyWalking），提升团队开发效率； 7、配合其他团队，输出数据开发文档、指标字典、任务运维手册，支撑业务数据稳定产出 任职要求： 1、本科及以上计算机相关专业，生产环境 Apache； 2、扎实 Java 基础，熟练 Java 8 + 特性（Lambda、Stream、并发编程、线程池、锁机制），熟悉 JVM 调优； 3、精通 Flink 核心原理与 API：DataStream/Table API/SQL，熟练使用 Window、Watermark、ProcessFunction、CEP、CDC、State、Checkpoint/Savepoint； 4、熟练掌握主流中间件：Kafka 原理、分区、偏移量、消费组调优；熟练使用 Redis、Elasticsearch、Doris； 5、深刻理解 Exactly-Once、端到端一致性、两阶段提交 2PC、事务 SINK、幂等写入方案。 核心技能加分项： 1、有丰富线上排障经验：能独立定位反压、数据倾斜、状态过大、ck 超时、数据乱序延迟、重复数据等问题并落地优化方案； 2、熟悉 RocksDB 状态调优：状态 TTL、增量 ck、分区状态、状态拆分、大状态任务迁移优化； 3、有实时数仓 / 流批一体落地经验，了解分层建模，使用 Flink+Paimon 构建实时湖仓； 4、熟悉数据同步 CDC 方案（Debezium、Flink-CDC），能搭建实时同步链路； 5、掌握大数据基础组件：Hadoop YARN、HDFS、Zookeeper，看懂集群日志、资源调度； 6、熟悉监控体系：SkyWalking 链路追踪、Prometheus 指标大盘、实时任务延迟 / 失败告警配置； 7、具备 SQL 优化能力，能优化 Flink SQL 大 Join、维表关联、动态分区、函数性能； 8、有 Flink 源码阅读、自定义 Source/Sink/UDF/ 自定义水印开发经验者优先； 9、熟悉 Linux Shell、Git、Maven/Gradle，具备工程化代码规范、单元测试、发布流程经验。