数据工程师

工作职责 1. 负责数据接入、清洗、加工及数据分层开发，参与实时和离线数据处理链路建设。 2. 负责ODS、DWD、DWS、ADS各层数据模型及数据任务开发。 3. 负责Kafka、Flink、Spark、Iceberg、StarRocks等相关数据链路的开发、调试和运行维护。 4. 负责实时、离线数据任务开发及性能优化，处理数据延迟、任务异常、SQL性能等问题。 5. 参与数据平台容器化部署、CI/CD及运行监控，配合完成系统上线和生产问题处理。 6. 配合业务人员完成数据口径梳理、数据验证及数据服务开发。 岗位要求 1. 全日制本科及以上学历，计算机、软件工程、信息工程等相关专业，3年以上相关工作经验。 2. 熟悉Java，具备Spring Boot、Spring Cloud开发能力，有数据开发经验。 3. 熟悉SQL及数据开发，具有数据仓库或大数据平台相关项目经验。 4. 熟悉StarRocks、Doris等MPP数据库，有实际项目经验，具备性能分析、问题排查和优化能力。 5. 熟悉Flink、Spark等大数据计算框架，有实际项目经验。 6. 熟悉湖仓一体、存算分离等相关技术，了解Iceberg表格式及S3兼容对象存储；有Iceberg实际项目经验者优先。 7. 熟悉Linux，了解Docker、Kubernetes，有实际使用经验。 8. 了解CI/CD、自动化部署及DevOps相关技术。 9. 有大数据平台生产环境运行经验，能够独立分析和处理数据处理、计算及平台运行中的常见问题。 10. 具备良好的沟通能力和团队协作能力。 招聘人数：3人 注意： 1、本单位岗位招聘仅在51job和猎聘发布，没有在其他平台发布！ 2、本单位没有任何第三方或者个人代为办理招聘事宜； 3、本单位招聘不收取任何手续费（入职体检也不收取应聘人员费用）