跳转到主要内容

后端开发工程师(大数据方向)

Technology
重庆赛力斯技术有限公司
重庆-渝北区, 中国¥20,000 - ¥30,000 /月2周前

职位描述

岗位职责: 1、 负责大数据平台、数据中台、数据服务 API 的后端设计与 Java 开发,搭建数据接入、ETL、实时计算链路,支撑海量数据的采集、清洗、加工、指标计算与对外服务 2、 基于 Flink/Spark 开发离线、实时数据任务,进行任务调优、背压排查、资源优化,保障数据链路稳定、低延迟、高吞吐腾讯招聘 3、 开发和维护数据网关、元数据管理、任务调度、数据质量、权限管控等平台模块,对接业务方的数据查询、报表、指标需求 4、 负责 MySQL、ClickHouse、Doris、Redis 等存储的建模、SQL 优化、读写分离方案设计,解决海量数据下的查询性能问题 5、 参与技术方案评审、故障复盘、容量规划,编写技术文档;跟进大数据生态新技术调研与落地 6、 配合运维团队完成容器化部署、监控告警、生产问题排查(K8s/Docker) 任职要求(硬性): 1、 本科及以上,计算机、软件工程等相关专业,3 年及以上 Java 后端开发经验,2 年以上大数据项目实战经验智联招聘 2、Java 基础扎实:熟悉集合、IO、多线程、并发、JVM 原理与调优,熟悉常见设计模式;熟练使用 SpringBoot、SpringCloud、MyBatis 等框架腾讯招聘 3、 熟悉大数据生态: 实时:Flink 优先,熟悉状态、Checkpoint、Watermark、窗口、背压调优 离线:Spark、Hive;了解 Hadoop、HDFS、YARN 基础原理 消息:Kafka,熟悉分区、副本、offset、堆积排查 4、 精通 SQL,有数据仓库分层建模、SQL 调优经验;熟悉至少一种 OLAP 引擎:ClickHouse / Doris / StarRocks 5、 熟练 Linux 常用命令,能写 Shell 脚本;了解 Docker、K8s 基础使用,能看懂集群日志、定位问题 6、 熟悉分布式基础理论:CAP、最终一致性、分布式锁、限流熔断等;有高并发数据服务开发经验 加分项(优先考虑): 1、 有数据中台、数据治理、元数据平台、CDC 数据同步项目经验 熟悉 HBase、Elasticsearch、Kudu; 2、 熟悉数据调度 Airflow、DolphinScheduler 3、了解实时数仓、Lambda/Kappa 架构;有 Flink CDC、Canal 实践经验 4、熟悉 Prometheus、Grafana 监控体系,有大规模集群故障排查经验 5、了解 Python,有开源组件二次开发、阅读源码习惯 6、 车企、IoT、日志、埋点、时序数据相关行业经验优先

Keywords
ClickHouseApache HadoopApache KafkaGrafanaApache SparkSpring FrameworkRedisApache HBaseElasticsearchLinuxMyBatisAirflowMysqlPythonSqlHiveHbaseHadoopJavaJava Virtual Machine

对这个职位感兴趣吗?