Apache Doris运维与集成开发工程师

该职位来源于猎聘 Apache Doris运维与集成开发工程师｜大数据OLAP方向 工作职责 1. Doris 集群全生命周期管理 - 负责 Apache Doris 集群的部署架构设计、高可用配置（3FE/3BE ）、日常运维与监控体系建设 - 主导大版本升级（如 2.1→3.0 存算分离）、灰度发布、回滚预案设计与演练 - 7×24 小时稳定性保障，快速响应并解决 FE/BE 故障、Tablet 异常、Compaction 积压、OOM 等问题 - 建立完善的巡检、告警（Prometheus/Grafana）、故障复盘与 SOP 沉淀机制 2. 性能调优与治理 - 基于业务场景进行 Doris 表模型选型（Duplicate/Unique Key/Aggregate）、分区策略、分桶设计与 Sort Key 优化 - 深入 CBO 优化器、执行计划分析，主导慢查询治理与物化视图建设 - 针对导入（Stream Load/Routine Load/Broker Load）和查询两个方向进行参数调优，解决导入延迟、查询毛刺、大查询 OOM 等问题 - 通过资源组（Resource Group）实现 ETL 与 Ad-hoc 查询的资源隔离 3. 实时&离线数据链路集成 - 基于 Flink CDC

实现 MySQL/PostgreSQL/Oracle 等数据源的全量 增量实时入仓，解决乱序、回撤、Exactly-Once 语义保障 - 搭建 Kafka → Doris Routine Load 实时摄入管道，支撑日志、事件流等场景 - 对接离线数仓（Hive/HDFS/OSS），通过 Airflow/DolphinScheduler 编排离线回流任务 - 完成 BI 工具（Superset/FineBI/PowerBI/Tableau）的 Doris 数据源对接与查询性能优化 - AI 应用平台集成：支撑 Dify / ChatBI 等 LLM 应用的数据层，设计统一的指标语义层、处理自然语言转 SQL 的权限控制与行级过滤 任职要求 必备条件： - 本科及以上学历，计算机相关专业，5 年以上大数据平台/OLAP 领域工作经验 - 有 Apache Doris 生产集群运维经验（1.2/2.1/3.0 任一版本均可），熟悉 FE/BE 架构、高可用机制、常用运维命令 - 深入理解 Doris 表模型（Duplicate/Unique Key/Aggregate）、分区/分桶原理、Rollup/物化视图、索引机制（Prefix/Bloom Filter/倒排） - 熟练使用 Flink（DataStream/SQL）、Kafka、CDC（Debezium/Canal），有实时入仓落地经验 - 掌握 SQL 性能分析与调优方法，能读懂 Doris EXPLAIN VERBOSE 执行计划并进行针对性优化 - 熟悉 Linux 操作系统、Shell/Python 脚本编写，有自动化运维工具（Ansible/Helm）使用经验 - 具备良好的问题拆解能力与跨团队沟通能力，能独立承担生产故障排查与应急响应 加分项： - 有 Doris 跨大版本升级、存算分离（Compute Node 对象存储）落地经验 - 熟悉 Flink-Doris-Connector 源码或做过二次开发 - 有 Dify / ChatBI / 大模型应用数据层对接经验，理解 RAG、Text-to-SQL 的技术链路 - 了解 StarRocks / ClickHouse / Trino / Impala 等其他 OLAP 引擎，能根据场景做技术选型 - 持有云厂商大数据相关认证（阿里云 ACP/ACE、AWS 大数据专项等）