一、岗位职责

1、数据开发与入库治理：负责各类结构化、非结构化数据的处理开发工作，熟练通过Python、SQL完成数据解析、转换、清洗工作，适配各类数据库表的数据建模与规整存储，保障数据入库规范性与完整性。

2、数据质量管控与治理：搭建并落地自动化数据质量监控、校验与治理体系，针对存量、增量数据开展重复性、一致性、完整性、准确性校验，排查数据异常问题，输出数据质量分析报告，持续优化数据治理规则，提升整体数据质量。

3、数据分析与可视化输出：基于业务及行业需求，开展多维度数据统计分析、深度挖掘与聚合计算，通过可视化工具完成数据图表制作、数据分析呈现，精准提炼数据价值。

4、数据资产沉淀与迭代优化：结合大模型（LLM）、大数据行业趋势，深度挖掘存量数据潜在价值，规范化输出数据字典、数据说明、分析报告等官方数据文档；持续优化数据处理脚本、入库流程及监控机制，实现数据工作自动化、高效化运转。

5、完成上级交办的其他数据开发、治理及分析相关工作。

二、任职要求

（一）核心技术能力

1、Python数据处理核心：精通Python数据处理技术栈，熟练使用Pandas、NumPy、Spark等工具，可独立编写高效、可复用、可上线的生产级代码，擅长复杂数据清洗、聚合、规整及批量处理，具备丰富的JSONL等非标数据解析、批量入库开发经验。

2、数据库与SQL能力：熟练掌握SQL各类高阶查询、统计、优化语法，熟悉MySQL、Greenplum、Hive、Doris、MongoDB等主流关系型、非关系型数据库，了解MPP及分布式数据库架构，具备数据库表结构优化、数据分层治理、查询性能调优实战经验。

3、可视化与自动化能力：熟练运用Matplotlib、Tableau等可视化工具，可独立完成数据分析可视化图表制作、数据看板搭建；熟悉Linux/Windows系统操作，能够自主开发自动化数据处理、监控脚本，实现数据流程自动化落地。

4、了解Java开发语言者优先。

（二）业务与行业能力

1、熟悉大数据、AI、互联网行业生态，能够快速理解业务逻辑、拆解数据需求，精准匹配数据开发与治理工作目标。

2、具备优秀的数据分析，可独立完成专项数据分析工作，高质量输出数据报告、业务洞察及优化。

（三）学历与综合素质

1、本科及以上学历，计算机、数据科学与大数据技术、统计学、人工智能、软件工程等相关专业优先。

数据治理开发工程师（Python开发方向）招聘_上海博为峰信息技术有限公司招聘 - 智联招聘

相关