python工程师（数据采集方向）招聘_融通人力资源开发有限公司招聘 - 智联招聘

• 负责各类公开网络数据的抓取，涵盖网页、接口、小程序、行业平台等多渠道数据源，负责数据的完整性、准确性和时效性。
• 独立设计开发爬虫采集程序，持续优化爬虫策略，解决反爬、限速、动态渲染、加密数据解析等各类采集难题，持续提升采集能力。
• 负责采集任务的落地执行、日常监控与迭代维护，及时排查采集中断、数据缺失、重复数据等问题，保障采集系统7*24小时稳定运行。
• 对原始采集数据进行清洗、去重、格式标准化、字段提取、异常数据过滤等预处理工作，输出规范、可用的结构化数据，支撑数据分析、业务落地、模型训练等后续工作。
• 跟进业务需求，梳理数据源特性，持续拓展新的采集渠道，迭代优化采集规则和数据处理流程，适配业务动态数据需求。
• 整理采集文档、数据字典、程序运维手册，做好技术沉淀，配合团队完成数据对接、复盘优化等协同工作。

任职资格：

• 本科及以上学历，计算机、软件工程、大数据、信息技术等相关专业，1-3年专职数据采集、爬虫开发相关工作经验，能力优秀者可放宽条件。
• 熟练掌握Python编程语言，精通爬虫核心技术，熟练使用Requests、BeautifulSoup、Xpath、PyQuery等常用采集库，具备扎实的网页解析能力。
• 熟悉动态网页采集技术，熟练掌握Selenium、Playwright等自动化工具，能够独立解决JS渲染、验证码、IP封禁、请求加密、参数签名等常见反爬问题。
• 熟悉HTTP/HTTPS协议，精通接口抓包、请求分析、接口解密流程，可独立完成API接口数据采集与逆向解析工作。
• 具备扎实的数据清洗和数据结构化处理能力，熟悉正则表达式，能够高效完成数据去重、纠错、格式统一等预处理工作。
• 熟悉MySQL、MongoDB等常用数据库，掌握数据存储、查询、批量导入导出等操作，了解Redis缓存优先。
• 具备良好的问题排查能力和逻辑思维，抗压能力强，能够快速响应业务需求，有较强的自主学习能力和责任心。
• 有舆情数据、电商数据、行业资讯、政务数据采集经验，或大规模分布式爬虫开发经验者优先。