Python爬虫开发工程师

岗位职责： 负责互联网公开数据的采集开发，遵循 Robots 协议及相关法律法规，采集允许公开获取的非敏感信息； 根据业务需求，完成网站、APP、H5、小程序等多类型数据源的采集方案设计与开发； 负责采集任务的稳定运行，包括数据抓取、解析、去重、增量更新、异常监控等全流程开发； 针对目标站点的反爬策略，制定合理的采集方案，包括代理调度、浏览器自动化、请求模拟、指纹管理等； 优化采集效率，提高成功率、覆盖率及采集稳定性，降低资源消耗； 输出完整的技术文档，包括部署说明、接口说明、运行维护文档及源码交付； 配合业务方快速响应需求变化，完成新增站点接入及已有采集任务维护。 岗位要求： 3 年及以上 Python/Java 爬虫开发经验，具有丰富的实际项目交付经验； 熟练掌握 Python/Java，熟悉 Requests、aiohttp、Scrapy、Playwright、Puppeteer、Selenium 等主流采集框架； 熟悉 HTTP/HTTPS 协议、Cookie、Session、JWT、WebSocket、Ajax 等网络通信机制； 熟悉主流反爬策略及应对方案，包括但不限于 IP 限流、验证码、指纹识别、TLS 指纹、浏览器环境检测等； 熟悉代理 IP、浏览器自动化、无头浏览器、分布式采集等技术； 熟悉 MySQL、Redis、MongoDB 等常见数据库，能够完成数据存储及数据清洗； 具有良好的代码规范及文档输出能力，能够独立分析问题并快速定位故障； 有大型信息流平台、内容平台、电商平台或社交媒体采集经验者优先。