Web端爬虫逆向工程师

【岗位职责】 1、纯Web端开发，无APP逆向需求，负责各类网页端接口抓包分析、请求链路梳理、参数还原，主攻前端JS逆向、代码混淆解密、接口签名与加密逻辑破解，落地稳定的逆向解决方案。 2、硬性要求独立编写各类爬虫自动化脚本，负责大规模Web爬虫系统的开发、迭代与日常维护，持续对抗网站反爬策略、限流拦截、指纹识别、封禁等问题。 3、负责整体爬虫反爬体系搭建与优化，包含反爬策略迭代、IP代理池管理、请求指纹伪装、验证码识别对抗，保障爬虫高可用、高并发稳定运行。 4、负责号池体系搭建与维护，实现多账号登录态调度、会话管理、批量注册登录自动化，解决网页账号风控、登录拦截等问题，支撑规模化数据采集需求。 5、搭建分布式爬虫调度架构，优化爬虫抓取效率、并发能力，完成采集数据的清洗、结构化处理、标准化落地与存储，严格把控整体数据质量、完整性与时效性。 6、跟进行业最新Web反爬、逆向技术，沉淀通用逆向工具、脚本模板与对抗方案，持续提升团队爬虫对抗能力与自动化能力。 7、支撑业务数据需求，可独立完成海外网页平台数据调研、采集与数据集构建，为模型训练、业务调研提供高质量、多样化的Web数据源。 8、严格遵守网络安全法律法规及平台规则，合规开展Web端数据采集、接口调用与逆向开发工作。 【任职要求】 1、计算机相关专业本科及以上学历，5年以上Python开发经验，具备扎实的脚本开发功底，擅长规模化爬虫系统的搭建、调优与落地。 2、硬性能力：可独立手写爬虫、逆向、自动化脚本，精通Requests、Aiohttp、Scrapy等主流Python爬虫生态，熟练掌握同步、异步爬虫开发。 3、深耕Web端JS逆向，熟练网页抓包调试、参数解密、签名算法还原、混淆代码调试，可独立解决各类复杂Web反爬场景。 4、熟悉网页动态渲染技术，熟练使用Selenium、Playwright等自动化工具，掌握滑块、点选、图文等各类网页验证码识别与对抗方案。 5、具备丰富的号池、代理池搭建管理经验，熟悉分布式爬虫架构、IP调度、账号状态管理、风控对抗策略，具备大规模爬虫运维优化经验。 6、有海外网页平台数据采集、逆向调研、数据集构建经验优先，能够解决复杂平台数据抓取难题，支持模型训练数据供给。 7、逻辑清晰，擅长问题排查与技术钻研，具备独立攻坚复杂反爬、逆向难题的能力，具备良好的工程化思维与团队协作意识。 行业方向：具有海外模型调研、逆向与训练经验，善于解决特定平台模型调用与数据集构建难题；熟悉号池管理、反爬策略，为海外模型训练提供高质量、多样化数据支持。 团队成员年轻有活力，办公氛围轻松融洽。 领导沟通随和，公司福利完善，拥有广阔的发展平台。 业务资源稳定充足，全力支持员工钻研技术、精进能力。 采用弹性工作模式，流程简洁高效，专注技术研发即可。