资深Python开发工程师（杭州/广州）

职位描述： 1. 设计、开发、维护、重构分布式网络爬虫，采集并清洗结构化数据。 2. 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。 3. 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。 4. 能够统计和分析数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。 职位要求： 1. 本科及以上学历，计算机相关专业，至少2年及以上项目开发经验，扎实的技术理论基础，数据结构以及算法等； 2. 熟练掌握 Python编程语言，掌握 Selenium、Scrapy、PlayWright等框架的用法，熟悉任意开源爬虫框架。 3. 熟悉 HTML、JavaScript，懂得分析常见 Web界面结构，掌握基本 jQuery、CSS、XPath等语法。 4. 熟悉 App逆向分析、调试、加固、混淆等技术；有 ollvm、unicorn开发经验优先。 5. 熟悉 HTTP、TCP等网络协议，精通 httpClient/jSoup/xpath/正则表达式/验证码处理/代理池等爬虫相关技术。 6. 掌握 Charles等抓包工具。 7. 了解 Android或iOS系统底层原理及机制，熟悉汇编语言和加解密算法。 8. 有深入的大规模分布式爬虫集群实践经验。 9. 对新技术保持热情，持续学习并乐于分享，勇于技术创新与技术改进。 10. 具备良好的沟通能力，积极主动、自驱力强，有强烈的团队意识和执行力。