python工程师/爬虫招聘_青岛凯盛浩丰智慧农业科技有限公司招聘 - 智联招聘

岗位职责

1.数据采集：熟练运用 Python 编写高效稳定的爬虫程序，从各类网站、API 接口等多渠道采集数据；根据业务需求制定合理的爬虫策略，解决反爬机制，确保数据采集的准确性和完整性；持续优化爬虫性能，提升采集效率；

2.数据处理：对采集到的数据进行深度清洗，运用 Pandas、Numpy 等库去除重复、错误、缺失数据，进行标准化和规范化处理，为后续分析和挖掘提供高质量数据基础；

3.数据存储：负责数据的存储与管理工作，熟练使用 MySQL、SQLServer 等数据库，设计合理的数据存储结构，确保高效存储和快速查询；定期进行数据备份和维护，保障数据安全。

任职要求

1.，统招计算机相关专业，本科及以上学历，有丰富实践经验者优先考虑；

2.熟悉 Python，了解 TensorFlow / PyTorch 等框架；

3.熟悉网络爬虫原理，有丰富的爬虫开发经验，能熟练使用 Scrapy 等爬虫框架，熟悉常见反爬机制及应对方法；

4.熟练掌握至少一种数据库（MySQL、DuckDB 等）的使用，了解数据库设计和优化；

5.有较强的学习能力和自我驱动力，能够快速掌握新技术、新工具。