Skip to main content

python AI采集实习生(可提供转正)

Technology
上海恒生聚源数据服务有限公司
上海市, 中国1周前截至 2026/11/20
全职

职位描述

该职位来源于猎聘 "岗位职责: 1、核心负责基于Python语言的公开数据采集AI Agent搭建与落地,利用Python生态完成高效数据抓取框架的开发,精准定位网站公开数据接口的结构、请求校验逻辑及参数组装规则等,确保数据获取全程符合目标网站的公开访问规范及Robots协议。 2、参与公开数据合规采集服务的整体设计、开发与迭代工作,以Python为主要开发语言,构建可扩展的采集调度系统、数据清洗管道及存储方案,助力团队搭建系统化的公开数据采集与合规治理能力体系,稳定支撑业务对公开数据的合法获取需求。 3、沉淀公开数据采集实战经验,以Python脚本等形式汇总各类公开数据源的标准对接案例与合规操作指南,持续优化现有采集代码的性能与可维护性,通过异步IO、连接池、重试机制等手段提升采集效率与稳定性。 4、严格遵守Robots协议及目标网站服务条款,在合法授权范围内利用Python工具设计温和的采集策略,主动规避对目标服务器造成异常压力的技术方案,运用Python实现数据清洗、脱敏、分类分级标记等自动化处理流程,确保所获数据在存储、传输及使用环节符合公司数据安全规范及《个人信息保护法》等法律法规要求。 任职要求: 1、计算机、软件工程、网络工程等相关专业优先,2027届本科及以上在校生。 2、精通Python编程语言,具备良好的代码组织与模块化设计能力;熟练使用Python标准库及主流第三方库,具备独立调试Python代码、定位性能瓶颈及排查异常问题的能力。熟悉浏览器开发者工具及抓包工具的基础使用,可结合Python完成公开数据接口的请求参数分析与数据提取工作。 3、了解Scrapy、Feapder、Crawlab、Playwright等主流数据采集框架及工具的基本原理与适用场景,具备基于Python框架进行二次开发或自定义中间件的能力,并仅在合法授权范围内提出对应的技术优化方案。 4、具备Python+AI辅助编程实战经验,熟练使用AI编程工具辅助生成Python代码、编写单元测试及自动化脚本;了解AI Agent原理、基础架构及相关技术概念,可依托AI工具完成Python项目的快速迭代与调试优化。 5、熟悉数据合规相关法律法规,包括但不限于《网络安全法》《数据安全法》,了解Robots协议的法律效力及行业实践标准,具备基本的合规风险识别能力。 6、具备较强的自主学习能力、问题钻研能力,逻辑清晰、沟通表达流畅,能快速适配岗位工作节奏。能够一周到岗5天。"

Keywords
Python

对这个职位感兴趣吗?