Python高级开发工程师（数据方向）

【岗位职责】 1. 集成多种数据库（MySQL、PostgreSQL、SQLServer 等关系型库；MongoDB、Elasticsearch、ClickHouse 等其他常用类型数据库），负责数据运维、查询优化与性能调优。 2. 使用 NumPy、Pandas、Polars 进行数据清洗、转换、聚合。 3. 基于 Flask 或 FastAPI 构建高可用、可扩展的 RESTful API 后端服务。 4. 设计、开发与维护爬虫，解决反爬策略，保障数据采集的稳定与高效。 5. 持续优化数据处理流水线，解决大数据量下的性能瓶颈，保障数据质量、时效性与系统可维护性。 【任职要求】 一、基础条件 - 本科及以上学历，计算机相关专业，3～5 年 Python 开发经验，编码规范、基础扎实。 - 具备良好的问题分析能力及合作沟通能力。 二、数据库能力 - 至少精通 MySQL / PostgreSQL / SQLServer 中的一种：熟练编写复杂 SQL，掌握索引优化、事务隔离、慢查询分析。 - 熟练使用 MongoDB 、Elasticsearch ，了解 ClickHouse 列式存储特性及适用场景。 - redis 常用数据结构的使用及调优。 - 具备生产环境的数据建模与查询调优经验，能根据场景合理选型数据库。 三、数据处理能力 - 精通 NumPy 与 Pandas、Polars，高效完成数据清洗、分组、合并、缺失值处理等操作。 - 熟悉 Parquet 列式存储格式（压缩率、查询性能优势），有实际读写经验。 - 能处理 GB 级以上结构化数据，了解常见序列化/反序列化方式。 四、爬虫能力 - 熟练使用 Requests / BeautifulSoup/ Selenium / Playwright。 - 深入理解反爬机制（请求头校验、IP封锁、验证码、动态加载、JS混淆）并提出有效应对方案。 - 具备代理 IP 池、Cookie 管理、请求去重等实现经验。 五、后端服务能力 - 熟练使用 Flask 或 FastAPI，能独立完成 RESTful API 从设计到上线。 - 理解 FastAPI 异步特性（async/await）或 Flask 多线程/多进程部署。 - 有 API 安全（认证、授权、参数校验）、性能优化（缓存、连接池）、错误处理经验。 六、其他通用能力 - 良好的沟通协作能力、责任心与自我驱动力，能主动推进任务并分享技术经验。 - 追求代码质量与工程化，熟悉单元测试、代码 Review 流程。 【加分项】 - 有 Hadoop / Spark 等大数据相关经验 - 有前端、全栈经验 - 熟悉 Celery 或 Airflow - 参与过开源项目、数据竞赛、有含金量的技术竞赛，有技术博客积累