职位描述
Python爬虫开发反爬虫数据清洗Scrapy动态页面处理数据持久化爬虫系统维护
工作职责
1. 负责设计并开发高效、稳定的Python爬虫程序，完成各类公开数据的抓取与解析。
2. 针对目标网站的反爬机制，制定并优化反反爬策略，确保数据采集的持续性与准确性。
3. 对抓取的数据进行清洗、去重与结构化处理，输出符合业务需求的数据集。
4. 维护爬虫系统的日常运行，监控并解决数据采集过程中的异常问题。
任职要求
1. 大专及以上学历，计算机、软件工程等相关专业优先。
2. 精通Python语言，熟练使用Scrapy、BeautifulSoup、Selenium等爬虫框架与工具。
3. 熟悉HTTP/HTTPS协议、Cookie/Session机制，具备处理动态渲染页面（如JavaScript加载）的经验。
4. 掌握数据存储技术，能熟练使用MySQL、MongoDB等数据库进行数据持久化。
5. 具备良好的问题分析能力，能独立排查并解决爬虫过程中的技术难点。
补充说明
1. 薪酬福利：五险一金
1. 负责设计并开发高效、稳定的Python爬虫程序，完成各类公开数据的抓取与解析。
2. 针对目标网站的反爬机制，制定并优化反反爬策略，确保数据采集的持续性与准确性。
3. 对抓取的数据进行清洗、去重与结构化处理，输出符合业务需求的数据集。
4. 维护爬虫系统的日常运行，监控并解决数据采集过程中的异常问题。
任职要求
1. 大专及以上学历，计算机、软件工程等相关专业优先。
2. 精通Python语言，熟练使用Scrapy、BeautifulSoup、Selenium等爬虫框架与工具。
3. 熟悉HTTP/HTTPS协议、Cookie/Session机制，具备处理动态渲染页面（如JavaScript加载）的经验。
4. 掌握数据存储技术，能熟练使用MySQL、MongoDB等数据库进行数据持久化。
5. 具备良好的问题分析能力，能独立排查并解决爬虫过程中的技术难点。
补充说明
1. 薪酬福利：五险一金
展开该职位详情
