python爬虫开发工程师

岗位职责：
1、根据业务数据需求，分析目标网站结构，设计合理的抓取策略，使用 Scrapy、Selenium 等框架开发爬虫程序，实现高效、稳定的数据抓取；
2、针对目标网站的反爬措施（如 IP 封禁、验证码、User-Agent 验证、动态参数加密等），设计并实现应对方案，保障爬虫长期可用；
3、对接收到的原始数据进行清洗、解析（使用 XPath、正则、BeautifulSoup 等），提取结构化信息；
4、搭建爬虫运行监控机制（如失败重试、日志告警、状态统计），定期排查爬虫异常，优化爬虫性能，提升数据抓取效率；
5、具备良好的创新能力和解决问题的能力，能够持续推动技术进步。
任职要求：
1、熟练掌握 Python 编程语言及语法特性，深入理解多线程、协程、异步 IO（asyncio/httpx）等并发模型；
2、深入理解 HTTP/HTTPS 协议原理，至少熟练掌握一种网络请求库(requests、httpx、urllib等)，能灵活处理爬虫场景下的复杂请求；
3、具备较强的反爬策略设计能力，熟悉常见反爬机制，能破解简单的参数加密；
4、熟练使用至少1种数据解析技术（XPath、BeautifulSoup 优先），能高效提取 HTML/XML 中的结构化数据;
5、熟悉关系型数据库（MySQL）和 NoSQL 数据库（MongoDB 优先），能根据数据结构设计表结构 / 集合，编写高效的查询语句;
6、了解网络爬虫相关法律法规及伦理规范，能评估抓取行为的合规性；
7、可以接受短期出差。