爬虫工程师

岗位职责
1. 负责各类公开数据源的爬虫系统设计与开发，根据业务需求制定数据采集策略，实现高效、稳定的数据抓取。
2. 应对目标网站的反爬机制，优化爬虫策略，包括但不限于动态代理池、验证码识别、请求频率控制等方案的落地。
3. 参与数据清洗、结构化处理与存储工作，保障采集数据的准确性、完整性和时效性，对接下游数据应用系统。
4. 维护现有爬虫系统，监控运行状态，及时解决爬取过程中的异常问题，提升系统的容错性和可扩展性。
5. 跟踪行业内爬虫技术的发展趋势，引入新技术、新工具优化数据采集效率和质量。
任职要求
1. 大专及以上学历，计算机、软件工程等相关专业，5年以上爬虫开发经验。
2. 熟练掌握Python语言，精通 requests 、 Scrapy 、 BeautifulSoup 、 Selenium 等爬虫框架与库。
3. 熟悉HTTP/HTTPS协议，了解Cookie、Session、Headers等请求参数的作用，具备应对反爬策略的实战经验。
4. 掌握MySQL、MongoDB等数据库的基本操作，能够将采集数据高效存储与检索。
5. 具备良好的逻辑思维能力和问题排查能力，能够独立分析并解决爬虫开发中的技术难点。
6. 了解前端技术（HTML/CSS/JavaScript）优先，熟悉分布式爬虫架构者优先。
7. 具备良好的沟通协作能力和责任心，能够承受一定的工作压力。