初级爬虫工程师

工作职责
1. 负责目标网站的爬虫方案设计与开发，实现数据的自动化采集与存储。
2. 优化爬虫策略，解决反爬机制（如验证码、IP限制）带来的采集障碍。
3. 对采集到的数据进行清洗、去重与格式转换，确保数据质量符合业务要求。
4. 定期监控爬虫运行状态，及时排查并修复程序异常。
任职要求
1. 大专及以上学历，计算机、软件工程等相关专业优先。
2. 掌握Python语言，熟悉Scrapy或Requests+BeautifulSoup等爬虫框架与工具。
3. 了解HTML/CSS结构，能熟练使用XPath或CSS选择器解析网页内容。
4. 具备基础的反反爬知识，有应对常见反爬策略的实践经验。
5. 具备良好的逻辑思维能力，能独立分析并解决数据采集过程中的问题。