该职位已失效,看看其他机会吧

爬虫工程师

1-1.8万
  • 成都武侯区
  • 5-10年
  • 学历不限
  • 全职
  • 招1人

职位描述

Python爬虫开发计算机软件
岗位职责
1. 负责各类公开数据源的爬虫系统设计与开发,根据业务需求制定数据采集策略,实现高效、稳定的数据抓取。
2. 应对目标网站的反爬机制,优化爬虫策略,包括但不限于动态代理池、验证码识别、请求频率控制等方案的落地。
3. 参与数据清洗、结构化处理与存储工作,保障采集数据的准确性、完整性和时效性,对接下游数据应用系统。
4. 维护现有爬虫系统,监控运行状态,及时解决爬取过程中的异常问题,提升系统的容错性和可扩展性。
5. 跟踪行业内爬虫技术的发展趋势,引入新技术、新工具优化数据采集效率和质量。
任职要求
1. 大专及以上学历,计算机、软件工程等相关专业,5年以上爬虫开发经验。
2. 熟练掌握Python语言,精通 requests 、 Scrapy 、 BeautifulSoup 、 Selenium 等爬虫框架与库。
3. 熟悉HTTP/HTTPS协议,了解Cookie、Session、Headers等请求参数的作用,具备应对反爬策略的实战经验。
4. 掌握MySQL、MongoDB等数据库的基本操作,能够将采集数据高效存储与检索。
5. 具备良好的逻辑思维能力和问题排查能力,能够独立分析并解决爬虫开发中的技术难点。
6. 了解前端技术(HTML/CSS/JavaScript)优先,熟悉分布式爬虫架构者优先。
7. 具备良好的沟通协作能力和责任心,能够承受一定的工作压力。
查看全部

工作地点

成都武侯区花样年福年广场-T1写字楼9楼909号

职位发布者

李燕/人事经理

刚刚活跃
立即沟通