更新于 1月31日

爬虫工程师

1-1.5万
  • 上海浦东新区
  • 3-5年
  • 本科
  • 全职
  • 招5人

职位描述

PythonJavaScript数据采集爬虫开发反爬虫分布式爬虫Scrapy互联网IT服务计算机软件
一、职位描述:
1、负责设计和开发分布式的网络爬虫应用,包括调度、抓取、入库等内容,进行互联网相关信息的抓取和分析
2、负责实现大规模数据的抓取、抽取,去重、分类,垃圾过滤,质量识别、解析入库等工作
3、负责对指定的多个网站进行网页抓取、数据提取、破解反爬策略
4、承接开发任务,需求分析,确保按时按质按量完成任务
5、有良好的沟通和学习能力.有较强的团队协作能力以及快速解决问题的能力。
二、岗位要求:
1、本科及以上统招学历、计算机或相关专业、具备2年以上项目开发经验;
2、具有scrapy, scrapy-redis开发经验;
3、具有web逆向经验,如滑块验证码,
4、熟悉多线程、网络编程,精通网页抓取原理及技术,精通正则表达式;
5、熟悉并熟练应用各种常见加密算法;
6、熟悉至少一种关系型数据库(MySQL等);熟悉redis、kakfka,有过数据库调优和海量数据存储经验优先;
7、具有工商数据、金融数据、案件数据抓取经验者优先。

工作地点

上海浦东新区中国人寿金融中心

职位发布者

郭女士/人事经理

三日内活跃
立即沟通
公司Logo上海问道云人工智能科技有限公司
上海问道云人工智能科技有限公司成立于2017年,从事人工智能创新研究,致力于将先进的人工智能技术与行业应用相结合。用坚实的技术力量参与人工智能领域的基础性科学研究,致力服务于金融、法律、零售等多个行业。
公司主页