该职位已失效,看看其他机会吧

python开发(短期一年,线上面试,外包tcl)

1.8-2万
  • 深圳南山区
  • 5-10年
  • 大专
  • 全职
  • 招1人

职位描述

分布式爬虫
【外包tcl,短期一年周期,签劳务合同,薪资不打折,需要有实际分布式爬虫系统开发经验】岗位概述
1、负责设计和开发分布式网络爬虫系统
2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克,提升数据抓取的效率和质量
3、负责爬虫核心算法和策略优化,提升爬虫系统的稳定性、可扩展性
4、实时监控爬虫任务的执行状况,及时处理爬虫异常
教育背景要求 学信网可查大专及以上
工作经验 7年以上
知识与技能
1. 有实际分布式爬虫系统开发经验,熟悉scrapy和scrapy-redis框架及其参数调优
2. 熟悉使用request,urllib模块进行源码下载;Xpath,BeautifulSoup,Re数据提取
3. 能够处理图片验证码、滑块验证码、二维码登录,短信验证码;JS反爬,APP抓取数据,多纬度获取数据
4. 熟悉使用selenium,appium,uiautomator2,参与手机群控系统的规划,设计与开发
5. 熟悉网络抓包工具charles,fiddler,mitmproxy抓包分析,请求包的伪造 6. 使用flask编写数据接口,查询elasticsearch,mysql,mogondb数据返回前端
7. 具有hadoop,hdfs,spark,kafka,elasticsearch等大数据使用经验 其他 抗压能力强
查看全部

工作地点

深圳南山区TCL科学园国际E城。

职位发布者

叶女士/HR

立即沟通
公司Logo顶尖传诚
深圳市顶尖传诚科技有限公司公司简介:深圳市顶尖传诚科技有限公司,成立于2009年,顶尖旗下全资子公司(集团业务包括投资,传媒,游戏等),顶尖传诚成立将其软件外包服务业务独立运作。是一家集软硬件开发及销售、咨询及解决方案、it服务外包、信息化服务供应商,顶尖传诚秉承软件+服务的理念,深化服务内涵。依托深圳优越的it技术人才优势,为客户提供优质的软件外包服务。公司注册资本500万RMB,公司总部位于深圳,分别在北京,上海,广州,南京,成都,西安,南昌等地设有分公司及项目部。业务覆盖通信、金融与保险、企业信息化、电子商务,移动互联网、互联网金融、游戏等行业及由互联网催生的新兴行业。企业定位提供从IT咨询服务及解决方案,IT技术服务、IT外包服务到IT培训等软件及信息服务,助力企业IT信息化发展;企业愿景以专为本,服务至上,成就客户,共同成长公司福利 1)5天8小时工作制: 2)入职即购买养老保险、医疗保险、工伤保险、失业险、生育险和住房公积金; 3)公司给每位入职人员额外购买一份商业保险; 4)有市场竞争力的薪酬水平,公司还设立了年终双薪、项目奖、合理化建议奖、长期服务奖; 5)带薪年假:工作满一年,即可享受法定年假; 6)结婚、生育正常假期,公司馈赠礼金; 7)法定假期如端午,中秋,过年等享有节日礼品红包; 8)项目组定期组织聚餐和文娱活动等 9)每月举行生日Party、和员工座谈会。公司网址:www.szdjcc.com
公司主页