400-885-9898
职位描述
Python分布式爬虫爬虫开发数据清洗
岗位职责：
1、负责设计和开发分布式爬虫和调度系统，爬虫核心算法和调度策略优化；
2、负责部分网站验证码破解和现有爬虫系统效率的提升；
3、负责网络数据抓取规划和数据链路规划、高效且稳定爬取指定网站的数据；
4、构建高可用性、高可扩展性的网络信息搜集平台；
5、优化现有数据清洗，数据提取，结构化，入库等过程；
6、深度思考并参与业务等数据瓶颈，并有效解决；
7、项目中遇到其他问题。
任职要求
1、计算机相关专业，python语言，三年以上爬虫经验；
2、有独立负责过爬虫平台搭建、爬虫系统处理经验，爬虫项目规划能力；；
3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬虫框架使用，了解js引擎技术等优先考虑；
4、熟悉js逆向，混淆原理，js语法树，客户端常用签名算法等。
5、具备web挖掘等搜索引擎相关知识，有丰富的网络爬虫、网页去重、网页信息抽取的经验，
6、掌握网页抓取原理及技术，包括基于Cookie的登录管理，基于headless的采集，熟悉正则表达式、XPath、Jsoup等网页信息抽取技术。
7、熟悉Linux平台开发、常用操作及命令，良好的编码习惯，有独立思考的能力，善于解决问题。
8、具备较强的团队协作精神，工作责任心强，良好的沟通、理解和执行能力。
查看全部
工作地点
石家庄长安区朝晖商务8楼
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 顺丰招聘
- 美团招聘
- 京东招聘
- 饿了么招聘
- 比亚迪招聘
- 中国一汽招聘
- 北京汽车招聘
- 蔚来招聘
- 东风汽车招聘
- 长城汽车招聘
- 奇瑞汽车招聘
- 理想汽车招聘
- 长鑫存储招聘
- 天江药业招聘
- 蓝月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 联想招聘
- 海康威视招聘
- 宁德时代招聘
- 中兴招聘
- 新松招聘
- 京东方招聘
- 申通招聘
- 圆通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麦当劳招聘
- 星巴克招聘
- 海底捞招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 腾讯招聘
- 百度招聘
- 快手招聘
- 字节跳动招聘
- 新华网招聘
- 小米招聘
- 招商银行招聘
- 中信银行招聘
- 北京银行招聘
- 兴业银行招聘
- 交通银行招聘
- 建发集团招聘
- 中国移动招聘
- 中国联通招聘
- 中国电信招聘
- 中粮集团招聘
- 国药控股招聘
- 中广核招聘
- 中国船舶招聘
- 强生中国招聘
- 汇丰中国招聘
- 宜家招聘
- 立邦中国招聘
- 伊利招聘
- 青岛啤酒招聘
- 京港地铁招聘
- 宝马招聘
- 小鹏汽车招聘
- 华为招聘
- 特斯拉招聘
- 吉利招聘
- 奔驰招聘
- 海尔招聘
- 美的招聘
- 京东方招聘
- 施耐德电气招聘
- 德邦物流招聘
职位发布者
梁女士/人资经理
当前在线立即沟通
中数智创科技有限公司中数智创科技有限公司成立于2018年，总部在河北石家庄，在北京、深圳设立全资子公司，集团技术研发团队超过300人，主要业务为数字金融、数字产业、数字交易三大领域，产品和服务面向全国，已为全国数百家政、企客户打造数字化服务平台，上百家金融机构研发创新金融科技产品。核心技术依托国内领先的大数据、AI大模型、区块链、隐私计算、物联网、数字孪生等技术推动产业的深度发展。公司是中国招标投标协会成员单位、中物联金融委常务理事单位、河北省中小企业投融资促进会会长单位、河北省信息产业与信息化协会常务理事成员、河北省基于区块链的电子保函系统技术创新中心、参编全国首部团体标准《公共数据授权运营平台技术要求》(T/CECC024-2023)。公司通过涉密乙级资质、CCRC二级、CMMI3、ITSS三级、DCMM三级、EBS交易平台三星认证等。经营理念：客户至上、高效团队、创新发展、合作共赢企业使命：以科技创新，技术赋能政银企数字化转型企业愿景：成为政银企数字化转型与科技创新的开拓者企业精神：开放、务实、进取、拼搏
公司主页