更新于 12月4日

爬虫工程师

1-1.1万·13薪
  • 郑州管城回族区
  • 3-5年
  • 大专
  • 全职
  • 招1人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 人际关系好
  • 团队执行强
  • 氛围活跃
  • 免费班车
  • 管理人性化
  • 准时发工资

职位描述

PythonJava
岗位职责:
负责爬取互联网上允许搜索爬虫采集的公开数据的爬取、清洗、解析、入库
针对需要的数据,寻找网站或app内可用的接口
研究主流网站和app反爬机制,寻找应对方案
不断的学习研究行业新技术,提升业务能力,并作团队分享
js、Android、IOS应用的逆向,能正向还原关键算法
参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
实时监控爬虫的进度和警报反馈。
岗位要求:本科及以上学历,3年以上爬虫开发相关经验,熟练掌握Java或Python编程语言,熟悉JavaScript;
熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息;
掌握 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:hook、Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能;
熟练使用MySQL数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;
熟悉各种抓取技术,包括爬虫反爬、代理、selenium/Puppeteer、验证码处理;
熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;
快速学习能力,工作积极主动,有创业热情和良好的团队协助能力;
需要有大量数据爬取以及高难度反爬经验,没有相关经验的勿扰。

工作地点

郑州管城回族区新发展楷林智慧广场

职位发布者

李女士/招聘顾问

今日活跃
立即沟通
公司Logo软通动力信息技术(集团)股份有限公司
软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国领先的全栈智能化产品与服务提供商,是“中国500强”企业(出自“财富FORTUNE”)。公司2005年成立于北京,多年来持续创新,致力于成为一家具有全球影响力的科技企业,提供软件与数字技术服务、计算产品与智能电子、数字能源与智算服务以及国际化服务。目前,公司在10余个重要行业服务超过2600家国内外客户,其中超过230家客户为世界500强或中国500强企业,员工90000人。软通动力拥有软通咨询、软通金科、软通工业互联、机械革命、软通华方、软通国际等业务子品牌,并在全球60余个城市布局业务,构建北美、日韩、亚太、中东四大国际交付中心,在北京通州、江苏无锡建设两大智能制造基地。同时,公司前瞻布局智能制造、ICT软硬基础能力和生产力智能化产品,打造产业链闭环。软通动力设立30个能力中心,拥有1个国家级工程实验室,6个省市政府认定的工程、技术实验室及研发中心,1个博士后科研工作站,50+技术合作伙伴的生态合作体系,不断探索前沿技术的巨大商业应用潜力。公司旗下教育品牌软通教育,拥有一家全日制本科学院——郑州西亚斯学院数字技术产业学院;同时在全国合作院校700多所,设有70多个校企联合人才培养基地,通过校企合作、协同育人,为社会培养高素质应用型人才。软通动力先后获得“2024年中国IT服务市场排名TOP1”、“2024新经济企业500强”、“2024年中国软件和信息技术服务竞争力百强企业”、“2024年信创领军企业”、“2024万得ESG评级(WindESGRating)AA级及信息技术服务行业ESG综合得分排名第一”等荣誉及市场认可,并拥有全球软件工程领域最高级别CMMIV2.0成熟度5级评估认证、国家研发运营一体化(DevOps)三级能力成熟度模型认证、信息技术服务标准(ITSS)运维能力成熟度一级认证等专业资质,支撑公司更优质的服务体系。
公司主页