更新于 12月26日

数据获取架构师【大厂外包-长期稳定-线上面试-随时到岗】

2-2.5万
  • 北京朝阳区
  • 1-3年
  • 本科
  • 全职
  • 招10人

职位描述

PythonDjangoScrapyHiveHadoop反爬虫爬虫开发云计算/大数据计算机软件人工智能互联网
岗位职责:
负责公开数据源等定向场景的数据抓取方案设计与落地。
搭建高稳定性、高并发的爬虫体系,解决反爬机制(如验证码、IP 封锁、UA 验证、动态渲染)等核心问题,保障数据抓取效率与准确性。
优化爬虫程序性能,降低服务器资源消耗,提升数据抓取成功率与更新频率,满足业务实时性或周期性数据需求。
监控爬虫运行状态,及时处理抓取异常、数据缺失等问题,建立告警机制与故障应急预案。
岗位基本需求:
本科及以上学历,计算机科学、软件工程、数据科学等相关专业,1-3 年定向数据抓取 / 爬虫开发实战经验。
熟练掌握 Python 编程语言,精通 Scrapy、BeautifulSoup、Selenium、Playwright 等爬虫框架与工具,能独立完成复杂场景爬虫开发。
熟悉 HTTP/HTTPS 协议、Cookie/Session 机制、API 接口调用,具备模拟请求、破解简单加密参数的能力。
了解常见反爬策略及应对方案,有处理动态网页、滑块验证码、IP 池搭建、UA 池维护等实战经验者优先。

工作地点

北京朝阳区恒电大厦-B座

入职公司信息

  • 入职公司: 北京三快在线科技有限公司
  • 公司地址: 北京市朝阳区望京北路1号中国数码港大厦F2北京三快在线科技有限公司北京三快在线科技有限公司
  • 公司人数: 500-999人

认证资质

  • 人力资源服务许可认证

    人力资源服务许可证是由国家人力资源与社会保障相关部门颁发,代表人才经纪人所在企业可以合法开展人力资源相关业务的资质证件。展示该标签代表该企业发布此职位时已上传《人力资源服务许可证》或《人力资源服务备案证书》并经由平台审验通过。

职位发布者

阮燕丽/人事经理

昨日活跃
立即沟通
公司Logo深圳南区人瑞人力资源服务有限公司
人瑞是中国领先的综合人力资源解决方案提供商数字化时代,人才供应链必须契合企业数字化战略下的业务发展需要人力资源管理的使命,在于构建人才管理数字化与企业战略、业务数字化的连接和应用人瑞坚持以效果为导向的人力资源服务模式,依靠技术驱动人力资源的服务能力,通过强执行力的组织体系与专业团队,为客户提供满意的、适应数字化需求的人力资源一体化服务!
公司主页