该职位已失效,看看其他机会吧

资深爬虫开发工程师

1.5-2.5万
  • 广州番禺区
  • 3-5年
  • 大专
  • 全职
  • 招1人

职位描述

PythonPYSPIDER/SCALASCRAPY/SELENIUM数据采集反爬虫爬虫开发HTTP/HTTPS协议TCP/IP网络原理电子商务互联网计算机软件
核心职责
1. 全链路数据通道设计与开发:
1)负责从各大电商平台(如京东京麦)高效、稳定地采集商品、订单等关键业务数据。
2)核心负责:设计并实现“订单履约状态”回传至上游平台的数据同步机制,确保妥投、签收等信息及时、准确同步,形成完整的数据闭环。
2. 系统集成与稳定性保障:
1)与后端订单履约中台团队紧密协作,确保爬虫系统与内部业务系统无缝集成,数据流转顺畅。
2)构建完善的监控、告警与容错机制,实时追踪数据同步状态,快速定位并修复数据链路中的异常,保障7x24小时服务稳定性。
3. 复杂技术难题攻关:
1)应对各类反爬虫策略,研究并实施包括动态渲染处理、验证码破解、行为模拟等高级采集方案。
2)持续优化爬虫调度策略、去重机制与数据清洗流程,提升数据采集的效率与质量。
4. 团队赋能与规范建设:
1)编写高质量技术文档,沉淀爬虫领域核心知识与最佳实践。​
2)指导团队成员提升技术能力,推动团队技术标准与研发规范落地。
任职要求
1. 经验: 3年以上Python爬虫开发经验,有领导或核心负责中大型爬虫项目经验,必须有电商平台数据采集与双向同步(特别是订单状态回传)的成功实践。
2. 技术能力:
1)精通Python,熟悉Scrapy、Pyspider、Selenium、Playwright等至少一种主流爬虫框架和工具。
2)深刻理解HTTP/HTTPS协议、TCP/IP网络原理,熟练掌握浏览器调试工具。
3)具备处理动态渲染、反爬虫策略(如指纹识别、行为验证)的实战经验。
4)熟悉MySQL/PostgreSQL等数据库,具备良好的SQL优化能力。
3. 业务与软技能:
1)具备强烈的业务理解能力,能清晰理解“数据采集-履约-回传”的完整业务流程及其技术实现。
2)拥有出色的系统调试和问题解决能力,面对突发问题能冷静、快速地定位根源并实施解决方案。
3)良好的沟通能力和团队协作精神,责任心强,能在高压下工作。
优先考虑:
1、有分布式爬虫架构设计经验者。
2、熟悉Docker容器化部署及常用监控工具(如Prometheus, Grafana)者。
3、有团队管理或带教经验者。
我们提供
1、扁平化管理环境:与技术管理层直接协作,获得全局业务视角与重要决策参与机会。​
持续成长空间:深耕高复杂度技术领域,在反爬虫、数据同步等方向实现技术突破与职业进阶。
查看全部

工作地点

广州番禺区广东八灵科技发展有限公司

职位发布者

胡蓉/人事经理

立即沟通
公司Logo广东八灵科技发展有限公司
广东八灵科技发展有限公司成立于2012年10月,注册资金壹亿元(人民币),通过先进的B2B服务平台,面向全国为政府、军队、高校、大型企业等客户持续提供优秀的采购解决方案,是国内优秀的综合型整体解决方案服务商。自公司成立以来,坚持贯彻团队专业化建设与数字化技术创新的方针,秉承赋能供应链服务高质量发展的理念,致力于为全国区域的党政机关、军警以及大型企事业单位等提供一站式智能采购解决方案。通过与国内上千家优质企业达成本地化服务合作,搭建快速响应、高效对接、覆盖全国的专业化服务体系,满足用户在采购、物流、仓储、配送、售后等供应链全环节需求,是集IT办公、医疗物资、军警装备、应急保障等多品类产品的研发、销售、服务于一体的供应链集成服务引领者。企业已通过武器装备质量管理体系认证、ISO9001质量管理体系认证,职业健康管理体系、售后服务体系认证等,荣获中国诚信示范单位、全国资质信用公示证书、质量·服务·诚信AAA企业、广东省“守合同重信用”企业、广东省企业信用等级证书等多项荣誉称号。★军采平台运营能力★最初在军网商城全国入选的200多商家中,华南地区排名前三,全国区域排名前十。对军队自行采购平台的各电商平台均有对接,熟悉平台规则,熟练运作订单。★京东平台运营能力★已开设不同类目的京东店铺数家,类目丰富,全方位满足客户需求。在京东工业品类仅半年时间就在上千家同行中取得销售额排名第一的佳绩。八灵科技★致力于成为中国最优秀的行业用户整体解决方案服务商
公司主页