资深爬虫开发工程师

核心职责
1. 全链路数据通道设计与开发：
1）负责从各大电商平台（如京东京麦）高效、稳定地采集商品、订单等关键业务数据。
2）核心负责：设计并实现“订单履约状态”回传至上游平台的数据同步机制，确保妥投、签收等信息及时、准确同步，形成完整的数据闭环。
2. 系统集成与稳定性保障：
1）与后端订单履约中台团队紧密协作，确保爬虫系统与内部业务系统无缝集成，数据流转顺畅。
2）构建完善的监控、告警与容错机制，实时追踪数据同步状态，快速定位并修复数据链路中的异常，保障7x24小时服务稳定性。
3. 复杂技术难题攻关：
1）应对各类反爬虫策略，研究并实施包括动态渲染处理、验证码破解、行为模拟等高级采集方案。
2）持续优化爬虫调度策略、去重机制与数据清洗流程，提升数据采集的效率与质量。
4. 团队赋能与规范建设：
1）编写高质量技术文档，沉淀爬虫领域核心知识与最佳实践。​
2）指导团队成员提升技术能力，推动团队技术标准与研发规范落地。
任职要求
1. 经验： 3年以上Python爬虫开发经验，有领导或核心负责中大型爬虫项目经验，必须有电商平台数据采集与双向同步（特别是订单状态回传）的成功实践。
2. 技术能力：
1）精通Python，熟悉Scrapy、Pyspider、Selenium、Playwright等至少一种主流爬虫框架和工具。
2）深刻理解HTTP/HTTPS协议、TCP/IP网络原理，熟练掌握浏览器调试工具。
3）具备处理动态渲染、反爬虫策略（如指纹识别、行为验证）的实战经验。
4）熟悉MySQL/PostgreSQL等数据库，具备良好的SQL优化能力。
3. 业务与软技能：
1）具备强烈的业务理解能力，能清晰理解“数据采集-履约-回传”的完整业务流程及其技术实现。
2）拥有出色的系统调试和问题解决能力，面对突发问题能冷静、快速地定位根源并实施解决方案。
3）良好的沟通能力和团队协作精神，责任心强，能在高压下工作。
优先考虑：
1、有分布式爬虫架构设计经验者。
2、熟悉Docker容器化部署及常用监控工具（如Prometheus, Grafana）者。
3、有团队管理或带教经验者。
我们提供
1、扁平化管理环境：与技术管理层直接协作，获得全局业务视角与重要决策参与机会。​
持续成长空间：深耕高复杂度技术领域，在反爬虫、数据同步等方向实现技术突破与职业进阶。