更新于 今天
职位描述
数据采集爬虫开发反爬虫分布式爬虫电商电商平台电商数据
岗位的工作地点是在广州总部，非外包外派，全自研，大规模数据采集。可以全程线上面试录用。
【岗位职责】
1、负责主流电商平台网页及APP数据采集，攻克JS加密、动态渲染、高频反爬、接口限流等技术难题，保障商品、价格、销量、评论等核心数据实时、准确、完整；
2、主导分布式电商爬虫、APP自动化采集系统架构设计与落地，优化高并发采集能力，保障海量数据采集稳定高效；
3、基于DevOps实现爬虫采集工具化、自动化、平台化，完成任务调度、异常监控、数据校验，提升团队研发效率；
4、负责爬虫集群容器化部署、资源调度与运维，优化集群稳定性和资源利用率；
5、沉淀电商反爬方案、非侵入式APP采集技术，统一开发规范，助力团队技术迭代。
1、负责主流电商平台网页及APP数据采集，攻克JS加密、动态渲染、高频反爬、接口限流等技术难题，保障商品、价格、销量、评论等核心数据实时、准确、完整；
2、主导分布式电商爬虫、APP自动化采集系统架构设计与落地，优化高并发采集能力，保障海量数据采集稳定高效；
3、基于DevOps实现爬虫采集工具化、自动化、平台化，完成任务调度、异常监控、数据校验，提升团队研发效率；
4、负责爬虫集群容器化部署、资源调度与运维，优化集群稳定性和资源利用率；
5、沉淀电商反爬方案、非侵入式APP采集技术，统一开发规范，助力团队技术迭代。
【任职要求】
1、本科及以上计算机相关专业，扎实掌握网络编程、多线程、数据结构与算法等基础知识；
2、3年以上Linux开发、大规模爬虫开发经验，熟练使用Python/Java/C/C++任一语言；
3、熟悉浏览器原理、JS/AJAX，精通电商JS混淆、动态参数、设备指纹等反爬破解方案；
4、掌握非逆向、非侵入式APP采集技术，可稳定合规完成电商APP数据采集；
5、熟悉K8s/Swarm容器编排，具备分布式爬虫集群部署、运维、排障能力；
6、熟练使用Python/JS脚本，掌握MySQL/MongoDB/HBase任一数据库，懂海量数据存储优化；
1、本科及以上计算机相关专业，扎实掌握网络编程、多线程、数据结构与算法等基础知识；
2、3年以上Linux开发、大规模爬虫开发经验，熟练使用Python/Java/C/C++任一语言；
3、熟悉浏览器原理、JS/AJAX，精通电商JS混淆、动态参数、设备指纹等反爬破解方案；
4、掌握非逆向、非侵入式APP采集技术，可稳定合规完成电商APP数据采集；
5、熟悉K8s/Swarm容器编排，具备分布式爬虫集群部署、运维、排障能力；
6、熟练使用Python/JS脚本，掌握MySQL/MongoDB/HBase任一数据库，懂海量数据存储优化；
工作地点
海珠区广州探迹科技有限公司17楼
公司信息
公司介绍
探迹科技，是专注于数字生产力的大模型智能体平台，以人工智能和大数据助力全球企业成长。 基于“太擎”企业级的大模型智能体开发平台和“旷广湖”数据云底座，探迹科技构建了涵盖 B2B 与B2C核心场景的 AI Agent 和 AI SaaS。探迹 Al Agent 涵盖多种可自主执行复杂任务的“数字员工”，在B2B领域推出了销售、营销、触达、分析等智能体，在B2C领域推出了客服、营销、运营、私域等智能体，并把自研的 AIOS 和加速处理框架 AI Core 延伸至智能体硬件终端。探迹 AI SaaS 同样覆盖 B2B 与 B2C 业务的多种需求。探迹 B2B SaaS 实现从线索挖掘、商机触达、客户管理到成单分析的全流程智能销售闭环；B2CSaaS 整合了智能客服、SCRM、抖店外呼与商城等工具，显著提升电商营销转化效率与私域运营能力。 探迹科技帮助全球企业构建大模型时代的核心竞争力，实现可持续的业务发展。我们始终坚持技术创新，先后荣获“专精特新”“高精尖”及“全球独角兽”等荣誉，服务客户超50000家，其中包括阿里巴巴、字节跳动、美孚石油、中国石化、DHL、格力电器等行业巨头。
工商信息
企业名称 广州探迹科技有限公司
企业类型 有限责任公司
法人代表 黎展
经营状态 存续
成立时间 2016-06-02
注册资本 223.81万元
认证资质
营业执照信息
