更新于今天

爬虫开发工程师

1-1.5万

广州天河区
元岗
1-3年
本科
全职
招1人

PythonScrapyrequests

【岗位职责】
设计并实现高效、稳定、可扩展的爬虫系统，确保数据的实时性与完整性
深入研究各类反爬机制，开发绕过验证码、限流、IP 封禁等策略，提升爬虫成功率
实现代理池、动态 UA、Cookies 管理、Session 维持等反爬解决方案
提升爬虫性能，优化爬取速度、数据存储结构及请求并发模型
与数据分析、产品团队合作，理解数据需求并提供高质量数据支持
【入职要求】
不限学历和专业
熟练使用 Python 技术栈： Scrapy、Playwright、Selenium、Httpx、Requests 等爬虫框架与库
熟悉反爬策略，包括但不限于代理池、IP 轮换、验证码识别、动态加载页面解析、JavaScript渲染页面抓取等
有丰富的绕过网页限制经验，掌握如浏览器指纹、Cookies 仿真、Session 维持、前端加密破解等技术
熟悉异步编程、多进程、分布式爬虫架构，具备大规模数据爬取与存储经验

广州天河区兆联元岗创意产业园c栋

公司介绍

日通技研（杭州）科技有限公司位于杭州市钱塘区，聚焦人工智能、物联网及工业智能化领域，致力于为制造业、农业和教育行业提供技术开发与数字化转型解决方案。公司依托自主研发能力，核心业务涵盖软件开发、智能机器人研发、数据处理服务及物联网技术应用，已构建覆盖硬件生产、系统集成到技术服务的一体化支持体系。作为新兴科技服务商，公司深度布局智慧农业与智能制造赛道，在农业机械智能化、教育仪器设备升级等领域形成特色技术方案。团队具备跨行业技术融合能力，通过开放协同模式推动人工智能与产业场景结合，持续探索工业互联网与智能终端设备的创新应用，助力合作伙伴提升生产效能与可持续发展能力。