400-885-9898
职位描述
Python爬虫开发ScrapyrequestsPyppeteer
岗位职责：
1. 设计、开发和维护高性能、高可用的网络爬虫系统，用于大规模数据采集；
2. 分析目标网站结构，制定合理的抓取策略，处理反爬机制（如验证码、IP封禁、动态渲染等）；
3. 对采集的数据进行清洗、去重、结构化处理，并确保数据质量与完整性；
4. 监控爬虫系统的运行状态，及时处理异常、优化性能与稳定性；
5. 负责京东/天猫/拼多多/抖音/快手等数据BI可视化工作，支持业务对数据的需求；
6. 与数据团队协作紧密协作，实现数据产品快速迭代。
岗位要求：
1. 熟练掌握 Python，熟悉常用爬虫框架（如 Scrapy、Requests、Selenium、Puppeteer、BeautifulSoup等）；
2. 熟悉常见反爬机制及应对策略（如账号/IP封禁、验证码、js混淆加密、数据混淆等）；
3. 熟悉 HTTP/HTTPS 协议、TCP/IP 网络基础，了解常见 Web 技术（HTML/CSS/JavaScript、AJAX、WebSocket 等）；
4. 掌握数据库操作（MySQL、Doris 等），具备数据存储与处理能力；
5. 具有良好的学习能力、分析和解决问题的能力和强烈的进取心；
6. 具备良好的沟通能力和团队合作精神。
工作地点
北京海淀区中关村软件园
相似职位
- 高级python爬虫工程师1.5-2.5万
北京 - 朝阳
位来小猎(宁波)信息技术有限公司 - 爬虫副主任1.2-1.7万
北京 - 海淀
北京盈科千信科技有限公司 - 爬虫工程师1-1.2万
北京 - 朝阳
道可特国际物流(北京)有限公司 - python爬虫开发工程师1-1.2万
北京 - 海淀
瞬联软件科技(北京)有限公司 - python爬虫工程师8000-14000元
北京 - 海淀
北京信达华方科技有限公司 - 爬虫开发工程师1-1.5万
北京 - 朝阳
北京互联新世纪科技有限公司
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 顺丰招聘
- 美团招聘
- 京东招聘
- 饿了么招聘
- 比亚迪招聘
- 中国一汽招聘
- 北京汽车招聘
- 蔚来招聘
- 东风汽车招聘
- 长城汽车招聘
- 奇瑞汽车招聘
- 理想汽车招聘
- 长鑫存储招聘
- 天江药业招聘
- 蓝月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 联想招聘
- 海康威视招聘
- 宁德时代招聘
- 中兴招聘
- 新松招聘
- 京东方招聘
- 申通招聘
- 圆通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麦当劳招聘
- 星巴克招聘
- 海底捞招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 腾讯招聘
- 百度招聘
- 快手招聘
- 字节跳动招聘
- 新华网招聘
- 小米招聘
- 招商银行招聘
- 中信银行招聘
- 北京银行招聘
- 兴业银行招聘
- 交通银行招聘
- 建发集团招聘
- 中国移动招聘
- 中国联通招聘
- 中国电信招聘
- 中粮集团招聘
- 国药控股招聘
- 中广核招聘
- 中国船舶招聘
- 强生中国招聘
- 汇丰中国招聘
- 宜家招聘
- 立邦中国招聘
- 伊利招聘
- 青岛啤酒招聘
- 京港地铁招聘
- 宝马招聘
- 小鹏汽车招聘
- 华为招聘
- 特斯拉招聘
- 吉利招聘
- 奔驰招聘
- 海尔招聘
- 美的招聘
- 京东方招聘
- 施耐德电气招聘
- 德邦物流招聘
职位发布者
董女士/招聘
刚刚活跃立即沟通
瞬联软件科技(北京)有限公司成立于2000年，瞬联为欧立腾集团（ALTEN Group）成员，提供专业的技术咨询、软件研发及行业级整体技术解决方案。瞬联在电信、嵌入式、IoT、汽车、移动互联网及企业软件方案等领域拥有超过20年的深厚研发经验。瞬联通过其优质的交付能力、灵活的合作模式和客户导向的理念赢得了许多世界500强企业客户，公司在大中华地区、美国、加拿大、欧洲的主要城市设有办公室和研发中心。近年来，瞬联16次被国际外包专业协会（IAOP）评为全球外包行业100强公司，同时也屡次得到Gartner、IDC和中国外包网等国内外机构的奖项和荣誉。瞬联拥有ISO27001，ISO9001，ISO14001和ISO45001认证以及CMMI3证书（含敏捷开发流程）。欧立腾集团作为欧洲技术咨询服务领导者，目前已在全球30个国家拥有近57,400名员工。欧立腾提供汽车，航空，信息技术，网络与通讯，半导体，金融服务，零售，医疗保健&生命科学及能源等领域技术工程咨询服务及解决方案。
公司主页