400-885-9898
职位描述
数据爬虫PythonScrapyrequests数据抽取分布式爬虫影刀
1.设计并开发高性能分布式爬虫架构，支持Web网站数据抓取。
2.建立完整的数据采集、解析、存储及监控流程，确保数据实时性、完整性与准确性。
3.突破复杂反爬机制（如IP封禁、验证码、JS混淆、加密算法、动态渲染），配合反爬策略系统化设计。
4.对数据进行清洗、去重、结构化数据，对接大数据存储。
5.实时监控爬虫运行状态，构建警报反馈机制，快速响应网站策略变更。
6.探索AI辅助爬虫技术（如自动化解析、OCR识别），推动团队技术升级。
7.协同数据工程师优化数据处理流程，支持业务端数据需求。
任职资格
1.设计并开发高性能分布式爬虫架构，支持Web网站数据抓取。
2.建立完整的数据采集、解析、存储及监控流程，确保数据实时性、完整性与准确性。
3.突破复杂反爬机制（如IP封禁、验证码、JS混淆、加密算法、动态渲染），配合反爬策略系统化设计。
4.对数据进行清洗、去重、结构化数据，对接大数据存储。
5.实时监控爬虫运行状态，构建警报反馈机制，快速响应网站策略变更。
6.探索AI辅助爬虫技术（如自动化解析、OCR识别），推动团队技术升级。
7.协同数据工程师优化数据处理流程，支持业务端数据需求。
2.建立完整的数据采集、解析、存储及监控流程，确保数据实时性、完整性与准确性。
3.突破复杂反爬机制（如IP封禁、验证码、JS混淆、加密算法、动态渲染），配合反爬策略系统化设计。
4.对数据进行清洗、去重、结构化数据，对接大数据存储。
5.实时监控爬虫运行状态，构建警报反馈机制，快速响应网站策略变更。
6.探索AI辅助爬虫技术（如自动化解析、OCR识别），推动团队技术升级。
7.协同数据工程师优化数据处理流程，支持业务端数据需求。
任职资格
1.设计并开发高性能分布式爬虫架构，支持Web网站数据抓取。
2.建立完整的数据采集、解析、存储及监控流程，确保数据实时性、完整性与准确性。
3.突破复杂反爬机制（如IP封禁、验证码、JS混淆、加密算法、动态渲染），配合反爬策略系统化设计。
4.对数据进行清洗、去重、结构化数据，对接大数据存储。
5.实时监控爬虫运行状态，构建警报反馈机制，快速响应网站策略变更。
6.探索AI辅助爬虫技术（如自动化解析、OCR识别），推动团队技术升级。
7.协同数据工程师优化数据处理流程，支持业务端数据需求。
查看全部
工作地点
杨浦区上海毕得医药科技股份有限公司
相似职位
- 数据采集5000-7000元
上海 - 徐汇
南京予芯科技有限公司 - 大专急急急~信息采集(五险一金)面试就过5000-6000元
上海 - 黄浦
软通动力信息技术(集团)股份有限公司 - 具身智能数据采集员4000-8000元
上海 - 杨浦
深圳南区人瑞人力资源服务有限公司 - 数据采集员7000-8000元
上海 - 徐汇
播线(上海)科技有限公司 - 租车比价数据采集员（哈啰出行）6000-8000元
上海 - 闵行
上海外服(集团)有限公司浙江分公司 - 兼职数据采集(Y12947)180元/天
上海 - 长宁
上海煦橙网络科技有限公司
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 顺丰招聘
- 美团招聘
- 京东招聘
- 饿了么招聘
- 比亚迪招聘
- 中国一汽招聘
- 北京汽车招聘
- 蔚来招聘
- 东风汽车招聘
- 长城汽车招聘
- 奇瑞汽车招聘
- 理想汽车招聘
- 长鑫存储招聘
- 天江药业招聘
- 蓝月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 联想招聘
- 海康威视招聘
- 宁德时代招聘
- 中兴招聘
- 新松招聘
- 京东方招聘
- 申通招聘
- 圆通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麦当劳招聘
- 星巴克招聘
- 海底捞招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 腾讯招聘
- 百度招聘
- 快手招聘
- 字节跳动招聘
- 新华网招聘
- 小米招聘
- 招商银行招聘
- 中信银行招聘
- 北京银行招聘
- 兴业银行招聘
- 交通银行招聘
- 建发集团招聘
- 中国移动招聘
- 中国联通招聘
- 中国电信招聘
- 中粮集团招聘
- 国药控股招聘
- 中广核招聘
- 中国船舶招聘
- 强生中国招聘
- 汇丰中国招聘
- 宜家招聘
- 立邦中国招聘
- 伊利招聘
- 青岛啤酒招聘
- 京港地铁招聘
- 宝马招聘
- 小鹏汽车招聘
- 华为招聘
- 特斯拉招聘
- 吉利招聘
- 奔驰招聘
- 海尔招聘
- 美的招聘
- 京东方招聘
- 施耐德电气招聘
- 德邦物流招聘
职位发布者
马女士/HRBP
刚刚活跃立即沟通
上海毕得医药科技股份有限公司上海毕得医药科技股份有限公司（公司简称：毕得医药，股票代码：688073）自2007年创立以来，始终专注于医药中间体、化学试剂及活性小分子化合物（抑制剂及激活剂）的研发、生产、销售及合成定制。目前，公司汇聚了超过1000名优秀人才，作为业内翘楚的上市高新技术企业，我们以科技为引擎，为全球客户奉献品质卓越的产品与服务。我们的产品丰富多样，涵盖各类医药中间体、化学试剂及活性小分子化合物，广泛应用于医药研发、生命科学及新材料等领域。毕得研发中心分析实验室配备各种等量级实验反应仪器，拥有完备齐全的尖端检测分析设备。研发团队汇聚了200+高学历、经验丰富的专业人士，专注市场需求研发创新，深受客户信赖与好评。毕得医药已在美国、欧洲、印度等全球新药研发高地设立了区域中心，紧跟全球医药前沿研发方向，能够快速响应全球客户对药物分子砌块和科学试剂的多样化需求，更为员工提供了丰富的跨国工作机会。在毕得医药，企业文化是凝聚人心的力量之源。我们倡导创新、协作、责任和卓越的企业精神，致力于通过产品和研发创新，为全球医药和科研事业贡献智慧与力量。加入毕得：从加入毕得的第一天起，你就会开启一段激动人心的旅程。我们各种富有挑战性的工作岗位，以及丰富的个人发展支持： 1.完善的培训体系和职业晋升通道 2.广阔的个人成长空间和持续的职业发展支持 3.丰厚的福利待遇：竞争力的薪酬体系多样化的奖励机制完善的社保福利丰富的员工活动落户支持如果你有梦想、有才华、有追求，毕得医药诚挚邀请你加入我们的行列，与我们携手共创更加辉煌的未来！公司网址： https://www.bidepharmatech.com/ https://bldpharm.com/
公司主页