更新于 2月25日

数据采集员

1.3-2.5万
  • 北京朝阳区
  • 3-5年
  • 大专
  • 全职
  • 招1人

职位描述

Python数据采集爬虫开发反爬虫分布式爬虫
【工作要求】
1、精通Python编程语言,1年以上实际的爬虫项目经验;
2、熟练掌握FastAPI、Flask等轻量级Web框架,有丰富的
分布式爬虫经验;
3、熟悉HTTP协议,熟练掌握Chrome开发者工具
Charles、Fiddler等工具进行抓包分析:
4、熟悉MySQL、MongoDB、Redis等数据库,能够熟练编写SQL语句;
5、能够独立解决各类网站的反爬措施,如JS混淆、JS加密、验证码等;
6、熟悉常见的Web反爬策略,能解决IP封禁、账号封禁参数加密、字体反爬、验证码等问题;
7、了解常见的反爬虫机制,如User-Agent检测、Cookie检测、访问频率限制等,并能够采取相应的应对措施;8、有爬虫自动化工具开发经验,如使用Selenium.
DrissionPage等工具进行爬虫自动化;
【岗位优势】
1、100 % AI 业务场景:公司全部产品都服务于生成式 AI与多模态大模型生态,实时跟进 Sora-2、、Veo 3.1、
Nano Banana Pro、Grok 等最新模型;
2、实战级技术栈与算力:加入后有机会参与分布式爬虫集群、向量数据库、GPU/TPU 推理管线的搭建与调优,接触大模型在线部署到生产的完整流程;
3、业务发展快速:公司随着AI浪潮业务快速发展,上升趋势明显;
任职要求:
1. 1年以上工作采集工作经验;
2.具备出色的沟通能力,能够高效地与团队成员协作
3. 能够在规定时间内完成上级交付的任务
4. 具有良好的团队合作精神,能够迅速适应团队环境

工作地点

北京朝阳区望京SOHO-T2座B-1208

职位发布者

高瑞雪/人事经理

刚刚活跃
立即沟通
公司Logo北京欧特欧国际咨询有限公司
北京欧特欧国际咨询有限公司(简称欧特欧咨询)专注于线上零售商品数据的监测与研究,依托长期积累的零售研究经验,结合最新的大数据采集处理技术、大数据分析和云计算技术,实现了对全网主流网络零售平台的全面覆盖,监测采集数据达到网络零售交易规模的90%以上,涵盖所有主流的B2C和C2C网站,监测的URL数量达到了十亿级,监测的品牌数据达到了16万个,是国内率先实现网络零售全平台全品类监测的权威机构。公司获国家统计局颁发的《涉外调查许可证》,产品得到了商务部电子商务和信息化司审核通过并采购使用。欧特欧咨询的大数据产品深入各行业线上零售数据,产品覆盖服装服饰、家用电器、电脑数码、日用及化妆、食品等行业,积累了丰富的数据和研究成果。已与各地政府及不同行业的众多品牌企业建立数据服务,为各级政府和不同行业的客户提供大数据应用及专业咨询服务。
公司主页