更新于 3月3日

爬虫副主任

1.2-1.7万
  • 北京海淀区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

爬虫开发反爬虫分布式爬虫HadoopPySpiderScrapyDjango计算机软件互联网人工智能云计算/大数据
爬虫副主任
岗位职责
1、全面负责爬虫团队管理与技术规划,搭建高可用、高并发、可扩展的分布式爬虫体系,统筹多平台数据抓取、解析、清洗、入库全流程落地与优化。
2、主导爬虫核心技术攻关与架构升级,研究反爬对抗、验证码识别、IP 代理、请求指纹伪装等技术,持续提升爬取效率、稳定性与数据质量。
3、对接业务需求,深度理解数据应用场景,牵头设计数据采集方案与数据价值挖掘策略,保障数据合理性、完整性、时效性,支撑业务决策。
4、负责团队任务分配、进度管控、质量验收与人才培养,规范爬虫开发、运维、迭代流程,建立技术标准与风险防控机制。
5、跟踪前沿爬虫技术与合规边界,推动技术方案迭代与成本优化,解决复杂业务与技术瓶颈,保障数据采集工作合法、稳定、高效运行。
任职要求
1、统招本科及以上学历,计算机相关专业,3 年及以上爬虫开发经验 + 1 年及以上爬虫团队管理经验,有大型分布式爬虫项目主导经验者优先。
2、精通 Python 开发,具备扎实的编程与系统设计能力,熟练掌握 Scrapy、pyspider 等主流爬虫框架,有自研爬虫或二次开发经验。
3、深入理解爬虫原理与反爬机制,能独立解决 IP 封禁、账号风控、动态渲染、JS 加密、验证码识别等复杂爬取问题。
4、熟练掌握 requests、xpath、BeautifulSoup、正则等数据提取技术,熟悉 MySQL、MongoDB、Redis 等存储中间件,了解 Hadoop、HBase 等大数据技术栈。
5、熟悉 Django/Flask 等 Web 框架,具备接口开发与数据服务对接能力。
6、具备优秀的业务理解、需求拆解与技术方案落地能力,责任心强,抗压性好,具备良好的团队管理、沟通协调与问题推动能力。
7、具备数据安全与合规意识,严谨细致,有技术钻研精神与跨部门协作经验。

工作地点

北京海淀区九龙商务中心A座

职位发布者

王女士/人事经理

昨日活跃
立即沟通
公司Logo北京盈科千信科技有限公司
IT领域高新企业高教行业高端用户五险一金带薪年假提供住宿出国旅游福利优厚公司简介北京盈科千信科技有限公司是集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务提供商。具有多项软件著作权、商标、以及国家新技术新产品的中关村高新和国家高新技术企业。公司致力于为政府、科研院所、医院、企业等机构提供个性化的知识资源定制以及专业化的信息咨询服务。顶级的科技内容,专属的个性配置,高端的设计和信息处理方案,为客户知识规划、知识管理与增值利用等提供了强有力的支持。二、招聘岗位及应聘条件本单位为学术性机构,产品结构为知识型产品,面向用户为机构用户,不面向独立个人用户。面向群体为高端知识性人员,所以需要人员素质较高,具备较强的学习能力。该岗位为员工提供广泛的学习空间和升职空间,欢迎有志尝试新挑战的精英加入我们的团队!北京盈科千信科技有限公司招聘公告IT领域高新企业高教行业高端用户五险一金带薪年假提供住宿出国旅游福利优厚公司简介北京盈科千信科技有限公司是集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务提供商。具有多项软件著作权、商标、以及国家新技术新产品的中关村高新和国家高新技术企业。公司致力于为政府、科研院所、医院、企业等机构提供个性化的知识资源定制以及专业化的信息咨询服务。顶级的科技内容,专属的个性配置,高端的设计和信息处理方案,为客户知识规划、知识管理与增值利用等提供了强有力的支持。
公司主页