爬虫副主任

爬虫副主任
岗位职责
1、全面负责爬虫团队管理与技术规划，搭建高可用、高并发、可扩展的分布式爬虫体系，统筹多平台数据抓取、解析、清洗、入库全流程落地与优化。
2、主导爬虫核心技术攻关与架构升级，研究反爬对抗、验证码识别、IP 代理、请求指纹伪装等技术，持续提升爬取效率、稳定性与数据质量。
3、对接业务需求，深度理解数据应用场景，牵头设计数据采集方案与数据价值挖掘策略，保障数据合理性、完整性、时效性，支撑业务决策。
4、负责团队任务分配、进度管控、质量验收与人才培养，规范爬虫开发、运维、迭代流程，建立技术标准与风险防控机制。
5、跟踪前沿爬虫技术与合规边界，推动技术方案迭代与成本优化，解决复杂业务与技术瓶颈，保障数据采集工作合法、稳定、高效运行。
任职要求
1、统招本科及以上学历，计算机相关专业，3 年及以上爬虫开发经验 + 1 年及以上爬虫团队管理经验，有大型分布式爬虫项目主导经验者优先。
2、精通 Python 开发，具备扎实的编程与系统设计能力，熟练掌握 Scrapy、pyspider 等主流爬虫框架，有自研爬虫或二次开发经验。
3、深入理解爬虫原理与反爬机制，能独立解决 IP 封禁、账号风控、动态渲染、JS 加密、验证码识别等复杂爬取问题。
4、熟练掌握 requests、xpath、BeautifulSoup、正则等数据提取技术，熟悉 MySQL、MongoDB、Redis 等存储中间件，了解 Hadoop、HBase 等大数据技术栈。
5、熟悉 Django/Flask 等 Web 框架，具备接口开发与数据服务对接能力。
6、具备优秀的业务理解、需求拆解与技术方案落地能力，责任心强，抗压性好，具备良好的团队管理、沟通协调与问题推动能力。
7、具备数据安全与合规意识，严谨细致，有技术钻研精神与跨部门协作经验。