python高级爬虫工程师

非外包，自研产品项目！！
核心职责
1.体系化建设：主导分布式爬虫系统的架构设计、开发与落地，构建高可用、可扩展的抓取体系，保障系统稳定性达99.9%以上。
2. 策略迭代与优化：结合业务场景制定动态抓取策略，优化调度算法与解析规则，实现数据采集效率提升30%以上，确保数据全面性与准确性。
3. 反爬攻坚与风控：深入研究前沿反爬技术（如JS逆向、行为验证等），建立多维度反爬策略库，解决封IP、验证码、动态渲染等核心难点，降低账号风险率。
4.数据全流程管理：设计数据清洗、脱敏、结构化存储方案，对接Kafka、MongoDB、Hadoop等数据组件，构建从抓取到落地的全链路监控体系，实现数据质量可追溯。
5.技术创新与沉淀：跟踪爬虫领域新技术趋势，推动技术创新（如AI辅助解析、智能调度等），沉淀可复用的抓取工具与解决方案，提升团队技术能力。
任职要求
硬性背景
1.本科及以上学历，3年以上爬虫工作经验，计算机科学与技术、软件工程、数据科学等相关专业，专业基础扎实，具备3-5年数据抓取领域实战经验。
2.熟悉《网络安全法》《数据安全法》等法律法规，具备合规数据采集方案设计能力，能确保数据抓取全流程合规可控。
3.熟练掌握Python编程，深入理解Scrapy/Feapder/Crawley等至少一种爬虫框架；精通MySQL、MongoDB、Redis等存储技术，熟悉Kafka消息队列及分布式系统原理。
4.精通Fiddler/Charles/Reqable等抓包工具，熟练运用正则表达式、XPath、CSS Selector解析数据；具备扎实的JS逆向、AST混淆分析能力，能独立攻克滑块、点选等验证码。
核心能力
1.架构与开发能力：具备大型爬虫系统架构设计经验，熟悉多线程、多进程、异步IO等并发模型，能独立完成爬虫系统开发、部署与运维，有性能调优及容灾方案落地案例。
2.反爬与攻坚能力：对反爬技术有深入研究，具备敏锐的技术洞察力和问题拆解能力，能快速定位并攻克数据抓取过程中的各类技术难点，保障采集工作顺利推进。
3.数据合规与管控能力：具备较强的数据合规意识，能结合法律法规设计合规的数据采集、处理方案，构建数据全流程质量管控体系，确保数据安全与质量。
4.沟通与协作能力：逻辑思维清晰，具备优秀的问题解决能力，对技术难题有强烈攻坚欲；具备良好的跨部门沟通协作能力，能高效配合研发、数据等团队推动业务需求落地。
（三）优先条件
1.具备AI辅助数据解析、智能爬虫调度等相关技术应用经验，有技术创新落地案例者优先。招投标 / 法规相关业务经验者优先。
2.有大规模分布式爬虫系统性能调优、容灾备份相关经验，能应对高并发数据采集需求者优先