爬虫开发工程师

工作职责
1. 负责搭建高可用、高性能的分布式爬虫系统，实现对目标网站的高效数据采集。
2. 针对不同网站的反爬机制（如验证码、IP封锁、动态渲染等），设计并落地有效的突破方案。
3. 对采集数据进行清洗、去重与结构化处理，确保数据质量满足业务分析需求。
4. 监控爬虫系统运行状态，优化爬虫策略以提升数据采集效率与稳定性。
5. 与业务团队协作，理解数据需求并输出符合要求的结构化数据成果。