爬虫工程师

职位描述
根据项目需求，设计并实现高效的爬虫程序，从指定网站或平台采集结构化与非结构化数据，确保数据抓取的准确性与完整性。
处理爬虫过程中的反爬机制，如IP封禁、验证码、UA验证等，优化爬虫策略以提升抓取效率，保障项目按期交付。
对抓取到的原始数据进行清洗、去重、格式转换等预处理工作，输出符合客户要求的标准化数据。
维护已上线的爬虫程序，监控爬虫运行状态，及时排查并解决程序报错、数据中断等问题，确保爬虫稳定运行。
与负责人同步项目进度、数据质量等关键信息，根据反馈调整采集方案，满足个性化数据需求。
职位要求
学历与专业：本科及以上学历，计算机、软件工程等相关专业优先，具备2年及以上爬虫相关工作经验。
技术技能：熟练掌握Python编程语言，精通requests、Scrapy、BeautifulSoup、PyQuery等爬虫框架与工具；熟悉HTTP/HTTPS协议，能分析网页结构（HTML/CSS/JavaScript），具备处理动态渲染页面（如Selenium、Playwright）的能力。
反爬能力：熟悉常见反爬封禁策略，并具备相关的实战经验。
职业素养：具备较强的需求理解能力与问题解决能力，能快速适配不同项目需求；有良好的沟通能力与责任心，严格遵守客户数据安全规范，保护抓取数据的安全性与保密性。
加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。