爬虫工程师

【岗位职责】
1. 负责公司爬虫项目的需求分析、设计、开发和维护；
2. 根据业务需求，设计并实现高效、稳定的爬虫程序；
3. 负责爬虫数据的清洗、存储和挖掘；
4. 参与爬虫技术的研究与优化，提升爬虫性能。
【职位要求】
1. 学历要求：本科及以上学历，计算机相关专业；
2. 工作经验：3年以上爬虫开发经验，有大型爬虫项目经验者优先；
3. 技能要求：
- 熟悉Python、Java等至少一种编程语言，有良好的编程基础；
- 熟悉HTML、CSS、JavaScript等前端技术，了解网络协议；
- 熟悉至少一种爬虫框架（如Scrapy、BeautifulSoup等）；
- 熟悉常见的风控策略和JS加密，可以快速开发网站数据采集；
- 熟悉数据库操作，如MySQL、MongoDB等；
- 了解分布式爬虫技术，如Scrapy-Redis等；
- 对数据采集、数据融合、数据质量、数据应用链路有深入理解，并能协助业务数据集市建设，搭建业务领域模型；