数据采集

1.爬虫相关要求必须满足：
（1）使用代理IP池解决IP限制问题；
（2）处理动态渲染数据(模拟用户点击，接口分析，js调用等)，动态效率优化；
（3）同步爬取 vs 异步爬取；
（4）控制爬虫频率和重试；
（5)了解Scrapy框架，能自主封装基于多线程，商品链接收集到商品详情采集的代码；
(6)其中Scrapy框架必须十分熟悉，且必须对cloudflare（五秒盾）反爬虫的解决思路十分熟悉；
（7）推荐反爬网站。必须能解决：https://www.buffalo-boots.com/en-int/ 五秒盾反爬；
（8）必须会pandas等工具对csv文件数据进行清洗和整理。
2.次要要求，对js和css有一定的了解；
（1）熟悉css样式布局，以及了结简单js代码的编写。
3.对次次要求，有shopyy装扮和相关行业从事的经验。