高级python爬虫工程师

岗位职责：
1、负责公司网络数据爬取和三方数据分析;
2、参与公司数据仓库的建设和数据分析平台的建设；
3、设计公司业务执行策略和防屏蔽规则，提升数据抓取执行的效率和质量, 并对策略持续优化；
4、承担部分数据开发的工作;
任职要求：
1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架；
2、熟悉Mysql，mongoDB， Redis，Clickhouse等数据库的使用和优化；
3、熟悉HTTP协议、网页渲染技术，能抓包分析数据;
4、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）;
5、熟悉应用IP代理池、Headers认证和Cookie等;
6、有分布式爬虫、反爬机制经验者优先;
7、熟悉js逆向，js破解优先考虑;
8、熟练使用sql或python进行数据开发，基于数据仓库做数据做统计分析，有BI工具使用经验优先;
9、有参与实时监控爬虫的进度和警报反馈系统的优先考虑;
10、有参与过相关3C商品与大型分布式爬虫项目的优先考虑;