职位描述
Python数据挖掘数据采集爬虫开发反爬虫分布式爬虫产业互联网平台云计算
工作内容：
1、参与爬虫系统的架构设计与开发, 构建高效稳定的爬虫系统
2、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量
4、能独立解决实际开发过程中碰到的各类问题
岗位要求：
1、 本科及以上学历，2-3年上爬虫开发经验，有快速迭代、逐步优化的工程项目经验
2、 熟练使用Pyhton，熟悉常用数据结构、算法，熟练使用常用库，熟练使用常用的爬虫框架，了解反爬套路及破解方法
3、 熟悉web前端，对cookie管理、登录等流程有深入理解，熟悉js、css、html等，熟练使用selenium、phantomjs等工具，有调优经验者更佳
4、 有多线程、网络数据处理经验优先（如HTTP协议，AJAX，爬虫开发，浏览器内核开发，Web服务开发等）
5、 熟练使用fiddler,charles等抓包软件
6、有分布式、高并发、数据分析等项目经验者优先；
