python爬虫工程师

岗位职责：
1、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作；
2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；
3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作；
4、负责公司爬虫的技术调研以及策略优化。
任职要求：
1、本科以上学历，1年python爬虫、数据清洗相关经验;
2、熟练使用scrapy框架,对其内部运行机制有深刻理解;
3、熟练使用selenium、Splash等一种或多种自动化工具;
4、熟练使用python多进程、多线程;
5、熟悉MYSQL、MongoDB、Redis、Es等数据库的使用;
6、熟悉Fiddler等一种或多种抓包工具;
7、熟练使用正则、xpath等数据解析库;
8、熟悉常见的反爬技术（验证码破解、IP代理、JS解密,app逆向、指纹）;
（以下加分项）
9、有Hadoop生态相关应用经验者优先录用;
10、使用或开发过爬虫监控系统者优先录用;
11、对前后端有一定经验者优先录用。