职位描述
反爬虫爬虫开发分布式爬虫PythonSQLKafkaScrapyPyppeteerrequestsDataX云计算/大数据
岗位职责
1.负责分布式网络爬虫系统的设计与开发2.负责海量数据的爬取、清洗、解析、入库；
3.针对需要的数据，寻找网站或app内可用的接口
4.研究主流网站和app反爬机制，寻找应对方案；
5.不断的学习研究行业新技术，提升业务能力，并作团队分享
6.负责js、Android、IOS应用的逆向工作，能正向还原关键算法（* 高阶）
岗位要求
1.大专及以上学历，计算机相关专业；2.熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言；
3.熟练掌握http协议，xpath、csspath、正则表达式，有使用scrapy经验优先；
4.有redis、rabbitmq、kafka使用经验；
5.熟悉selenium或Puppeteerr，appium或airtest；
6.熟悉常用反爬手段及其对应方法、技巧；
7.有良好的责任心、沟通能力、学习能力、团队协作精神；
8.熟悉常用js防护手段及其对应的分析、调试技巧优先；
9.熟悉Android或IOS逆向技术优先；
登录查看完整内容
