爬虫工程师

岗位职责：
1、负责已有爬虫脚本的维护与性能优化
2、开发爬取任务调度平台，自动化列表到详情页的自动化爬取与字段抽取；
3、设计爬虫策略和防屏蔽规则，封IP，验证码等难点：
4、具备良好的团队合作能力，能够与数据分析，产品，运营等部门协同工作，完成部门及公司业务目标。
岗位要求：
1、熟练使用AI编程
2、具有实际爬虫开发经验，熟悉Linux操作，熟悉常见数据库的使用；
3、对反爬虫技术，验证码识别，自动登录等有一定经验；
4、使用过DnssionPage,playwnight等自动化工具：
5、能看懂前端代码，独立完成JS反混淆。
加分项：
1、开发过爬取自动化调度平台，字段抽取，识别功能
2、使用AI编程有自己开发的独立工具或项目(不限大小)需讲清逻辑；
3采集过法律类网址，超过数千个来源；
4、采集过裁判文书网，行政处罚，开庭公告