资深爬虫开发工程师-国际化

岗位职责
1、负责分布式爬虫系统架构的设计和开发；
2、负责对采集数据进行清洗、去重、结构化处理；
3、负责对反爬机制的研究分析，提升采集数据的成功率；
4、负责对系统的性能监控和调优，确保系统的高可用性和稳定性；
任职资格
1、本科及以上学历，三年以上后端开发经验，能力突出者可放宽要求；
2、精通java和python，掌握异步编程、多线程/多进程同步等技术；
3、熟悉web，app抓取的技术原理，熟悉常用的爬虫框架和组件；
4、熟悉反爬技术，对设备指纹、验证码识别、js混淆等有一定的了解；
5、熟悉常用的数据库：Mysql、Redis、ES、Kafka等，有大数据开发经验优先；
加分项
1、有前端开发经验者优先；
2、有通用爬虫设计经验者优先；
3、有手机群控后端开发经验者优先；