爬虫工程师

岗位职责：
1、设计和实现高效可靠的网络爬取系统，包括应用程序逆向工程方面的需求；
2、进行爬虫数据的处理、分析和清洗；
3、负责爬虫性能的维护和调优，确保系统的稳定性和高效性；
4、进行应用程序逆向工程，包括分析和解密应用程序的代码和数据结构，以获取相关信息。
岗位要求：
1、熟练掌握至少一种编程语言，如Python、Java、C++等；
2、精通网页抓取原理以及技术(re、xpath等)，熟悉爬虫框架(如Scrapy、BeautifulSoup等)，能够根据需要开发自定义爬虫；
3、熟悉主流数据库(MySQL、Redis等)，具备数据清洗和处理经验；
4、熟练使用主流抓包工具，如Wireshark、Fiddler等，具备app抓包、分析能力；
5、具备JS逆向能力（AES、RSA、极验、JSL等）和应用程序逆向工程方面的知识和经验；
6、熟悉Linux操作系统；
7、具备大规模分布式爬虫架构设计和爬虫监控经验；
8、具备优秀的问题解决能力和团队合作精神，沟通能力，能够快速适应不同的任务和项目需求；
9、有优秀的案例经验优先考虑，深入了解逆向工程原理，包括应用程序逆向工程方面的知识和经验；
10、有大模型相关的AI应用经验优先考虑。