爬虫工程师

工作职责：1.负责Web网页数据及接口的抓取工作，包括动态网页、API接口以及小程序的数据抓取，确保数据抓取的准确性和时效性。2.开发并维护小程序接口抓取系统，优化抓取链路，提升数据获取效率和质量。3. 开发、维护现有爬虫系统，包括调度、抓取、维护、验证等爬虫工作。4. 对不同网站的防御机制和反爬虫策略进行深入研究，提炼关键技术点。5. 能够解决协议反爬、风控、人机识别等高级问题。6. 负责爬虫技术难点的攻克。7.撰写相关技术文档，确保代码和系统具有良好的可维护性。
岗位职责：
任职要求：1. 对Python和计算机网络有深入理解，能够熟练运用多线程技术，掌握主流爬中框架，具备小程序抓取相关经验；2. 精通JavaScript逆向工程、虚拟机、代码混淆、抽象语法树(AST)等技术，并有实际的JavaScript逆向和分析，能独立完成小程序包解析、反编译及接口逆向；3. 熟悉常见反爬机制，验证码识别，IP代理池应用lp池、headers认证和cookie等;4. 能够分析网络链路，并处理TLS/HTTP2等协议流量识别、IP识别问题；5. 了解基本的机器学习算法，可解决一些基础的图像验证码识别、人机对抗等问题；6. 熟悉Redis、MySQL、redis、git等常用中间件使用；