爬虫工程师

1．参与爬虫项目需求分析，设计高效、稳定的爬虫架构（含分布式爬虫方案）； 2．开发、调试各类网站 / APP / 接口爬虫，熟练处理 HTML、JSON、XML 等数据格式，通过 JS 逆向、APP 逆向解析加密参数与请求逻辑，解决复杂反爬机制（如动态加密、签名验证、验证码、IP 封锁等）；

3．负责数据抓取、解析、清洗、去重、存储全流程实现，保障数据准确性与时效性；

4．维护现有爬虫系统，监控运行状态，优化爬取效率、稳定性与资源占用（如并发控制、断点续爬、异常重试）；

5．调研新型爬虫技术、逆向工程方法与反爬应对方案，引入行业最佳实践，提升团队技术能力；

6．配合数据分析师、产品经理完成数据需求交付，解决数据获取过程中的突发技术问题（含逆向相关故障排查）。

任职要求 ：

1.大专及以上学历，计算机、软件工程、数据科学等相关专业优先，

2.1-3 年爬虫开发经验（优秀应届生需具备逆向相关实践经历）；

3.精通 Python 语言，熟练使用爬虫框架与工具；

4.熟悉 HTTP/HTTPS 协议、RESTful API，掌握 cookie、session、token 认证机制，能独立分析接口请求逻辑与加密流程；

5.具备扎实的逆向工程能力：熟练掌握 JS 逆向（如混淆代码还原、加密函数破解）、APP 抓包与逆向（Fiddler/Charles 抓包、Smali 代码分析）、常见加密算法破解（AES、RSA、MD5 签名等）；

6.具备反爬策略实战经验，如 IP 池构建、UA 池轮换、验证码识别（OCR）、滑动验证破解、动态页面（JS 渲染）爬取等； 熟悉至少一种数据库（MySQL、MongoDB、Redis 等），能熟练进行数据存储、查询与优化；

了解分布式爬虫架构设计，具备高并发、大规模数据爬取场景的处理能力者优先；

7.具备良好的代码规范、问题排查能力，能独立解决爬虫与逆向开发中的各类技术难点；

8.责任心强、沟通协作顺畅，有较强的学习能力和抗压能力，能适应业务快速迭代。

加分项

有过电商、资讯、短视频、企业信息等垂直领域爬虫 + 逆向结合的项目经验；

熟悉 Docker、K8s 容器化部署，具备爬虫自动化部署与监控经验；

掌握安卓 /iOS 逆向工程实战经验，能独立分析 APP 加密协议、使用 Frida/Xposed 等工具 hook 调试；

具备数据清洗、数据可视化相关经验，熟悉 Pandas、Matplotlib 等库； 有过复杂加密场景（如多层签名、设备指纹验证）的逆向突破案例。