爬虫开发工程师

岗位职责
1. 负责相关各类网站及平台的数据采集方案设计与开发，搭建高效、稳定的爬虫系统，确保数据采集的准确性、完整性和时效性；
2. 针对目标平台的反爬机制（如JS加密、Token验证、验证码、IP封禁等），进行JS逆向分析与破解，优化爬虫策略，解决采集过程中的技术难题；
3. 重点负责相关平台的数据采集，深入理解电力行业数据结构与业务逻辑，保障行业数据的有效获取；
4. 开发新的爬虫项目，监控数据采集状态，及时处理异常情况（如网站结构变更、反爬升级等），确保系统稳定运行；
5. 配合项目需求，接受短期出差任务，可完成出差期间的现场工作安排。
任职要求
1. 本科及以上学历，计算机科学与技术、软件工程、电气等相关专业优先，1年以上爬虫开发经验；
2. 精通Python编程语言，熟练使用Scrapy、Requests、Feapder、Playwright等爬虫框架及工具；熟悉HTTP/HTTPS协议、TCP/IP协议，能熟练分析请求头、Cookie、Session等参数；
3. 熟练掌握JavaScript语言，能使用Chrome DevTools、Fiddler等工具分析网站请求流程，破解JS加密、参数签名、动态Token等反爬措施；有过复杂网站（如电商、金融、能源类平台）JS逆向经验者优先；
4. 熟悉常见的数据库（如MySQL、MongoDB）操作，能将采集的数据高效存储与管理；