高级爬虫工程师

职位详情
1、根据产品需求，负责功能模块设计，编码及单元测试，按时保质保量完成任务；
2、系统开发基础资源框架的不断升级完善及组件积累；
3、系统日常维护，优化改进，确保已上线系统运行稳定可靠；
4、领导交办的其他工作。
任职要求:
1、实际爬虫工作3年以上，熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端，可读懂js/css/html等代码；
2、熟练使用Python语言，熟悉常用爬虫框架如Scrapy等。熟悉反爬虫技术及破解方法；
3、熟练使用selenium，lxml.bs4对xml，html的文本进行抓取解析清理；
4、熟悉MySql/PostgreSQL/MongoDB/Redis等常用数据库或缓存的一种。
5、湖南本地人或定居湖南优先。