岗位职责：
1. 熟悉搜索引擎和网络爬虫相关技术,有爬虫系统开发经验；
2. 熟练掌握网页抓取原理及技术，熟悉网页解析过程，具备数据的过滤、清洗、去重、结构化导入经验；
3. 熟悉分布式爬虫应用和调度策略，掌握各类网站的反爬机制和验证码机制；
4. 熟悉TCP/IP协议及HTTP协议,了解基本的前端技术，HTML、CSS、JS、Ajax等；
5. 熟练使用mysql，mongodb等数据库，熟悉mysql的各种存储引擎，熟悉索引工作原理。
任职要求：
1. 大学本科及以上学历，计算机相关专业，基础扎实；
2. 具有Python开发工作经验，熟悉Python常用函数库和包；
3. 熟练掌握python，熟悉常用爬虫框架中的一种或多种，熟悉Scrapy、Pyspider框架中的至少一种；
4. 熟悉MySql、Redis、MongoDB等数据库，对SQL优化有一定的经验；
5.熟悉网页抓取原理及技术，熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；
6.具有优秀的团队合作和沟通协作能力，善于学习，能承受较大的工作压力。