数据挖掘与处理工程师

岗位要求：
-负责全球公开新闻资讯站点、论坛、社交等公开数据的智能化采集与获取，应对大规模文本、图像、视频数据的采集、抽取，去重、分类，垃圾过滤，质量识别、解析入库等工作；
-负责各种开源网络数据的基本挖掘分析，参与数据服务产品研发；
-负责爬虫技术与反爬技术研究，快速响应业务需求；
-优秀的技术文档意识和维护能力；
任职要求：
-具有3年以上实际网络爬虫或分布式数据采集开发工作经验；
-精通熟悉爬虫原理及优化技术，熟悉主流爬虫框架使用；熟悉常见的反爬机制及应对策略，包括但不限于使用代理IP，验证码智能识别，动态JS数据解析等；
-熟悉各类应用网络协议知识，基本网络协议分析，熟悉基于Phantomjs、Headless、Selenium等无界面浏览器自动化交互采集技术；
-对数据结构和算法设计有较为深刻的理解；
-具有较强的编程能力，具备良好的编程习惯，能够编写高质量技术文档。