更新于 3月1日

资深海外数据采集工程师

1.2-2万
  • 南京江宁区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

PythonSQLScrapyPySpiderPhantomJSDjangoFlaskHadoopElasticsearch互联网贸易/进出口
岗位职责:
1.需求调研:与业务部门进行沟通,基于业务场景的数据需求及业务逻辑进行数据链路逻辑规划;
2.数据策略:负责数据策略网络爬虫及优化爬虫策略,进行国内外平台信息的抓取和分析。
3.数据采集:完成数据采集与爬取、解析处理、入库等数据日常工作。
4.数据分析:积极主动思考探索爬虫在实际业务中的价值,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议。
5.技术实现:技术把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性。设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量。
6.负责线上线下业务数据的提取、数据分析、报告输出、报表开发工作
7.与业务团队有效并高效沟通,能够站在数据分析及业务运营角度,引导并帮助业务团队拆解并定位问题,明确需求,通过对数据分析需求的准确理解及把握,为业务提供数据决策和策略支持。
任职要求:
1、本科以上学历,2年以上爬虫项目经验,具备良好的计算机专业知识,熟悉python等语言,有较强的数据处理能力,精通SQL,同时具备良好沟通能力和文档撰写能力;
2、熟悉爬虫原理,熟悉Scrapy、pyspider等主流爬虫框架框架,能够解决封账号、封IP、验证码、网页限制爬取等问题,且有实际经验。
3、熟悉Selenium、PhantomJS 、WebDriver等技术的应用。
4、熟悉Django、flask等web框架的使用,熟悉Hadoop、ElasticSearch等技术。
5、业务理解和分析转化能力较强,富有进取精神及团队合作精神,责任心强,善于合作沟通,能够承受压力。
6、有国外LinkedIn等社媒平台、海关数据的挖掘经验者优先。

工作地点

南京市-江宁区-秣陵街道4楼

职位发布者

俞学智/人事经理

当前在线
立即沟通
公司Logo联亚国际
“联亚国际展览集团”(“联亚国际”)是在中德合作基础上成立的专业展览集团,为“国际展览业协会(UFI)”成员、“国际展览管理协会(IAEM)”会员,通过ISO9001质量认证、获评AAA资信等级,是国家公安部授权的因私出入境中介机构,被评选为“会展经济先进单位”、“中国国际会展专业委员会理事长单位”、“中国十佳出展机构”、“中国十大影响力会展企业”、“中国最佳会展企业”。“联亚国际”自2001年起正式运作,集团总部设在南京,在浙江、山东、重庆、广东、上海等省市设有分支机构,现在职员工200余人;主体业务包括:境外办展、出国组展、境内办展、境外考察、会议服务、因私出入境服务等。出国组展:秉承“客户至上,服务为本”的经营宗旨,“联亚国际”年均组团出展140余项目、涉及20多产业大类、年出访30多国家,截止2014年底,已成功组织9500多企业出国参展1160余次,与突尼斯、肯尼亚、印度、阿根廷、俄罗斯、巴西、土耳其、斯洛伐克、塞尔维亚、斯洛文尼亚、德、荷、法、意、美、日等地区展会长期密切合作,是若干知名国际展会在中国的独家代理。境外办展:“联亚国际”在突尼斯、塞尔维亚、斯洛文尼亚举办PB(Premium Brands China--中国精品展)系列展,承接国内行业协会、中央和地方经贸部门举办的境外展。境内办展:“联亚国际”自办来华展涉及船舶工业、海洋工程、家居用品等诸多行业,自主品牌展会不断增多,以中外合资、独资方式在国内举办的自办展包括:“联亚国际”携手德国法兰克福展览有限公司,引入其全球最大的消费品展会品牌Ambiente,2007年起在上海合资主办“中国国际时尚家居用品展览会(ILC)”。2010年,“联亚国际”将周边相关展合并、收购,连续成功举办“中国国际船舶工业博览会(CIMPS,“中国十佳品牌展会”)”,“中船展”现已发展为中国最大的专业船舶工业展!“中国国际海洋工程与油气技术展览会(OTE)”始办于2012年,定位于具有国际影响力的国际性、专业性、贸易性展会,由“联亚国际”策划并执行。“联亚国际”倡导“尽责务实、敏捷超越、以司为家、奉献博爱”的“联亚精神”,藉专业周到的服务理念、以人为本的操作,赢得新老朋友的一致认可和长期支持,培育出“联亚国际”极高的知名度和美誉度、创造出独特的“联亚国际”品牌优势。“联亚国际”已发展为中国最大的专业展览集团之一!
公司主页