400-885-9898
职位描述
爬虫开发分布式爬虫爬虫
【岗位职责】
1.参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；
2.负责爬虫数据的分布式存储设计及代码实现；
3.负责网页信息抽取、清洗、消重和结构化处理等工作；
4.解决各类反爬问题，如字体加密、JS混淆、验证码、APP抓包和逆向工程;
5.对爬虫数据进行数据处理、分析及匹配。
【任职要求】
1.计算机相关专业，有三年以上 Python 开发经验，熟练 Python 语言；
2.熟练掌握selenium、html、js、css、xpath、正则表达式等数据采集与提取工具；
3.精通常见的反爬虫技术如字体加密、js混淆、滑块验证、点选验证、app逆向等；
4.精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自动化开发经验者优先考虑；
6.能熟练使用Linux、Mongo、ES、Redis、kafka等技术优先考虑；
7.有激情和责任心，积极主动，具有良好的团队协作、对外沟通能力，有良好的自学能力。提供 Github 或者博客地址，有开源项目贡献者优先考虑
1.参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率；
2.负责爬虫数据的分布式存储设计及代码实现；
3.负责网页信息抽取、清洗、消重和结构化处理等工作；
4.解决各类反爬问题，如字体加密、JS混淆、验证码、APP抓包和逆向工程;
5.对爬虫数据进行数据处理、分析及匹配。
【任职要求】
1.计算机相关专业，有三年以上 Python 开发经验，熟练 Python 语言；
2.熟练掌握selenium、html、js、css、xpath、正则表达式等数据采集与提取工具；
3.精通常见的反爬虫技术如字体加密、js混淆、滑块验证、点选验证、app逆向等；
4.精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自动化开发经验者优先考虑；
6.能熟练使用Linux、Mongo、ES、Redis、kafka等技术优先考虑；
7.有激情和责任心，积极主动，具有良好的团队协作、对外沟通能力，有良好的自学能力。提供 Github 或者博客地址，有开源项目贡献者优先考虑
查看全部
工作地点
上海浦东新区浦江2162浦东南路2162号3楼C座
相似职位
- 高级爬虫工程师1.8-2.4万
上海 - 浦东
青云伙伴(上海)教育科技有限公司 - 爬虫工程师1-1.5万
上海 - 浦东
上海问道云人工智能科技有限公司 - 爬虫工程师（app逆向）1.8-3万·13薪
上海
上海思勃商务咨询有限公司 - 爬虫工程师2-2.2万
上海 - 长宁
上海微创软件股份有限公司 - 上海python爬虫开发(Base无锡)1.2-1.5万
上海 - 黄浦
中电金信软件有限公司
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 顺丰招聘
- 美团招聘
- 京东招聘
- 饿了么招聘
- 比亚迪招聘
- 中国一汽招聘
- 北京汽车招聘
- 蔚来招聘
- 东风汽车招聘
- 长城汽车招聘
- 奇瑞汽车招聘
- 理想汽车招聘
- 长鑫存储招聘
- 天江药业招聘
- 蓝月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 联想招聘
- 海康威视招聘
- 宁德时代招聘
- 中兴招聘
- 新松招聘
- 京东方招聘
- 申通招聘
- 圆通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麦当劳招聘
- 星巴克招聘
- 海底捞招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 腾讯招聘
- 百度招聘
- 快手招聘
- 字节跳动招聘
- 新华网招聘
- 小米招聘
- 招商银行招聘
- 中信银行招聘
- 北京银行招聘
- 兴业银行招聘
- 交通银行招聘
- 建发集团招聘
- 中国移动招聘
- 中国联通招聘
- 中国电信招聘
- 中粮集团招聘
- 国药控股招聘
- 中广核招聘
- 中国船舶招聘
- 强生中国招聘
- 汇丰中国招聘
- 宜家招聘
- 立邦中国招聘
- 伊利招聘
- 青岛啤酒招聘
- 京港地铁招聘
- 宝马招聘
- 小鹏汽车招聘
- 华为招聘
- 特斯拉招聘
- 吉利招聘
- 奔驰招聘
- 海尔招聘
- 美的招聘
- 京东方招聘
- 施耐德电气招聘
- 德邦物流招聘
职位发布者
侯春颖/人事主管
立即沟通
上海腾道信息技术有限公司TENDATA INFO(腾道信息)，国际贸易B2B电子商务领域的创新者和领导者，全球知名贸易信息服务商和提供商，“信息创造财富”是TENDATA INFO为客户创造财富与梦想的动力与起点，TENDATA INFO依靠强大的市场资源优势和卓越的技术团队，创建了北美、南美、亚、欧、非等五大洲，200多个国家和地区不断更新的贸易渠道，结合电子商务和传统国际贸易，为全球企业打造了及信息流、资金流、物流的综合性在线贸易服务平台。 TENDATA INFO创新的服务模式和飞快的发展速度吸引了众多的国内外风险投资商青睐,公司已经获得来自多家国际知名投资商的联合注资，公司计划将在未来2~3年内在美国IPO。 05年公司在英国和香港成立了海外分支机构正与国际化的运转模式及先进理念拓展整个全球贸易电子商务市场，在稳步发展中国市场的同时，向打造成为国际性贸易信息先导的战略部署迈出了坚实的步伐。 TENDATA INFO积聚了大批优秀的国际贸易和互联网业界的精英人士，组成了高素质、专业化的管理团队和互联网科研力量。目前我们处于事业的快速腾飞阶段，希望有更多的精英人才加盟！
公司主页