登录/注册
我要招人
400-885-9898
首页
职位推荐
城市频道
政企招聘
校园招聘
高端职位
海外招聘
测评及培训
职Q社区
该职位已失效,看看其他机会吧
APP
举报
python爬虫工程师(双休)
7000-11000元
郑州
管城回族区
城东路
1-3年
本科
全职
招1人
查看更多相似职位
职位描述
数据挖掘
岗位职责:
1. 负责网络爬虫系统平台的架构设计与开发:
设计并实现高效、稳定、可扩展的爬虫系统架构,涵盖抓取调度、多样化抓取、页面解析和结构化抽取等核心模块。
进行技术选型,评估并选择合适的开源框架、工具和库,提升开发效率和系统性能。
2. 攻克爬虫技术难点,提升抓取效率和质量:
深入研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、混淆加密、算法还原、so层、页面跳转等技术难题。
开发高效的反爬虫机制,提升网页抓取的成功率和数据质量。
3. 数据处理与平台优化:
对抓取后的数据进行清洗、存储和分析,确保数据准确性和完整性。
持续优化爬虫平台,提升系统性能、稳定性和可维护性,满足不断变化的爬取业务需求。
岗位要求:
1. 技术基础扎实:
精通Linux操作系统,具备丰富的Python编程经验,至少熟练掌握Scrapy、BeautifulSoup、Selenium等主流爬虫框架中的一种。
熟悉各种加密算法,在破解验证码方面有丰富经验,能够独立解决JS反爬和模拟登陆问题。
2. 数据处理能力强:
熟练掌握正则表达式、XPath、CSS等网页信息抽取技术,能够高效地从网页中提取所需数据。
熟悉常见反爬机制,如验证码识别、IP代理池、headers认证和cookie等。
熟悉数据清洗流程,能够使用numpy、pandas、jieba等工具对数据进行处理和分析。
3. 后端开发经验:
熟悉Flask、FastAPI等后端框架,能够开发和维护爬虫系统的后端服务。
熟悉MySQL、SQLite等数据库,能够进行数据库设计和优化。
4. 加分项:
有JS逆向相关项目经验,能够分析和破解复杂的JS加密算法。
有大规模分布式爬虫系统开发经验,熟悉相关技术栈和架构设计。
对数据挖掘、机器学习等领域有浓厚兴趣,并具备一定的实践经验。
5、统招第一学历本科及以上,学信网可查。
查看全部
工作地点
郑州管城回族区正商向阳广场-B座15A
查看地图
完善一份简历
1736万+企业在线搜索,780万+海量职位精准推荐
完善简历 涨薪36%
相似职位
郑州python全栈工程师
1000-2000元
郑州
- 二七区
上海玉带信息技术有限公司
爬虫工程师
9000-12000元
郑州
- 管城
软通动力信息技术(集团)股份有限公司
高级爬虫工程师(薪资面议)
1-1.5万
郑州
- 金水
河南悟空出海科技有限公司
爬虫工程师
1-1.1万·13薪
郑州
- 管城
软通动力信息技术(集团)股份有限公司
郑州python全栈实习工程师
1000-2000元
郑州
- 二七区
上海玉带信息技术有限公司
郑州实习python后端工程师
1000-2000元
郑州
- 二七区
上海玉带信息技术有限公司
查看更多相似职位
热门城市推荐
北京
上海
深圳
广州
天津
成都
杭州
武汉
大连
长春
南京
济南
青岛
苏州
沈阳
西安
郑州
长沙
重庆
哈尔滨
无锡
宁波
福州
厦门
石家庄
合肥
惠州
太原
南昌
昆明
热门职位推荐
骑手招聘
服务员招聘
厨师招聘
喷塑工招聘
驾驶招聘
阿里招聘
地铁安检招聘
货运司机招聘
中国银行招聘
吊车司机招聘
叉车工招聘
技工招聘
电工招聘
保洁招聘
奥迪招聘
包装工招聘
酒店前台招聘
普工招聘
家政招聘
必胜客招聘
生产技术员
木工
采购专员/助理
半导体设备工程师
服装/纺织/皮革项目经理
无人机组装测试
大数据讲师
病理医师
可靠度工程师
SEO
热门公司推荐
霸王茶姬招聘
肯德基招聘
顺丰招聘
美团招聘
京东招聘
饿了么招聘
比亚迪招聘
中国一汽招聘
北京汽车招聘
蔚来招聘
东风汽车招聘
长城汽车招聘
奇瑞汽车招聘
理想汽车招聘
长鑫存储招聘
天江药业招聘
蓝月亮招聘
安踏招聘
TCL招聘
海信招聘
联想招聘
海康威视招聘
宁德时代招聘
中兴招聘
新松招聘
京东方招聘
申通招聘
圆通招聘
中通招聘
百世物流招聘
德邦物流招聘
麦当劳招聘
星巴克招聘
海底捞招聘
蜜雪冰城招聘
瑞幸招聘
雀巢招聘
腾讯招聘
百度招聘
快手招聘
字节跳动招聘
新华网招聘
小米招聘
招商银行招聘
中信银行招聘
北京银行招聘
兴业银行招聘
交通银行招聘
建发集团招聘
中国移动招聘
中国联通招聘
中国电信招聘
中粮集团招聘
国药控股招聘
中广核招聘
中国船舶招聘
强生中国招聘
汇丰中国招聘
宜家招聘
立邦中国招聘
伊利招聘
青岛啤酒招聘
京港地铁招聘
宝马招聘
小鹏汽车招聘
华为招聘
特斯拉招聘
吉利招聘
奔驰招聘
海尔招聘
美的招聘
京东方招聘
施耐德电气招聘
德邦物流招聘
职位发布者
赵女士/HR
立即沟通
赵女士 / HR
Hi~ 对职位感兴趣吗?快来下载智联APP和我聊聊吧,还能在线视频面试,方便又安心~
建基工程咨询有限公司
化工,计算机软件
1000-9999人
未融资
建基工程咨询有限公司的过去、今天和未来公司从1998年12月专注建设监理领域,专业从事工程监理、招标代理、造价咨询的监理公司。拥有35年的工程管理经验,25年的工程咨询团队,20年的品牌铸造,发展几十年来,共完成8060多个工程建设工程咨询服务,工程总投资约千亿元人民币,公司所监理的工程曾多次获得河南省“中州杯”工程及地、市级优良工程奖。公司被授予“河南监理行业骨干企业”、“全国监理行业百强企业”、“河南省工程监理企业二十强”、“河南省先进监理企业”等荣誉称号。是河南省建设监理协会副会长单位,河南省产业发展研究会常务理事单位。公司经营范围:建设工程监理、建设工程招标代理、建设工程造价咨询、建设工程项目管理、建设工程技术咨询服务。公司资质:工程监理综合资质(可以承接住建部全部14个大类的所有工程项目,包括房屋建筑工程、市政公用工程、机电安装工程、航天航空工程、铁路工程、公路工程、电力工程、通信工程、冶炼工程、矿山工程、化工石油工程、水利水电工程、农林工程、港口与航道工程);招标代理乙级、水利工程施工监理乙级、人防工程监理乙级。通过 ISO9001:2015质量管理体系认证;IS014001:2015环境管理体系;OHSAS 18001:2007职业健康安全管理体系。人才储备:优秀的专业团队是公司的宝贵财富,公司拥有不同领域的专业人士。公司现有员工2200人。其中:国家注册监理工程师127人;国家一级注册结构工程师3人;其它国家注册工程师25人;国家注册规划师5人;国家一级注册建造师25人,国家注册造价师8人,省部级专业监理工程师766人;高级技术职称68人,中级技术职称560人,初级技术职称680人,专业齐全、结构合理,是一支技术种类齐全,训练有素、值得信赖的工程建设咨询服务队伍。公司配备有微机和成套的检测仪器,为独立、公正、科学地开展建设监理工作创造了良好的条件。后盾支持:公司依托河南省土木建筑学会及河南省豫建设计院庞大坚强有力的专家团队,从而使公司获得更加强大的技术支撑,省土木建筑学会、豫建设计院是集建筑、结构、岩土、材料、检测、施工、管理和机械等技术于一体的综合性科技学术研究、设计、技术开发机构,在省内具有良好的声誉和广泛的社会知名度。省土木建筑学会、豫建设计院拥有的各方面的科技和工作成果以及常设的专家咨询组,为公司实施项目管理提供了丰富的知识储备和强有力的技术支持。常设的专家咨询组的人员均具有丰富的实践经验,承担过许多大中型工程的设计和管理工作。其优秀、厚重的专业素质,严谨科学的工作态度,严格的质量技术把关的工作作风,对重大技术问题科学求实的论证,为我公司开展咨询服务提供了可靠技术保障;使得我公司为顾客提供广泛的增值服务,奠定了强有力咨询服务能力和可靠地业务技术水准。企业文化:建基管理一贯秉承“严谨、和谐、敬业、自强”的企业发展精神;贯彻“热情服务,规范管理,铺垫建设工程管理之基石;强化过程,再造精品,攀登建设咨询服务之巅峰”;以人为本,预防为主,确保职业健康安全之屏障;诚信守法,持续改进,营造和谐关爱绿色之环境“的企业方针;追求”守法诚信合同履约率100%,项目实体质量合格率100%,客户服务质量满意率98%“的企业质量目标;遵循”守法、诚信、公正、科学“的职业准则;打造以监理和项目管理为一体的、并以在行业中具有厚重影响力的、”服务公信、品牌权威、企业驰名“的综合咨询专业性公司,为企业的战略发展方向与愿景;同时,坚持品牌发展战略,为实现公司的战略发展规划和目标,积极倡导”信誉第一、品牌至上,以人为本、谋求共赢“的核心价值理念。公司经营始终秉承”诚信公正,技术可靠“,以满足业主需求;以”关注需求,真诚服务“,作为技术支撑的服务理念;坚持”认真负责,严格管理,规范守约,质量第一“,赢得市场认可;强调”不断创新,勇于开拓“精神;提倡”积极进取,精诚合作“工作态度。公司以建设精英人才团队为已任,努力营造信任、关爱、尊重、快乐的工作氛围,营造员工在企业享有温馨而又放心”家“的感觉,创造向心力的文化氛围。公司在坚持”惟才是用“,充分发挥个人才能、人尽其才的同时,更注重团队合作精神,强调时时处处自觉维护公司信誉和品牌;在坚持严谨规范,公正公平科学管理的同时,更强调诚信守约、信誉第一。我们的管理着力于上下和谐,内外满意的一体化原则,我们的追求是让客户满意,让客户放心。公司愿与国内外建设单位建立战略合作伙伴关系,共同携手开创和谐美好的明天!
公司主页