更新于 今天

python爬虫工程师

8000-13000元
  • 成都郫都区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

数据采集数据清洗PythonScrapyrequests
工作职责:
1. 负责设计和搭建高效的分布式爬虫系统;
2. 开发、维护爬虫系统,包括调度、抓取、维护、验证等爬虫工作;
3. 对不同网站的防御机制和反爬虫策略进行深入研究,提炼关键技术点。
4. 能够解决协议反爬、风控、人机识别等高级问题。
5. 负责爬虫技术难点的攻克;
任职要求:
1. 对Python和计算机网络有深入理解,能够熟练运用多线程技术,掌握主流爬中框架;
2. 精通JavaScript逆向工程、虚拟机、代码混淆、抽象语法树(AST)等技术,并有实际的JavaScript逆向和分析;
3. 熟悉常见反爬机制,验证码识别,IP代理池应用lp池、headers认证和cookie等;
4. 能够分析网络链路,并处理TLS/HTTP2等协议流量识别、IP识别问题;
5. 了解基本的机器学习算法,可解决一些基础的图像验证码识别、人机对抗等问题;
6. 熟悉Redis、MySQL、MongoDB等数据库技术,并有SQL或NOSQL数据库实践经验;
7. 熟悉wireshark tcpdump等进行流量分析,了解大部分计算机网络基本原理;
8. 了解分布式队列、中间件等基础架构组件;

工作地点

成都市-郫都区-古楠街97号

职位发布者

田蜜/人事经理

今日活跃
立即沟通
公司Logo中铁科学研究院集团有限公司
中铁科研院是中国中铁股份有限公司旗下唯一的科研企业,前身是铁道部1959年成立的隧道科学技术研究所(四川成都)、坍方科学技术研究所(陕西西安)和1960年成立的高原铁路科学技术研究所(青海格尔木),1961年分别组建成立铁道部科学研究院西南所、西北所,2000年由科研事业单位转制进入中国铁路工程总公司并分别成立中铁西南院、西北院,2014年8月合并重组成立中铁科研院。中铁科研院在国内首次引入隧道施工“新奥法”,率先研究和应用“预应力锚索抗滑桩技术”,为攻克青藏铁路高原冻土世界性难题作出了突出贡献。自主研发了HSP超前地质预报仪、地层CT探测仪、轨道管养智能机器人、智慧工地管控平台、隧道施工监测及防坍塌预警系统等高新技术产品。形成了土木工程全生命周期的科技综合服务,可提供设计咨询、产业咨询、情报咨询、科研与技术服务、监理、特种施工、运营维管、数智化建设、网络安全、环境保护、文化遗产保护、乡村振兴、科技成果转化等一揽子综合技术服务。获得各类科技成果奖577项,其中国家级奖项37项,省部级奖项248项。拥有有效专利、软件著作权等826项,主持或参编国家部委、行业规范135项,主编、参编、翻译著作84部。主持和参建3个国家级实验室,建设8个省部级实验室。构建“3+13+N”研发架构,组建13个专业研发中心、28个专业研发团队,瞄准23个研发方向。拥有博士、硕士研究生500余人,占员工总数50%,拥有各类专家300余人,博士硕士生导师21人。首席专家严金秀是第16届国际隧道与地下空间协会主席,也是首位当选的中国专家。中铁科研院着力建设中国中铁智能建造专业研发中心、国际隧道和地下空间咨询中心、“双碳”专业研发分中心,致力于打造中铁隧安、中铁防灾、中铁质检、中铁文保、中铁健康维管、智能建造、中铁网安、中铁智库、低碳环保等品牌,成为科技创新引领能力突出、服务支撑中国中铁主责主业作用显著、科技产业化优势明显的科技产业集团。
公司主页