更新于 2月6日

python爬虫工程师

1-2万
  • 北京大兴区
  • 3-5年
  • 大专
  • 全职
  • 招1人

职位描述

Python数据采集反爬虫ScrapyrequestsJavaJavaScriptHTMLCSS人工智能云计算/大数据
设计与开发爬虫系统‌:负责设计、开发、维护分布式网络爬虫系统,实现对PC网站、手机APP、小程序等多平台数据的自动化抓取与分析。
‌数据采集与处理‌:定向采集指定网站或应用的海量数据(如用户信息、商品信息、评论、动态内容等),并完成数据的清洗、去重、结构化处理(如转换为JSON、CSV格式)及入库(如存储至MySQL、MongoDB等数据库)。
‌攻克反爬虫技术‌:研究并应对各类反爬虫机制,包括但不限于IP封禁、账号封禁、验证码(含滑块、点选)、JS混淆、设备指纹、动态加密、模拟登录等,确保数据采集的稳定性和效率。
‌系统优化与运维‌:持续优化爬虫架构与抓取策略,提升系统的稳定性、可扩展性和抓取速度;对爬虫系统进行7×24小时监控与维护,及时排查并解决运行中的故障。
‌需求对接与数据服务‌:与业务部门沟通,理解并评估数据需求,制定数据采集计划;参与数据层建设,为大数据分析、人工智能模型训练等提供高质量的数据支持。
‌关键技能要求‌
‌编程语言‌:精通 ‌Python‌(常用框架如Scrapy、Requests、Asyncio),熟悉 ‌Java‌ 或 ‌JavaScript/Node.js‌ 者优先。
‌核心技术‌:精通HTTP/HTTPS协议、HTML/CSS、XPath、正则表达式、DOM解析;熟悉浏览器自动化工具(如Selenium、Puppeteer)及APP逆向分析技术。
‌工具与平台‌:熟练使用Linux开发环境、抓包工具(如Charles、Fiddler)、数据库(MySQL、MongoDB、Redis)及分布式系统相关技术。
‌软技能‌:具备良好的分析和解决问题能力、学习能力、团队合作意识及沟通能力。

工作地点

北京大兴区兴创国际中心D座6层整层

职位发布者

陈总/人事经理

昨日活跃
立即沟通
公司Logo北京法宣在线科技有限公司
北京法宣在线科技有限公司(www.ifaxuan.com,简称“法宣在线”),成立于2013年5月。其前身为2003年12月成立的中国民主法制出版社《普法软件》项目部和2011年1月成立的中国民主法制出版社法律应用分社。公司专注于国家工作人员在线学法及考试、智慧普法云平台、智慧公共法律服务、物联网法治运用、普法媒体机、法考培训、律师培训、普法新媒体运营、法治文化阵地建设、普法图书音像融媒体出版等业务。公司政治意识强,企业信誉度高,履约能力有保障,品牌优势明显,先后荣获国家和中关村“高新技术企业”资质,属于全国“智慧司法”行业领军企业之一。公司下设中国民主法制出版社《法治时代》期刊运营中心、在线普法教育(无纸化学法)事业部、智慧普法依法治理云平台(软件开发)事业部、普法图书音像融媒体出版事业部、智慧公共法律服务事业部(北京人人律智能大数据科技有限公司)、智慧社区矫正和“非押码”产品事业部(中版北斗(北京)物联网技术有限公司)、桂客学院(北京市昌平区中法网文化教育培训学校)、智慧普法媒体机运营事业部(北京法宣惠众传媒科技有限公司)、爆赞直播电商事业部(北京廉安文化发展有限公司)、德龙教育短视频销售事业部(北京白犀电子商务有限公司、北京火雀电子商务有限公司)等机构和控股公司,同时在长春、郑州、福州、南宁、贵阳、西宁、乌鲁木齐等设立办事处。公司成立以来,主要从事司法部、全国普法办批准研发的《无纸化学法用法及考试系统》(暨国家工作人员在线学法及考试平台)和原国家电监会(国家能源局)、广电总局、国务院国资委、中国残联等多家部委“行业普法软件”研发运营工作。目前已有山西、内蒙古、吉林、黑龙江、江苏、福建、山东、河南、湖北、湖南、广东、广西、海南、贵州、四川、云南、陕西、青海、宁夏、新疆、甘肃等21个省区市的组织、宣传、人社、司法、国资等部门联合发文全省或部分地市推广使用,累计拥有20多万家党政机关企事业单位及1350多万用户。公司近年研发的《百姓法治宝典》全民学法APP和民法通全民学法APP,已在吉林、山东、福建、海南、贵州、云南、陕西、青海等全省或部分地市实现图书“每户一册”、APP“家家下载”,成为司法部“七五”普法创新推荐案例。2017年以来,公司积极投身于法律人工智能和公共法律服务体系建设服务,精心打造“互联网+人工智能”智慧普法与公共法律服务、智慧社区矫正等系列产品,研发推出了小律•智慧普法与公共法律服务机器人、无人亭、触摸一体机、自助柜员机、可视化自助机、线上智能法律咨询机器人、青少年学法机器人等一系列智慧司法产品,集成司法行政各项法律服务内容,连续多年荣获“全国智慧司法智能化建设十大创新产品”等荣誉,拥有百余项软件著作权,跻身于国内“智慧司法”综合解决方案供应商前列。
公司主页