更新于 1月30日

python爬虫工程师

1.5-3万
  • 北京丰台区
  • 经验不限
  • 本科
  • 全职
  • 招1人

职位描述

Python数据挖掘数据清洗数据采集反爬虫
岗位职责:
1. 负责 Web 端数据全流程采集(爬取、清洗、入库),可独立设计多源数据采集方案;
2. 熟练掌握 Python,能使用 FastAPI 构建后端接口并进行联调;
3. 熟悉数据库(Redis、PostgreSQL、MySQL),能进行结构设计与性能优化;
4. 熟练使用 Docker 进行服务容器化与多服务编排(Compose),了解 K8s 优先;
5. 掌握多种抓取技术(网页爬取、动态渲染、API 调用),能处理代理池、验证码识别等场景;
6. 熟练使用 XPath、BeautifulSoup、pandas 等解析工具提取结构化与非结构化数据;
7. 精通反爬破解技术(JS Hook、AST 分析、混淆还原等);
8. 参与分布式爬虫系统设计与优化,搭建采集调度与监控体系;
9. 熟练使用 Scrapy、PySpider 框架,具备二次开发与中间件扩展能力;
10. 具备良好的沟通能力,可与产品、数据、后端团队协同开发;
11. 有 APP 逆向与协议分析经验者优先。

工作地点

丰台区汉威国际广场二区-3号楼10层西户北京飔合科技

职位发布者

郎璐/人事经理

今日活跃
立即沟通
公司Logo协合运维公司标签
专业服务至臻价值让新能源运营更安心更省心北京协合运维风电技术有限公司(简称“协合运维”),是新能源行业综合型技术服务龙头企业。公司成立于2007年,已拥有超过16年的新能源电站运行维护、资产托管及技术服务经验。面向新能源发电设备、输变电设备、综合能源系统,提供基于数据驱动的设备预警、智能诊断、维修决策、现场运维、技改优化、备件供应等一站式服务解决方案。公司目前服务管理300多个新能源交付单元,在运维容量突破2500万千瓦,覆盖全国30个省(市、自治区),拥有3000余人的专业服务团队。客户涵盖大型电力集团、地方国企、民营投资商、整机制造商,以及苹果基金等国内外知名企业。经过多年践行探索,公司形成北京总部管控支持、区域服务共享、电站标准化执行的三级管理模式,凭借强大的数据分析能力、完善的平台支持、专业的技术人员,提供安全、专业、可靠的新能源运营服务。Beijing Concord Operation and Maintenance Wind Power Technology Co., Ltd.(Concord O&M for short) is a leading comprehensive technology and service company in renewable energy industry. Founded in 2007, it has over 16-years’ experience in operation and maintenance, asset custody and technical services for renewable power plants. It provides data-driven one-stop solutions as equipment early warning, intelligent diagnosis, maintenance decisions, on-site O&M, retrofit and optimization, and spare parts supply and etc. to power generation equipment, power transmission and transformation equipment, and integrated energy systemsConcord O&M currently serves over 300 new energy projects, equal to a total capacity of around 25 GW, and has more than 3,000 professional technicians. Its customers include utilities groups,local state-owned enterprises, private investors, OEMs, and other well-known domestic and foreign enterprises as Apple Fund. With years of practice and exploration, it adopts the three-level management model: headquarters management and support, regional shared service, and power station standardization service. It is committed to providing safe, professional, and reliable renewable energy operation solutions relaying on its powerful data analysis ability, well-established platform support, and professional technical personnel.
公司主页