更新于 今天

中高级python爬虫工程师

1.5-2.5万
  • 青岛黄岛区
  • 5-10年
  • 本科
  • 全职
  • 招1人

职位描述

Python爬虫开发反爬虫分布式爬虫JavaScriptHadoop人工智能
岗位职责(外包用工)
1. 负责设计、开发和维护高效稳定的Python爬虫系统,抓取指定网站或接口的数据
2. 优化爬虫性能,深入研究并突破各类反爬机制,确保数据抓取的准确性和及时性
3. 对抓取的数据进行清洗、存储和处理,为后续数据分析提供支持
4. 监控爬虫运行状态,及时处理异常情况并优化系统稳定性
5. 应用机器学习与AI技术提升爬虫智能化水平
6. 使用Docker等容器技术实现爬虫系统的快速部署和扩展
任职要求:
1. 本科及以上学历,计算机相关专业,5年以上Python爬虫开发经验
2. 精通Python语言,熟悉Scrapy、Requests、BeautifulSoup等爬虫框架和库
3. 熟悉HTTP协议、HTML/CSS/JavaScript,精通各类反爬机制及应对策略
4. 熟悉MySQL、MongoDB等数据库,具备数据清洗和处理能力
5. 了解机器学习与AI技术在实际爬虫项目中的应用
6. 熟练使用Docker等容器化技术进行系统部署

工作地点

青岛华能信息技术有限公司黄岛区金榜山路6号

职位发布者

张女士/招聘经理

今日活跃
立即沟通
公司Logo华能信息技术有限公司
华能信息技术有限公司(简称:信息公司)是国务院国资委监管的大型能源企业中国华能集团有限公司的直管企业,是华能集团信息化自主建设和运维的实施主体,成立于2014年2月,注册资金8000万元,注册地山东省青岛市经济技术开发区,2022年12月顺利通过国家高新技术企业复审并颁发证书。信息公司坚持服务集团,参与市场竞争,以工业互联网、大数据、云计算、人工智能等新技术为龙头,优化系统建设应用,加快新产品研发,孵化专业化公司,着力打造卓越的信息化人才队伍,为努力建设“数字华能、智慧华能”,实现全产业信息化统筹协同、整合资源贡献力量。由信息公司直接投资建设并运营管理的云数据中心,是华能集团发展“互联网+”新业务的重要基础设施,集中承载整个华能集团经营发展的大量业务应用和数据资产。云数据中心地处青岛市黄岛区,基建总投资5.8亿元,总建筑面积34886m2(折合77亩),项目建设以“按需投入、分期建设”为原则,一期工程数据中心机房(10560m2)、运维办公楼(12830m2)以及辅助倒班宿舍楼(3886m2)已于2019年6月底全部完工,投资1.7亿元的华能云平台安装部署到位,实现了华能企业云“零”的突破,面向华能集团及社会各界提供高质量的灾备和云服务。
公司主页