更新于 2月3日

python爬虫工程师

8000-16000元·13薪
  • 南京雨花台区
  • 1-3年
  • 本科
  • 全职
  • 招2人

职位描述

Python
岗位职责:
1. 负责核心数据采集系统的架构设计、开发与维护,确保系统的高性能、高可用和可扩展性,实现多源数据的自动化采集。
2. 设计合理的数据结构与索引方案,搭建数据采集、清洗、校验与存储的自动化管道,为业务系统提供可靠的数据支撑。
3. 与产品、数据分析和算法团队协作,深刻理解业务需求,提供高质量的数据服务与技术解决方案,并撰写清晰的技术文档。
4. 持续关注行业新技术与反爬趋势,具备创新精神,并能熟练利用 AI 工具提升研发效率。
任职要求
1. 计算机相关专业,本科及以上学历,1年及以上爬虫开发经验。

2. 精通 Python,熟悉并发、多线程、多进程及异步编程模型。

3. 熟悉任意一种关系型数据库和Redis。具备时序数据库使用经验者优先。

4. 熟悉 HTTP 协议 与网页数据结构(HTML、CSS、JavaScript、Ajax、JSON 等),具备一定的 JavaScript 逆向 能力。

5. 能独立分析和解决爬虫中的技术难点(如验证码识别、IP代理池、请求优化、反爬绕过等),并具备实际工程经验。

6. 熟练使用 BeautifulSoup、XPath 、正则等解析工具,至少掌握一种爬虫框架(如 Scrapy)。

7. 至少精通一种浏览器自动化/爬虫框架(如 Selenium、DrissionPage、Playwright、Pyppeteer),并有实战经验。

8. 熟悉 Linux 环境,具备 Docker 容器化 使用经验。

9. 有 RPA 工具 使用经验者优先考虑。

奖金绩效

五险一金、餐补、弹性工作、通讯补助、定期体检、节日

工作地点

南京雨花台区凯润大厦

职位发布者

顾女士/行政专员

昨日活跃
立即沟通
南京德睿特来电能源研究院有限公司
南京德睿能源研究院有限公司,是由资本市场战略投资人、能源电气领域资深专业人士,于2017年7月在中国软件谷(南京)创立。公司注册资本5000万元人民币。当今,以气候变暖为典型特征的全球变化已引起广泛关注。包括用能电气化、发电低碳化等手段在内的能源领域的节能减排是减缓气候变化的重要途径,快速发展的电力电子、储能及信息化技术又为能源变革提供了无限可能。公司至今已获得国家高新技术企业认证以及十余项软件著作权,5项发明专利正在实质性审查中。目前公司研发人员占比超过80%, 985和211高校教育背景各占约1/3,提供开放的环境开展研究和创新活动。
公司主页