更新于 今天

AI爬虫工程师

1.2-1.8万
  • 南京雨花台区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

爬虫开发数据清洗数据采集数据挖掘分布式爬虫大模型
一、岗位职责
1.负责AI驱动的网络爬虫系统设计、开发与优化,针对不同类型数据源构建高效、稳定的爬取方案,保障数据获取的及时性与准确性。
2.运用机器学习、自然语言处理等AI技术,解决数据处理过程中的内容解析、数据智能清洗与去重合并等问题,提升数据处理效率。
3.负责爬虫数据的AI驱动式后续处理,包括数据结构化提取、质量校验、异常监控及存储管理,为业务端提供高质量的AI训练数据或业务分析数据。
4.与数据分析师、算法工程师、产品经理等团队成员紧密协作,明确数据需求,推动爬虫技术与AI业务场景的深度融合与落地。
二、任职要求
1.计算机科学与技术、软件工程、数据科学、人工智能等相关专业本科及以上学历。
2.熟练掌握Python编程语言,可实现AI算法(验证码识别模型、内容分类模型、实体抽取模型、多模态数据解析模型)与爬虫系统的端到端融合开发。
3.具备扎实的AI技术应用能力,熟悉机器学习算法(分类、聚类、回归、深度学习等),掌握主流AI框架(TensorFlow、PyTorch、MindSpore),具备大模型应用能力,熟悉主流大模型API调用流程。
4.具备强烈的责任心、良好的沟通能力和团队协作精神,能够承受项目压力并独立推进任务。
三、加分项
1.有大规模分布式爬虫系统开发或高并发爬虫项目经验。
2.具备大模型全流程实践经验,曾利用多模态大模型(如GPT-4V、Gemini、通义千问-V)解决爬虫中的图文混合内容解析、复杂验证码识别等问题,或使用强化学习优化爬虫策略,有AI模型部署到生产环境(Docker+K8s)的工程化经验。
3.在爬虫技术、AI数据处理领域有开源项目贡献经验,或发表过相关技术文章。

工作地点

雨花台区中电电气南京运营中心

认证资质

营业执照信息

职位发布者

万先生/招聘经理

昨日活跃
立即沟通
公司Logo中电变压器股份有限公司
中电变压器股份有限公司是在镇江句容五千万元注册成立的高新技术企业(采用南京和句容两地办公),是采用现代化企业管理和运作机制组建的变压器专业制造公司。主要从事电力变压器、干式变压器、特种变压器、组合式变压器、预装式变电站等设备的科研开发、生产制造及产品销售。公司获得了国家认证机构颁发的ISO9001质量管理体系认证证书;公司技术力量雄厚,拥有一支专业配置齐全,人员结构合理的人才队伍,其中本科学历以上者达到50%以上,并拥有多名变压器行业的资深专家。公司遵循国际化的质量和工程管理模式,员工富有创新精神和团队合作精神,为客户提供最优质变压器,为电力运行安全提供最可靠的保障。公司现有数控全自动铁心纵剪线,数控全自动铁心横剪线,数控箔绕机,大型卧绕机,立式绕线机,煤油气相干燥设备,数控环氧树脂真空压力浇注设备,变压器专用固化炉,数控全自动绕线机等各类先进的加工设备;以及高压脉冲波形分析系统和色谱分析仪,计算机控制全自动测试台,高压局放工频试验设备,四通道局放测量系统,变压器噪音测试仪,中频发电机组等全套变压器产品检测设备。公司引进德国、瑞士等国家引进具有国际先进水平及国内领先的变压器专用生产设备及检测设备,以充分保证产品质量、提升企业的市场竞争优势。主要生产:电力变压器、干式变压器SC(B)10-10/35kV系列、非包封干式变压器SG(B)10-10、35kV系列、干式特种变压器、BK/SIK智能化箱式变电站。其干式变压器被广泛的应用在对安全运行有较高要求的户内场合,如:高层建筑、地铁、火车站、机场、医院、电厂、钢铁企业、化工企业、矿井等。公司福利:1、完善的薪酬体系;2、具有竞争力的员工福利,员工宿舍(3至4人一间,独立卫生间,热水器,空调,液晶电视,无线网络),员工体检、餐补、交通补贴、生日福利,节日福利,公司定期举办各类竞赛、聚餐、短途游,文艺活动丰富员工生活。;3、广阔的职业发展空间,集团、公司所有空缺岗位优先内部竞聘;
公司主页