更新于 今天

python开发工程师(智能体方向)

6000-10000元
  • 珠海香洲区
  • 经验不限
  • 本科
  • 全职
  • 招1人

职位描述

ScrapyBeautifulSoupTransformerpytorch
岗位职责:
1、运用Python语言开发高效、稳定的数据爬虫程序,从各类招聘网站、行业论坛、社交媒体等公开渠道抓取所需的招聘相关数据,如职位信息、公司信息、薪资待遇、岗位要求等;
2、处理反爬机制,确保爬虫程序的稳定性和数据的完整性,对爬取过程中出现的异常情况进行及时处理和优化;
3、定期维护和更新爬虫程序,以适应网站结构的变化和反爬策略的调整;
4、设计并实现高效的数据处理流程,对爬取到的招聘数据进行清洗、预处理,去除重复、错误和无效的数据,确保数据的质量和一致性;
5、运用 Python 数据分析库(如 Pandas、NumPy、dataset等)对数据进行深入分析,挖掘数据背后的规律和趋势,例如分析不同行业、地区、职位的薪资分布,岗位需求的变化趋势等;
6、运用数据可视化工具(如 Matplotlib、Seaborn等)将分析结果以直观的图表和报表形式展示出来,为公司的决策提供有力的数据支持;
7、具备智能体开发能力,能够设计并实现基于规则或机器学习的智能数据采集与处理流程,提升数据获取与分析的自动化水平;
8、熟悉数据处理流程搭建,能够构建端到端的数据采集、清洗、存储和分析的完整数据管道,确保数据处理过程的高效性和可扩展性;
9、具备复杂数据处理能力,能够应对多源异构数据,进行数据集成、特征工程和数据建模,支持更深入的数据洞察和业务应用。
岗位要求:
1、熟悉Scrapy、BeautifulSoup 等爬虫框架和库,能够独立开发复杂的爬虫程序;
2、熟悉transformer框架,能够应用于自然语言处理任务(如文本分类、实体识别等),提升数据处理和分析的智能化水平;
3、熟悉pytorch/tensorflow,具备深度学习模型开发能力,能够优化数据分析和智能体任务中的模型性能;
4、有智能体开发或自动化流程搭建经验者优先,如使用LangChain、AutoGPT等相关工具;
5、熟悉常用数据处理与流程管理工具(如Apache Airflow、Dagster等),具备数据管道搭建和调度经验者优先。

工作地点

珠海香洲区宏桥高科技集团有限公司

职位发布者

陈小婵/人事经理

刚刚活跃
立即沟通
公司Logo宏桥高科技集团有限公司
宏桥高科技集团有限公司(宏桥高科)成立于1997年,是纳斯达克上市公司的全资子公司。宏桥高科母公司总部位于新加坡,是全球领先的多元化创新科技企业,业务遍及东亚、中亚、东南亚、中东、欧洲、大洋洲和北美洲。宏桥高科依托创新技术和领先的解决方案,广泛整合资本市场和产业运营资源,在数字贸易、智慧城市和乡村振兴领域,服务于多行业的企业端、平台端和监管端客户,以及合作伙伴与行业组织,与他们紧密合作,共同促进社会经济发展、赋能数字中国建设、跨境贸易提速增效、为投资者创造价值。宏桥高科总部位于中国珠海高新技术产业开发区,目前,宏桥高科拥有珠海、长沙、南宁3大技术研发与运营服务中心,并依托全国各地的服务机构为政府、企业客户及合作伙伴提供整体解决方案和产业运营服务。宏桥人才战略:宏桥高科拥有完善的职业规划发展体系和人才梯队,建立具有活力、战斗力的团队,支持员工追求自我价值,为员工提供针对性的培训项目和创业孵化平台,助力员工实现梦想。宏桥亮点:宏桥高科致力于打造一支活力化、精英化的团队,为能干、想干的你提供广阔的发展空间,公司为员工提供优厚的福利待遇:五险一金、法定假期、带薪假期、周末双休、股票期权激励、节日礼品、员工慰问、团建活动、生日福利、绩效奖金、年度免费体检、技能/职称补贴等超赞福利。各路英才,还等什么?快把你的简历砸过来!!!
公司主页