更新于 1月8日

高级大数据开发工程师

2-4万
  • 深圳龙岗区
  • 5-10年
  • 大专
  • 全职
  • 招5人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 人际关系好
  • 团队执行强
  • 氛围活跃
  • 免费班车
  • 管理人性化
  • 准时发工资

职位描述

数据治理数据中台开发数据仓库JavaHadoopFlinkSpark
关键字:大数据迁移、Hadoop、pyspark或者scala spark、Nifi、CDM、华为数据湖、数据仓库
主要职责:
1、负责大数据搬迁和系统集成。
2、利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
3、处理海量数据,进行实时和批处理分析,支持业务需求。
4、负责Nifi作业的迁移和调测。
5、具备良好的SQL优化能力;能够完成数据比对工作,并且在数据出错时,有能力根据数据济追溯并定位出问题脚本。
任职资格:
1、5年大数据开发经验,熟悉大数据相关技术栈。
2、精通 Hadoop、Spark、Flink、hive等大数据处理框架。能够独立完成fink、spark作业的迁移/开发,能够端到端的进行调测。
3、精通apache nifi开源组件,能够独立完成Nifi作业的迁移和调测
4、熟练掌握 Java、SQL、Scala 或 Python 等语言。
5、具备良好的SQL优化能力,熟悉关系型数据库和NoSQL数据库。
6、具备大数据平台性能优化的经验。
7、优秀的沟通能力和书面表达能力。
8、熟悉华为大数据平台MRS、DataArt studio、Data Lake、Gaussdb(DWS)优先。
9、统招大专以上学历。
10、熟悉华为大数据平台MRS、DataArt studio、Data Lake、Gaussdb(DWS)优先、具备大数据迁移工作经验优先。

工作地点

深圳龙岗区金荣达产业园软通动力

职位发布者

夏女士/HRBP

刚刚活跃
立即沟通
公司Logo软通动力信息技术(集团)股份有限公司公司标签
软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国领先的全栈智能化产品与服务提供商,2005年成立于北京,始终坚持创新,致力于成为一家具有全球影响力的科技企业。公司提供软件与数字技术服务、计算产品与智能电子、数字能源与智算服务以及国际化服务,员工90000人。目前,公司在10余个重要行业服务超过2600家国内外客户,其中超过230家客户为世界500强或中国500强企业。公司位列2024年中国 IT服务市场第一,入选2025年财富中国 500强企业,位列429。软通动力拥有软通咨询、软通金科、软通国际、软通工业互联、软通华方、机械革命、恒悦等业务子品牌,北京、江苏两大智能制造基地,布局北美、日韩、亚太、中东四大区域市场,在全球60余个城市构建完善的全球业务网络。公司锚定AI前沿,以人工智能工程能力为基础,科学智能(AI for Science)为引领,布局智能制造、ICT软硬基础能力和具身智能等领域,打造新产业链闭环,为客户提供场景智能(AIAgent)、终端智能(AI Terminal)、计算智能(AIInfra)的全栈智能服务。软通动力设立30个能力中心,拥有1个国家级工程实验室,6个省市政府认定的工程、技术实验室及研发中心,1个博士后科研工作站,依托全球软硬生态协同创新体系,不断探索前沿技术应用潜力。公司旗下教育品牌软通教育,拥有一家全日制本科学院——郑州西亚斯学院数字技术产业学院;全国合作院校700多所,设有70多个校企联合人才培养基地,通过校企合作、协同育人,为社会培养高素质应用型人才。软通动力先后荣获“2024新经济企业500强”、“2024年中国软件和信息技术服务竞争力百强企业”、“中国软件产业40年贡献企业”、“2024年信创领军企业”、“省级科技进步奖”,入选沪深300、中证A500、创业板50等核心指数,深交所信息披露最高“A”级评价,连续三年获得Wind ESG评级AA级等权威认可;拥有专利380+项、全球软件工程领域最高级别CMMI V2.0成熟度5级评估认证、信息系统建设和服务能力最高等级——杰出级(CS5)、信息技术服务标准(ITSS)运维能力成熟度一级认证等专业资质,支撑公司更优质的服务体系。
公司主页