更新于 3月18日

大数据开发

1.5-1.8万
  • 上海浦东新区
  • 5-10年
  • 本科
  • 全职
  • 招1人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 人际关系好
  • 团队执行强
  • 氛围活跃
  • 免费班车
  • 管理人性化
  • 准时发工资

职位描述

Java
【高级数据工程师职位描述】
职责
1. 设计并构建能够高效处理大规模数据集的稳健数据基础设施系统
2. 开发和维护ETL管道,以确保事务数据库和分析仓库之间的数据无缝流动
3. 实施数据质量框架,以验证不同数据集之间的准确性和一致性
4. 优化大数据环境的存储解决方案和查询性能
5. 确保遵守数据治理政策和安全协议��技术技能:
● 计算机科学、工程或相关定量领域的学士或硕士学位(必须具备)
● 至少3年数据工程相关工作经验(必须具备)
● 精通分布式计算框架,包括Spark和Hadoop生态系统(必须具备)
● 熟练掌握阿里云Dataworks、AWS Redshift、GCP BigQuery或Azure Synapse等云平台(必须掌握)
● 具备高级SQL技能和NoSQL数据库经验(必须具备)
● 熟练掌握Python、Java或Scala编程语言(有此技能更佳)
● 具备云架构或大数据技术认证者优先(有则更佳)
● 具备使用Kafka或类似工具构建实时流处理管道的丰富经验(有此经验更佳)
沟通技巧:
● 跨部门协作以推动项目实施
● 精通用于信息对齐的视觉工具(流程图、甘特图)
● 通过双赢方案和积极倾听来解决冲突
● 针对受众的沟通(技术性/非技术性)
● 结构化的书面报告,重点信息已高亮标注
问题解决能力:
● 预测性风险识别与应急计划
● 约束条件下的资源优化
● 主导≥2个成本效益项目
● 结合标准作业程序(SOP)文件进行闭环执行

工作地点

上海浦东新区蚂蚁S空间1

认证资质

营业执照信息

职位发布者

李倩/HR

刚刚活跃
立即沟通
公司Logo软通动力信息技术(集团)股份有限公司公司标签
软通动力信息技术(集团)股份有限公司(以下简称“软通动力”)是中国领先的全栈智能化产品与服务提供商,2005年成立于北京,始终坚持创新,致力于成为一家具有全球影响力的科技企业。公司提供软件与数字技术服务、计算产品与智能电子、数字能源与智算服务以及国际化服务,员工90000人。目前,公司在10余个重要行业服务超过2600家国内外客户,其中超过230家客户为世界500强或中国500强企业。公司位列2024年中国 IT服务市场第一,入选2025年财富中国 500强企业,位列429。软通动力拥有软通咨询、软通金科、软通国际、软通工业互联、软通华方、机械革命、恒悦等业务子品牌,北京、江苏两大智能制造基地,布局北美、日韩、亚太、中东四大区域市场,在全球60余个城市构建完善的全球业务网络。公司锚定AI前沿,以人工智能工程能力为基础,科学智能(AI for Science)为引领,布局智能制造、ICT软硬基础能力和具身智能等领域,打造新产业链闭环,为客户提供场景智能(AIAgent)、终端智能(AI Terminal)、计算智能(AIInfra)的全栈智能服务。软通动力设立30个能力中心,拥有1个国家级工程实验室,6个省市政府认定的工程、技术实验室及研发中心,1个博士后科研工作站,依托全球软硬生态协同创新体系,不断探索前沿技术应用潜力。公司旗下教育品牌软通教育,拥有一家全日制本科学院——郑州西亚斯学院数字技术产业学院;全国合作院校700多所,设有70多个校企联合人才培养基地,通过校企合作、协同育人,为社会培养高素质应用型人才。软通动力先后荣获“2024新经济企业500强”、“2024年中国软件和信息技术服务竞争力百强企业”、“中国软件产业40年贡献企业”、“2024年信创领军企业”、“省级科技进步奖”,入选沪深300、中证A500、创业板50等核心指数,深交所信息披露最高“A”级评价,连续三年获得Wind ESG评级AA级等权威认可;拥有专利380+项、全球软件工程领域最高级别CMMI V2.0成熟度5级评估认证、信息系统建设和服务能力最高等级——杰出级(CS5)、信息技术服务标准(ITSS)运维能力成熟度一级认证等专业资质,支撑公司更优质的服务体系。
公司主页