更新于 1月22日

大数据仓库工程师

5000-10000元

职位描述

数据清洗数仓开发Hive sql
职责:
  1. 根据业务和算法需求设计数仓分层模型,建立 ODS、DWD、DWS、ADS 数据仓库分层体系,设计多模态融合的主题数据库。
  2. 编写Flink、Spark任务实现批流一体数据清洗、聚合与指标计算,构建全链路数据血缘标签体系。
  3. 掌握Doris、Hive等数据仓库,制定数据存储分区及冷热分离策略,保障数据查询性能与效率。
  4. 掌握java、python等编程语言,负责数据中台核心模块的后端开发与优化。
任职要求:
  • 本科及以上学历,计算机或相关专业背景,3 年以上数据仓库建模与开发经验,熟悉 Kimball 维度建模理论与数据仓库分层方法论。
  • 精通 SQL 及性能优化,具备大规模数据查询的性能调优经验,熟练掌握 Hive、Doris、ClickHouse等数据仓库,理解其适用场景与核心技术原理。
  • 深入理解 ODS→DWD→DWS→ADS 数据分层架构与数据处理流程,具备数据血缘追踪、数据质量管理与数据资产化落地经验。
  • 熟练掌握 Java 、Python、Scala等编程语言,具备数据中台核心模块的后端开发与优化能力。
  • 能够使用 Spark/Flink 等计算引擎进行批流一体数据处理,了解 Iceberg、Hudi 等开源表格式及列式存储技术原理与应用。

工作地点

石家庄裕华区环球智汇中心-C座西塔23楼

职位发布者

秦女士/人事专员

三日内活跃
立即沟通
公司Logo河北鹏鹄信息科技有限公司
河北鹏鹄信息科技有限公司(以下简称“公司”)创立于2021年9月30日,公司作为河北省内首家专注于人工智能技术赋能智慧交通领域的创新型科研单位,依托自身专注于AI、大数据治理、物联网技术领域不断深耕,同时基于自有国际化前沿团队先进的研发、应用能力优势及多项技术专利加持,根植于交通运输行业,尤其是针对省内各级高速路、国省干线及农村公路的“建、管、养、运”全流程工作环节,不断予以“信息化”、“智慧化”的深层次、多维度赋能。公司自创建以来,一直坚持“轻量化智慧交通”的产品研发、应用理念,紧紧围绕国家“十四五规划建设纲要”及“交通强国建设纲要”等国家政策文件对智慧交通领域的相关提升要求,坚持问题导向,不断因地制宜,提供定制化服务,利用人工智能赋能传统道路机电设备,模拟人脑的发现、思维过程,极大降低人为误判干扰,提升各级无人值守能力,使其实现大幅智慧化提升;同时利用行业领先的数据融合技术,极大降低智能化硬件设备的投入及管控系统平台的重复建设,大大降低客户智慧化提升的各项投入成本,为河北省内各级道路管养部门及企业提供了各类有针对性的“精细化”、“模块化”智慧交通提升方案,其中“长大桥隧智慧管理平台”、“交通大脑系统”及“数据中枢系统”等产品已在省内各级地市县级道路管养部门进行成功布设搭建,并获得各级客户的高度认可,为省内各级道路的智能化提升工作做出卓越贡献。
公司主页