更新于 3月4日

大数据开发(实时数仓方向)

1-2万
  • 天津和平区
  • 五大道
  • 3-5年
  • 本科
  • 全职
  • 招1人

职位描述

HadoopFlinkSpark
一、岗位职责
负责大数据体系及实时计算平台的设计、开发与维护,熟练使用Flink等主流实时计算引擎,独立设计数据处理链路,覆盖实时数据采集、清洗、转换、计算与写入,以及实时指标计算、实时标签生成、CDC数据入湖、实时数据同步等核心场景;
参与数据湖分层建模、schema设计与存储优化,主导数据处理流程设计、代码开发、单元测试与上线交付,保障数据质量与开发效率;熟练使用Hive/SQL进行数据开发,兼顾离线与实时数据处理需求;
负责实时任务的运维、监控、告警与故障处理,保障数据处理链路7×24小时高可用运行;
参与大数据平台及OLAP引擎(如StarRocks)的运维、监控、参数调优与集群稳定性建设。
二、任职要求
计算机相关专业,本科及以上学历;
3年及以上实时数据开发经验,有3个及以上完整实时数仓项目落地经验;熟悉Linux系统操作;
熟练掌握Java开发语言,精通Flink实时计算,熟练使用Flink CDC、Kafka等技术栈,能独立设计并实现高吞吐、低延迟的数据处理链路,包括实时指标、实时标签、CDC入湖、StarRocks实时写入与查询加速等场景;
具备数据湖分层建模、存储优化与查询优化能力,熟悉实时数仓建设规范与最佳实践;熟悉StarRocks,了解CDP产品相关组件(HDFS、Hive、Solr、Spark、Iceberg等),熟练使用Hive/SQL进行离线数据开发;
工作严谨、责任心强,具备良好的问题排查、性能调优、故障处理与跨团队协作能力,能高效保障项目进度与交付质量,具备保障实时任务7×24小时高可用运行的意识与能力。

工作地点

天津和平区津汇广场-2座17层

职位发布者

陈甜/人事经理

三日内活跃
立即沟通