数据湖开发工程师

职位描述
我们正在寻找一位具备 3-5 年大数据开发经验的资深工程师，加入我们快速发展的数据团队。您将负责基于
Flink + StarRocks 核心技术栈，构建极速、高效的超大规模实时计算与极速分析平台。平台同时承载了 AI 与大数据融合的创新应用，如果您对高并发流处理、百亿级数据秒级查询、StarRocks
深度调优以及实时特征工程有浓厚兴趣，我们期待您的加入。
核心职责
1. 实时数据架构开发与演进

• 架构落地：基于
  Flink + StarRocks 构建高性能、低延迟的实时数据仓库与极速
  OLAP 分析平台。
• 实时计算：设计并实施全链路实时数据管道，利用 Flink 实现海量数据的实时清洗、多流关联、滚动聚合与状态计算。
• 极速分析：负责 StarRocks 核心存储模型的设计、极速 OLAP 查询引擎的落地，支撑业务高并发、秒级多维分析需求。

2. 高并发流处理与性能攻坚

• 高性能开发：编写高质量的 Flink 流处理作业，熟练处理高吞吐、大状态（State）及数据倾斜等复杂场景。
• 性能压榨：负责 StarRocks 的计算与存储优化，包括物化视图设计、索引配置、分区/分桶策略调整及 SQL 深度调优。
• 平台稳定性：构建全链路监控告警体系，实时跟踪 Flink 作业背压、检查点（Checkpoint）健康度及 StarRocks 集群负载。

3. AI 应用支持与数据服务

• 特征流生成：与算法工程师协作，利用 Flink 构建高性能、低延迟的实时特征工程流水线。
• 工程支持：提供支撑机器学习平台的大规模、高吞吐训练数据集，参与 AI 场景下的高性能实时数据架构设计。

任职要求
必需条件（3 年以上经验）
核心技术栈

• 实时流处理：精通
  Flink，具备扎实的流处理理论基础，有丰富的
  State、Window、Time 处理及 Checkpoint 调优经验，熟练掌握 Flink SQL 与 DataStream API。
• 极速 OLAP 架构：精通 StarRocks 及其生态，有千万级至亿级以上数据量的实际项目部署、生产运维和深度优化经验。
• 编程能力：熟练掌握
  Java / Scala，具备扎实的编码功底、良好的算法基础和高并发编程能力。

架构与工程经验

• 实时架构经验：3 年以上大数据开发经验，其中至少 1-2 年专注于 Flink 实时计算 + StarRocks 极速分析架构的落地。
• 项目全周期：作为核心骨干，完整参与过基于 Flink 实时消费、StarRocks 极速分析的生产项目实施。

AI 工程化能力

• 有大数据与 AI 结合的项目经验，具备实时特征工程开发经验，能够构建高质量的实时特征数据集。
• 了解机器学习工作流程，有在 Flink 转换算子中嵌入模型预测/推理逻辑的实际经验者优先。

深度能力要求（技术攻坚）
1. Flink 深度调优

• 能够定位并解决严重的数据倾斜、反压（Backpressure）以及 OOM 问题。
• 精通 RocksDB 状态后端（State Backend）配置，具备大状态（Large State）优化与增量 Checkpoint 调优能力。

2. StarRocks 性能压榨

• 精通 StarRocks 的明细模型、聚合模型、更新模型及主键模型的适用场景与选型。
• 精通 异步/同步物化视图、Colocate Join、Runtime Filter 及各类索引（Bitmap、Bloom Filter）的优化技巧。
• 具备分析 Query Profile、定位查询瓶颈并实施 SQL 改写与调优的能力

优先考虑（加分项）
1. 极速架构与大规模调优

• 有 PB 级或单表百亿级以上数据规模的 StarRocks / Flink 架构调优经验。
• 深入理解 Flink SQL 内部机制与优化器原理，或有 StarRocks 源码级定制经验者优先。

2. AI 实时工程化

• 有实时特征仓 / 特征商店（Feature Store）的设计与落地经验。
• 熟悉 MLOps 体系，有在 Flink 流水线中实现自动化模型数据供给经验者优先。

3. 社区贡献

• Apache Flink 或 StarRocks 开源社区活跃贡献者（Contributor）优先。

教育背景

• 计算机科学、软件工程、数据科学或相关专业本科及以上学历。