高级大数据开发工程师

职位概述
该职位参与公司现有大数据平台从本地传统架构向云上现代化湖仓一体架构的战略迁移与升级。本岗位要求候选人不仅需深入掌握现有技术栈（Spark、Flink、Hadoop），还需具备保险业务数据建模经验，并能将复杂业务逻辑与新一代云原生数据平台相结合，构建高性能、可扩展、低成本的数据底座。

【核心职责】
1. 主导技术平台迁移与架构升级
l 全面评估现有基于 Spark、Flink、Hadoop（HDFS/YARN）的大数据平台，参与制定向云端湖仓一体架构迁移的整体技术方案、演进路径与风险管控策略。
l 负责现有数据处理作业（Spark/Flink任务）的优化，确保其平滑迁移并高效运行于云上计算存储分离的新架构。
l 保障迁移过程中数据服务的连续性、数据的准确性与一致性。

2. 设计与构建云上湖仓一体平台
l 基于云原生技术，设计并搭建高性能、可扩展、成本优化的湖仓一体数据平台，实现数据湖的灵活性与数据仓库的治理能力的统一。
l 主导数据湖表格式（如Apache Iceberg/Hudi/Delta Lake）、云存储、资源调度及元数据管理等核心技术的选型、验证与落地实施。
3. 保险数据资产重构与开发
l 深入理解人寿保险核心业务（如保单、理赔、客户、精算等），主导现有数据模型在云上新架构下的优化、重构与落地。
l 负责设计并开发主题域数据模型（如客户全景、保单服务、风险主题），构建高质量、可复用的数据公共层。
l 熟练运用SQL及Spark/Flink进行复杂业务逻辑的数据ETL开发，并对任务进行深度性能调优。
4. 平台优化与稳定性保障
l 对迁移前后的Spark、Flink作业及Hadoop集群进行深度性能诊断与调优，解决数据倾斜、资源瓶颈等关键技术难题。
l 建立并完善新平台的监控、告警、运维及容灾恢复体系，确保平台的高可用性与稳定性。

【任职要求】
1. 技术栈经验
l 5年以上大数据开发经验，对 Hadoop（HDFS/YARN）、Spark、Flink具有丰富的生产环境开发、深度调优及运维经验，理解其核心原理与生态。
2. 云迁移与湖仓一体经验
l 具备将基于上述技术栈的大数据平台成功迁移至公有云（如阿里云、腾讯云、AWS等），并演进为湖仓一体架构的完整项目实践经验。
l 拥有Apache Iceberg、Hudi或Delta Lake等数据湖格式在生产环境中的实际应用经验。

3. 业务与数据能力
l 3年以上保险行业大数据项目经验，熟悉人寿保险核心业务逻辑与数据模型。
l SQL专家，具备编写和优化复杂SQL的能力，能高效解决业务数据处理需求。
l 了解数据治理体系（数据质量、数据血缘、数据安全）。
4. 编程能力
l 熟练掌握 Java、Scala或Python至少一门编程语言，具备扎实的编码和系统问题排查能力。