岗位职责：
1.数据仓库建设：拥有丰富的数据仓库建设经验，包括数据建模、ETL开发和设计等。
2.核心业务设计与开发：负责大数据项目的核心业务设计和开发，确保系统的可用性和高性能。
3.技术预研：参与大数据相关技术发展方向的预研，助力业务成长，推动技术创新。
4.数据采集与同步：利用Dinky开发的FlinkSQL代码消费Kafka中的用户日志数据，并将其写入Doris、Paimon、Hudi和Iceberg的ODS层。使用DolphinScheduler配置SeaTunnel任务，同步MySQL中的业务数据到Doris的ODS层。
5.数据仓库架构设计：遵循ODS（操作数据存储）-> DWD（数据仓库明细层）/ DIM（维度数据层）-> DWS（数据服务层）-> ADS（应用数据存储）的四级数据分层架构，确保数据在Doris、Paimon、Hudi和Iceberg中的有效流转。
6.数据可视化：利用大屏可视化工具和报表工具制作和展示ADS层和DWS层的数据报表和数据大屏，直观呈现数据洞察。
任职要求：
1.学历要求：本科及以上学历，计算机、软件、数学等相关专业背景，具备3年以上大数据开发工作经验。
2.编程技能：熟悉Java，掌握Linux系统和命令、Shell编程，具备较强的独立开发能力，良好的代码风格。
3.大数据技术经验：具有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等大数据技术的开发、设计和调优经验，深刻理解大数据基础架构和平台。
4.流处理技术：熟悉Spark和Flink，深入了解Flink或Spark的原理及底层技术。
5.ETL与数据建模：熟悉数据仓库ETL开发和数据建模，具备大型数据仓库架构设计、模型设计和性能调优等相关经验。