数据平台架构师

工作职责
1. 结构化数据服务平台建设
自动化集群部署：设计和实现数据库集群（如MySQL、PostgreSQL、Oracle高可用架构）的快速部署、自动化扩缩容与配置管理。
自服务门户：建设内部平台，让业务方可以自助申请、创建、监控和管理自己的数据库实例。
高可用与容灾：为每个数据库实例提供默认的高可用方案（如自动故障切换）和备份恢复机制（如定时快照、Binlog备份）。资源隔离与配额管理：实现CPU、内存、存储和连接数的资源限制与监控，防止单一服务过度消耗资源影响其它服务。
2.非结构化文件服务平台建设
主导非结构化数据存储架构规划，设计整合对象存储、文件系统等混合存储方案
构建高可用分布式存储集群，设计数据冗余策略和跨区域容灾方案
确保平台具备弹性扩展能力，满足业务快速增长需求
提供标准化的S3、NFS等访问协议，确保与各业务系统无缝集成
3.大数据基础平台建设
实时分析平台：设计基于 Apache Flink 的流处理管道。选择合适的实时OLAP数据库（如 ClickHouse、 Apache Doris）。
离线分析平台：构建基于 Apache Spark、Hive、Tez 的大规模分布式批处理集群，与资源调度器（如 YARN、 Kubernetes）紧密集成，高效管理集群资源。
交互式查询：架构和优化OLAP引擎，如 Presto / Trino、 Apache Druid、 ClickHouse，设计湖仓一体架构，使查询引擎能直接、高速地分析数据湖（S3）中的数据。
任职资格
1.结构化数据服务能力：精通主流数据库（MySQL/PostgreSQL/Oracle）的高可用架构、自动化运维与平台化建设，具备资源隔离与容灾备份设计经验。
2.非结构化数据架构能力：掌握对象存储与文件系统，能设计高可用、可弹性扩展的分布式存储集群及跨区域容灾方案。
3.大数据平台技术栈：具备构建实时（如Flink）、离线（如Spark/Hive）及交互式查询（如Presto/ClickHouse）数据处理平台的能力，熟悉湖仓一体架构。
4.平台化与自动化思维：擅长通过自服务门户、自动化部署与资源管理，提升数据基础设施的效率和资源治理水平。