更新于 1月19日

数据平台架构师

3-6万
  • 北京丰台区
  • 3-5年
  • 本科
  • 全职
  • 招1人

职位描述

云计算/大数据
工作职责
1. 结构化数据服务平台建设
自动化集群部署:设计和实现数据库集群(如MySQL、PostgreSQL、Oracle高可用架构)的快速部署、自动化扩缩容与配置管理。
自服务门户:建设内部平台,让业务方可以自助申请、创建、监控和管理自己的数据库实例。
高可用与容灾:为每个数据库实例提供默认的高可用方案(如自动故障切换)和备份恢复机制(如定时快照、Binlog备份)。资源隔离与配额管理:实现CPU、内存、存储和连接数的资源限制与监控,防止单一服务过度消耗资源影响其它服务。
2.非结构化文件服务平台建设
主导非结构化数据存储架构规划,设计整合对象存储、文件系统等混合存储方案
构建高可用分布式存储集群,设计数据冗余策略和跨区域容灾方案
确保平台具备弹性扩展能力,满足业务快速增长需求
提供标准化的S3、NFS等访问协议,确保与各业务系统无缝集成
3.大数据基础平台建设
实时分析平台:设计基于 Apache Flink 的流处理管道。选择合适的实时OLAP数据库(如 ClickHouse、 Apache Doris)。
离线分析平台:构建基于 Apache Spark、Hive、Tez 的大规模分布式批处理集群,与资源调度器(如 YARN、 Kubernetes)紧密集成,高效管理集群资源。
交互式查询:架构和优化OLAP引擎,如 Presto / Trino、 Apache Druid、 ClickHouse,设计湖仓一体架构,使查询引擎能直接、高速地分析数据湖(S3)中的数据。
任职资格
1.结构化数据服务能力:精通主流数据库(MySQL/PostgreSQL/Oracle)的高可用架构、自动化运维与平台化建设,具备资源隔离与容灾备份设计经验。
2.非结构化数据架构能力:掌握对象存储与文件系统,能设计高可用、可弹性扩展的分布式存储集群及跨区域容灾方案。
3.大数据平台技术栈:具备构建实时(如Flink)、离线(如Spark/Hive)及交互式查询(如Presto/ClickHouse)数据处理平台的能力,熟悉湖仓一体架构。
4.平台化与自动化思维:擅长通过自服务门户、自动化部署与资源管理,提升数据基础设施的效率和资源治理水平。

工作地点

北京丰台区好雅大厦

职位发布者

王女士/HRBP

立即沟通
公司Logo山东东明石化集团有限公司公司标签
山东东明石化集团有限公司,位于黄河入鲁第一县山东省菏泽市东明县。始建于1987年,东明石化现有员工8000人,总资产650亿元,原油年一次加工能力过千万吨,年销售收入超千亿元人民币,是以基础炼油、高端化工为主,集终端零售、国际物流、国际贸易等为一体的产业链条化、国际化、清洁化、高端化工型企业集团。产业分布菏泽东明、江苏连云港、北京、上海、济南、青岛、日照、香港、新加坡等地,拥有国际化的经营网络,从国际原油采购、国际物流、千万吨生产基地到终端加油站,具有全球资源采购和优化能力。2024年位居“中国企业500强”第177位2024年“中国民营企业500强”第56位2024年“山东民营企业100强”第4位2023年“中国民营企业纳税500强”第8位
公司主页