.负责数据仓库平台的数据迁移方案设计与实施;2.分析数据库的架构、表结构、ETL流程及性能瓶颈,制定高效、稳定的迁移策略;
3.完成数据模型迁移、SQL脚本转换、存储过程/函数重写,确保业务逻辑在DWS中准确还原;
4.设计并开发数据校验机制,保障迁移前后数据的一致性、完整性与准确性:
5.与业务方数据开发、运维团队协作,完成迁移过程中的测试、上线及问题排查;
6.编写技术文档,包括迁移方案、数据映射文档、问题处理记录等;7.持续优化DWS平台的数据架构与性能,提升查询效率与系统稳定性。
基本要求:
1.计算机、软件工程、数据科学或相关专业专科及以上学历;
2.5年以上大数据平台或数据仓库相关开发经验,有大型数据迁移项目经验者优先:
3.熟悉Greenplum架构原理,掌握GP中的并行处理、分布键、分区表、外部表等核心技术;
4.熟悉主流DWS平台(如华为DWS具备实际开发与调优经验:
5.精通SQL语言,具备复杂SQL编写、性能分析与优化能力:
6.熟悉数据迁移流程,有过数据迁移上云经验,或者熟悉大数据Hadoop
Spark、Flink、hive等大数据处理框架优先7.熟练Linux操作系统,掌握Shell脚本语言,具备自动化迁移脚本开发能