关键字:大数据迁移、Hadoop、Spark、Nifi、CDM、华为数据湖、数据仓库
主要职责:
1、负责大数据搬迁和系统集成。
2、利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
3、处理海量数据,进行实时和批处理分析,支持业务需求。
4、负责Nifi作业的迁移和调测。
5、具备良好的SQL优化能力;能够完成数据比对工作,具备数据追溯并定位出问题能力。
6、参与方案调研,能够做详细的方案设计,负责分配、管理开发任务,技术攻关,代码评审等,需要有较丰富的大数据项目经验。
岗位职责:
1. 负责数据仓库平台的数据迁移方案设计与实施;
2. 分析数据库的架构、表结构、ETL流程及性能瓶颈,制定高效、稳定的迁移策略;
3. 完成数据模型迁移、SQL脚本转换、存储过程/函数重写,确保业务逻辑在DWS中准确还原;
4. SHELL脚本能力,具备SHELL开发能力,有SHELL交付项目经验。
4. 设计并开发数据校验机制,保障迁移前后数据的一致性、完整性与准确性;
5. 与业务方、数据开发、运维团队协作,完成迁移过程中的测试、上线及问题排查;
6. 编写技术文档,包括迁移方案、数据映射文档、问题处理记录等;
7. 持续优化DWS平台的数据架构与性能,提升查询效率与系统稳定性。
基本要求:
1. 计算机、软件工程、数据科学或相关专业本科及以上学历;
2. 5年以上大数据平台或数据仓库相关开发经验,有大型数据迁移项目经验者优先;
3. 熟悉Greenplum架构原理,掌握GP中的并行处理、分布键、分区表、外部表等核心技术;
4. 熟悉主流DWS平台(如华为DWS具备实际开发与调优经验;
5. 精通SQL语言,具备复杂SQL编写、性能分析与优化能力;
6. 熟悉数据迁移流程,有过数据迁移上云经验,或者熟悉大数据 Hadoop、Spark、Flink、hive等大数据处理框架优先
7. 熟练Linux操作系统,掌握Shell脚本语言,具备自动化迁移脚本开发能力;
8. 具备良好的沟通能力、团队协作精神和抗压能力,责任心强。