岗位职责:
1、负责数据仓库的架构设计和ETL流程开发;
2、构建和维护大数据处理平台,确保数据高效流转;
3、开发数据清洗、转换和加载程序,保障数据质量;
4、优化数据处理性能,解决海量数据计算瓶颈;
5、参与数据建模工作,支持业务数据分析需求;
6、编写技术文档,规范数据开发流程;
7、配合数据分析师完成数据应用开发。
任职要求:
1、计算机、数学或相关专业本科及以上学历;
2、4年以上大数据开发经验,熟悉Hadoop生态;
3、精通SQL,掌握至少一种编程语言(Python/Java/Scala);
4、熟悉数据仓库建模理论及ETL开发流程;
5、了解主流大数据技术(Spark/Flink/Hive等);
6、具备良好的数据敏感度和问题解决能力;
7、有数据治理或数据质量管理经验者优先。