职位描述:
1.负责大数据平台的搭建、开发、优化,确保平台的稳定性、高效性和扩展性;
2.负责设计并实现数据抽取、清洗、转换(ETL)流程,从各种数据源(数据库、文件系统、日志系统等)采集数据,进行清洗和预处理,为后续分析和建模提供高质量的数据;
3.负责数据仓库的设计和建设,构建星型、雪花型等数据模型,优化数据存储结构,提高数据查询和分析效率;
4.负责支持业务部门的数据需求,提供数据分析报告和可视化报表,为业务决策提供数据支持;
5.负责配合算法团队开展数据挖掘和机器学习相关工作,探索数据中的潜在模式和规律。
职位要求:
1.本科及以上学历,计算机科学、统计学、数学、信息管理等相关专业;
2.3年以上大数据开发和分析相关工作经验,熟悉数仓建设,数据开发,数据分析,数据挖掘;
3.熟练掌握至少一种编程语言,如Java、Python、Scala等,具备良好的编程习惯和代码规范;
4.熟悉Hadoop生态系统,熟练掌握Hive、MapReduce、Spark等大数据处理框架,能够进行分布式程序开发和性能调优;
5.精通SQL语言,熟悉关系型数据库(如MySQL、Oracle)和非关系型数据库(如HBase、MongoDB)的使用和管理;
6.熟悉数据仓库建模理论和方法,能够设计和构建数据仓库模型;
7.熟悉常用的数据可视化工具(Tableau、PowerBI、Echarts、FineReport等),能够将数据分析结果以直观的方式展示;
8.具备较强责任心、沟通能力、逻辑思维能力、问题解决能力和创新能力,能够从复杂的数据中发现问题、解决问题;