1、负责项目软件的设计和开发,负责Hadoop的开发工作。
2、参与智能风控建模工作,负责数据分析与处理、数据统计、数据挖掘。
3、负责系统性能优化,监控和调整集群资源利用率,识别和解决数据处理过程中的性能瓶颈。
岗位要求:
1、掌握 SQL,熟悉 Hadoop、Spark等大数据框架,精通至少一种 ETL 工具。
2、能拆解业务需求,将业务逻辑转化为可执行的 ETL 处理规则。
3、具备索引优化、数据分区等性能调优经验。
4、了解Shell 脚本语言,熟悉 Hive、HBase 等数据存储系统。