岗位职责
- 负责公司大数据平台核心业务模块的开发与维护,基于Hadoop、Spark、Flink等主流大数据框架,构建高效、稳定的数据处理链路,支撑业务数据化运营需求。
- 参与云平台(如阿里云、腾讯云、AWS等)大数据相关服务的开发与运维对接,包括但不限于云原生大数据组件、数据湖/数据仓库服务、Serverless计算等,有云平台开发经验者优先主导相关模块。
任职要求
1、熟悉hadoop生态组件,有hadoop集群搭建调优经验:数据均衡、资源优化、性能调优
2、熟悉hive、yarn、spark原理,部署搭建Hive,spark集群,SQL优化
3、熟悉ranger原理,有ranger调优经验
4、熟悉shell、ansible,有写shell脚本和ansible脚本能力。
5、熟悉K8S,部署K8S集群,有k8s集群调优经验。