数据开发工程师

岗位职责：
1、数据中心及归数据中心管理但为独立用户的大数据平台的日检、周检、月检：
1）检查大数据平台及各组件、各租户是否处于正常服务状态；
2）监测大数据平台及各组件、各租户的资源状况；
3）平台优化升级；
2、平台故障处理；
3、支撑各业务测试场景的设计、搭建、验证，生产环境的部署和上线；
4、完成领导交办事项；
工作要求：
1. 精通 Hadoop、Spark、Flink、Kafka 等大数据组件的部署、配置、监控与调优；
2. 熟练掌握 Linux 系统管理，能熟练使用 Shell、Python 脚本进行自动化运维；
3. 熟悉 Docker、Kubernetes 容器化技术，具备大数据集群容器化部署与管理经验；
4. 掌握 Prometheus、Grafana、Zabbix 等监控工具，能搭建大数据平台全方位监控体系；
5. 具备大数据平台故障排查能力，能快速定位并解决 HDFS、YARN、Hive 等组件的常见故障；
6. 了解大数据平台性能调优方法，包括资源分配、参数优化、任务调度优化等；
7. 有大数据平台版本升级、数据迁移经验者优先；
8. 具备良好的沟通能力和团队协作能力，能配合业务部门完成测试、上线等工作。