职位描述
大数据平台运维REDHAT/CENTOSPrometheusGrafana产业互联网平台银行金融科技/数字金融
【岗位职责】
1、负责大数据集群核心组件的全生命周期运维，包括Ambari部署管理、Hadoop（HDFS/YARN）集群运维、Spark/Flink计算任务支持、Hive/HBase数据存储管理，以及 Kylin、Doris、ES、Zookeeper、海豚调度器的日常巡检、故障排查与版本升级，保障集群7×24小时稳定运行。2、参与大数据技术体系的信创适配落地与运维，针对飞腾、海光、鲲鹏芯片服务器，以及麒麟 V10SP2/3 操作系统，解决组件兼容性问题（如 Hadoop与鲲鹏芯片驱动适配、Flink在麒麟系统的依赖库冲突），沉淀信创环境运维手册与故障处理预案。
3、基于 RedHat、CentOS、麒麟 V10SP2/3 操作系统，通过Shell脚本实现运维任务自动化，如集群状态批量检查、日志定期清理、配置跨节点同步；同时利用Python或Go 语言研发运维工具，提升运维效率（如历史故障自动分析工具、组件配置校验工具）。
4、参与集群容量规划、性能调优与监控告警体系迭代，结合业务数据增长与计算需求，输出资源扩容建议；针对慢查询、任务阻塞等问题，联合业务团队优化SQL语句、调整组件参数。
5、负责运维文档沉淀，包括集群架构图、组件部署手册、故障处理案例、信创适配指南等，配合团队完成新人带教与技术分享。
6、完成领导安排的其他工作。
【任职要求】
1、本科及以上学历，计算机、大数据、软件工程相关专业优先，3年及以上大数据集群运维经验，有金融、互联网等大规模集群（50节点以上）运维经验者优先。
2、精通Hadoop生态组件原理与运维，能独立解决HDFS块丢失、YARN资源死锁、Hive元数据损坏、Flink任务背压等复杂故障；熟悉Spark/Flink任务提交、资源配置与调优，了解Kylin/Doris的预计算逻辑与查询优化。
3、熟练使用RedHat/CentOS系统命令，精通Shell脚本编程；具备Python或Go语言开发能力，有实际大数据运维工具开发案例（如自动化部署工具、巡检工具）者优先。
4、熟悉监控告警工具（如 Prometheus、Grafana、夜莺），能独立搭建组件监控面板、配置告警规则；具备容量规划、性能调优经验，了解云原生技术（Docker、K8s）者优先。
5、具备较强的问题分析与应急处理能力，责任心强，能接受节假日值班与突发故障应急响应。
2、精通Hadoop生态组件原理与运维，能独立解决HDFS块丢失、YARN资源死锁、Hive元数据损坏、Flink任务背压等复杂故障；熟悉Spark/Flink任务提交、资源配置与调优，了解Kylin/Doris的预计算逻辑与查询优化。
3、熟练使用RedHat/CentOS系统命令，精通Shell脚本编程；具备Python或Go语言开发能力，有实际大数据运维工具开发案例（如自动化部署工具、巡检工具）者优先。
4、熟悉监控告警工具（如 Prometheus、Grafana、夜莺），能独立搭建组件监控面板、配置告警规则；具备容量规划、性能调优经验，了解云原生技术（Docker、K8s）者优先。
5、具备较强的问题分析与应急处理能力，责任心强，能接受节假日值班与突发故障应急响应。
展开该职位详情
