服务职责:
1、负责大数据集群的日常维护,包括监控、告警响应、告警处理等。
2、负责大数据集群的故障应急处理、根因分析、优化治理和隐患整改等。
3、负责大数据集群的租户管理,包括存储资源划分、计算资源划分和权限管控等。
4、负责大数据集群各组件的搭建、缩容、扩容、版本升级和迁移。
5、负责编写运维相关的自动化脚本,监控系统搭建、优化,撰写大数据平台运维相关文档。
6、负责大数据集群各组件BUG修复、安全漏洞修复。
7、大数据平台7*24小时值班,重大节假日活动期间重保值守。
8、协助上层应用完成异常作业优化。
9、新技术栈、新架构的研究,测试,部署和验证。
服务要求 :
1、大学专科8年或大学本科5年或研究生3年以上通信、互联网、计算机等专业领域工作经验。
2、具有专业领域一个及以上高级认证资质者优先。
3、精通Linux 基本命令,可对大数据集群底座环境进行性能优化。
4、精通ansible、expect、shell等自动化工具。
5、具有CDH、CDP、HDP、开源Hadoop等主流大数据平台的运营、维护、建设和升级经验。
6、精通JVM运行原理,并对常见的JVM性能问题进行深度优化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可处理常见问题。
8、可使用Ranger、knox、Kerboers、iptables对Hadoop集群进行安全加固。
9、熟练使用Promethus、Grafana、zabbix、Ganglia等开源监控工具的搭建和配置。
10、对Hadoop各组件有源码级分析能力。
11、掌握SQL语言,可编写Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。
12、对计算存储分离、联邦RBF、数据湖等架构有深入了解。
13、具有较强的学习能力、逻辑思维能力、沟通能力、团队协作能力,抗压能力强。
14、熟练使用Microsoft Office、XMind、Visio等办公软件。