岗位职责:
1、负责大数据集群等的日常维护,包括监控、告警响应、告警处理和值班等。
2、负责大数据集群故障应急处理、根因分析、优化治理、安全整改、隐患整改等。
3、负责大数据集群的搭建、缩容、扩容、版本升级和迁移。
4、负责编写运维相关的自动化脚本,撰写运维相关文档。
5、负责大数据集群租户账号开通、资源交付、低负载治理、资源回收等运营工作。
6、参与大数据平台7*24小时值班,重大节假日活动期间重保值守。
任职要求:
1、大学专科8年或大学本科5年或研究生3年以上通信、互联网、计算机等专业领域工作经验。
2、具有专业领域一个及以上高级认证资质者优先。
3、精通Linux 基本命令,可对大数据集群底座环境进行性能优化。
4、精通ansible、expect、shell等自动化工具。
5、具有CDH、CDP、HDP、开源Hadoop等主流大数据平台的运营、维护、建设和升级经验。
6、精通JVM运行原理,并对常见的JVM性能问题进行深度优化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可处理常见问题。
8、可使用Ranger、knox、Kerboers、iptables对Hadoop集群进行安全加固。
9、熟练使用Promethus、Grafana、zabbix、Ganglia等开源监控工具的搭建和配置。
10、对Hadoop各组件有源码级分析能力。
11、掌握SQL语言,可编写Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。
12、对计算存储分离、联邦RBF、数据湖等架构有深入了解。
13、具有较强的学习能力、逻辑思维能力、沟通能力、团队协作能力,抗压能力强。
14、熟练使用Microsoft Office、XMind、Visio等办公软件。