更新于 11月21日

hadoop大数据运维工程师(驻场,长期)

1.5-1.6万
  • 北京大兴区
  • 5-10年
  • 大专
  • 全职
  • 招1人

职位描述

Hadoop运营商/增值服务
服务职责:
1、负责大数据集群的日常维护,包括监控、告警响应、告警处理等。
2、负责大数据集群的故障应急处理、根因分析、优化治理和隐患整改等。
3、负责大数据集群的租户管理,包括存储资源划分、计算资源划分和权限管控等。
4、负责大数据集群各组件的搭建、缩容、扩容、版本升级和迁移。
5、负责编写运维相关的自动化脚本,监控系统搭建、优化,撰写大数据平台运维相关文档。
6、负责大数据集群各组件BUG修复、安全漏洞修复。
7、大数据平台7*24小时值班,重大节假日活动期间重保值守。
8、协助上层应用完成异常作业优化。
9、新技术栈、新架构的研究,测试,部署和验证。
服务要求 :
1、大学专科8年或大学本科5年或研究生3年以上通信、互联网、计算机等专业领域工作经验。
2、具有专业领域一个及以上高级认证资质者优先。
3、精通Linux 基本命令,可对大数据集群底座环境进行性能优化。
4、精通ansible、expect、shell等自动化工具。
5、具有CDH、CDP、HDP、开源Hadoop等主流大数据平台的运营、维护、建设和升级经验。
6、精通JVM运行原理,并对常见的JVM性能问题进行深度优化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可处理常见问题。
8、可使用Ranger、knox、Kerboers、iptables对Hadoop集群进行安全加固。
9、熟练使用Promethus、Grafana、zabbix、Ganglia等开源监控工具的搭建和配置。
10、对Hadoop各组件有源码级分析能力。
11、掌握SQL语言,可编写Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。
12、对计算存储分离、联邦RBF、数据湖等架构有深入了解。
13、具有较强的学习能力、逻辑思维能力、沟通能力、团队协作能力,抗压能力强。
14、熟练使用Microsoft Office、XMind、Visio等办公软件。

工作地点

北京大兴区联通大楼

职位发布者

莫韵韵/人事交付

昨日活跃
立即沟通
公司Logo北京科迈网通讯技术有限公司
公司简介北京科迈网通讯技术有限公司,于2010年4月注资5500万在海淀区上地高新技术核心区挂牌成立。客户范围涉及致各个中大企业、政府机构等,致力于提供网络设备及系统设备的维修维护,运营商的系统支持及IT外包服务。业务涵盖各种网络设备、小型机、数据库、网络安全、机房管理等技术支持。为保障IT产品设备和信息系统的高效稳定运行,提供高品质,高效率的专业技术服务。以及软件自主开发、销售、软件维护等业务。服务团队科迈拥有150余人的专业团队,其中专业技术服务人员,占公司总人数的75%其中80%均持有不同水平认证,经过多年专业的IT服务经验积累,培养了一批IT业务网络的复合型工程师。我们致力于高水平高素质网络人才,统招专科学历员工占40%,本科及以上学历员工占60%。正是团队中的高素质、高学历、高水平的员工的努力,为公司赢得了数家合作企业负责人的一致好评。员工福利科迈注重企业发展,并同时兼顾对员工的工作指导,技能培训,员工关怀等。每位在科迈的员工公司都会为其参加社会保险及住房公积金;在传统节日来临时公司也会送上一份祝福,以及年会等活动等。前景展望科迈注重科学化管理方式、人性化理念,并坚持开拓创新的发展路线,依托在网络通讯技术领域积累的丰富知识和经验,以专业的技术和职业的精神服务于中大型客户。并将该信念贯穿在我们为客户提供价值服务的每一个动作和细节中,固化在我们企业运作的各个流程上。在未来的发展建设中,我们会在保证服务质量、团队协作、技术体现的情况下,不断升级现代化步伐。同时,科迈通讯把与各层面事业伙伴的合作视为本公司发展核心战略之一,真诚希望与政府通讯与软件管理机构、教育科研机构、各应用软件和系统软件厂商、 IT技术咨询公司、系统集成公司等组织结成合作伙伴,共同去创造网络经济的奇迹。
公司主页