大数据平台DBA（CDH方向）

1.CDH集群部署与初始化

负责 CDH（Cloudera Distribution Including Apache Hadoop）大数据平台的规划、部署与初始化工作。根据业务需求和服务器资源情况，制定合理的集群部署方案，确保 HDFS、MapReduce、YARN、Hive、HBase、Spark 等核心组件正确安装配置，保障集群初始状态稳定可靠；

2.CDH集群日常运维

承担 CDH 集群的日常运行维护工作，包括但不限于集群状态监控、性能巡检、日志分析等。通过 Cloudera Manager 实时掌握集群各节点及组件的运行状态，及时发现并解决潜在问题，确保集群持续稳定运行；

3.集群扩容与资源调整

根据业务增长需求，制定 CDH 集群扩容方案，完成节点添加、存储和计算资源扩展等操作；根据各组件的运行负载，合理调整 YARN 等资源调度相关配置，优化资源分配，提高集群资源利用率；

4.故障处理与应急响应

负责 CDH 集群各类故障的排查与处理，如 HDFS 块损坏、节点宕机、组件服务异常等。建立完善的故障应急响应机制，快速定位问题根源并采取有效措施恢复集群正常运行，减少故障对业务的影响；

5.数据安全与权限管理

基于 CDH 内置的安全框架，如 Kerberos 认证、Sentry 权限控制等，负责集群的安全配置与管理。制定数据安全策略，严格控制用户访问权限，定期进行安全审计，保障集群数据的安全性和合规性；

6.版本升级与补丁更新

关注 CDH 及相关组件的版本更新和补丁发布情况，制定合理的版本升级和补丁安装计划。在不影响业务正常运行的前提下，完成版本升级和补丁部署工作，提升集群的稳定性和安全性；

7.文档编写与知识转移

编写 CDH 集群部署、运维、故障处理等相关文档，包括操作手册、故障处理指南等。定期组织团队内部技术分享，转移运维经验，提升团队整体技术水平；

8.跨团队协作

与开发团队、业务团队保持密切沟通，了解业务需求和数据处理需求。为开发团队提供 CDH 平台相关的技术支持，协助解决开发过程中遇到的平台相关问题，保障数据处理任务的顺利进行；

基本要求：

1. 本科及以上学历，计算机科学与技术、软件工程、大数据相关专业优先；

2. 具有 5 年及以上大数据平台运维经验，其中至少 3 年 CDH（Cloudera Distribution Including Apache Hadoop）部署运维相关经验;

3. 有大型 CDH 集群（100 节点及以上）运维经验者优先；

4. 熟悉 CDH 平台的架构和核心组件（HDFS、MapReduce、YARN、Hive、HBase、Spark 等）的原理及运行机制；

5. 熟练使用 Cloudera Manager 进行 CDH 集群的部署、监控、管理和故障排查；

6. 具备 CDH 集群性能调优能力，能够针对不同业务场景优化集群配置参数；

7. 熟悉大数据平台常用的监控工具（如 Ganglia、Nagios 等）和日志分析工具，能够及时发现并解决集群性能和运行问题；

8. 了解 Kerberos、Sentry 等安全组件的配置和使用，有数据安全和权限管理经验者优先；

9. 掌握 Shell、Python 等脚本语言，能够编写自动化运维脚本者优先；

10. 具备较强的问题分析和解决能力，能够快速定位并处理集群各类故障；

11. 具有良好的沟通协调能力和团队合作精神，能够高效地进行跨团队协作；

12. 工作认真负责、严谨细致，具有较强的责任心和抗压能力；

13. 有持续学习的意愿和能力，能够及时掌握大数据领域的新技术和新动态；

14. 根据项目及客户需求，服从领导和公司安排的办公地点调度和出差；

15. 根据项目进度及需求，有义务配合关联部门的协助工作；

有义务遵守公司最新的员工手册、保密协议、考核规则等规章制度