岗位职责:
1.负责大数据平台(如 CDH、Spark/Flink Doris/StarRocks 等)的规划、部署、升级、扩容、迁移与灾备方案实施,保障架构的扩展性与高可用性;
2. 执 行 日 常 巡 检 、 监 控 告 警 、 性 能 分 析 与 故 障 应 急 响 应 , 对 大 数 据 集 群(Hadoop/Spark/Flink/Paimon 等)及关键数据库(Doris/StarRocks/MySQL)进行深度运维、调优与问题根治;
3.通过 Shel1/Python/Go 等脚本或工具,开发自动化运维脚本与平台工具,实现部署、监控、备份等工作的标准化与自动化,提升运维效率;
4.高效对接业务与开发团队,支持数据项目上线部署、变更发布与资源协调,并提供稳定的数据服务支持;5.参与制定并执行数据平台安全基线、备份策略与访问控制规范;
任职要求:
1.五年以上数据平台运维经验,精通 Linux,具备扎实的运维功底和高效的线上问题排查能力;
2. 熟练 Docker/Kubernetes 容器化技术,了解 Hadoop 生态体系,对 Spark、Flink、 Kafka、Seatunnel,Dolphinscheduler 等至少两种核心组件有丰富的部署、调优及故障排查经验;
3.具备主流数据库(如 Doris/StarRocks、ClickHouse、MySQL 等)的运维管理、性能优化及高可用保障能力:
4.了解主流安全设备(如 WAF、堡垒机)或安全概念(如零信任、最小权限)者优先;
5.熟悉 Prometheus、Grafana、ELK 等监控日志体系;
6.对后端服务或前端服务的架构、部署、监控及性能调优有实战经验;
7.有 CDH 或 StarRocks 集群从零搭建、大规模运维或迁移经验者,有安全处理经验者优先。