大数据开发工程师

岗位职责要求
1、负责大数据平台、数仓平台相关组件安装、部署，故障排查与修复，保障平台正常运行
2、负责平台基础资源运维，包括资源监控、系统漏洞修复、制定扩容计划，完成扩容操作
3、负责平台数据采集加工任务运维，包括任务监控、任务优化、数据质量核对，保障数据任务高效运行
4、负责数据应用运维，包括问题排查与修复、部署升级、数据质量核对，保障应用功能和数据正常
5、参与运维方案、故障预案制定，负责完成运维报告编写
6. 平台承接：接收数据层面资料（架构、表结构、模型血缘、存储策略）；摸清大数据平台数据运营现状（调度、性能、优化记录），承接大数据整体运营职责；
7. 模型与架构：结合平台，进行逻辑/物理模型设计（优化或新建）；完成大数据平台架构承接与优化，设计数据链路复用方案；
8. 数据开发：负责大数据开发、指标开发和数据服务开发（基于平台开发组件）等数据和服务开发工作
9. 数据应用支撑：基于应用场景，进行应用需求分析，设计适配的数据模型或指标体系；保障模型对应用的支撑能力；
任职详细要求
一、教育背景及工作经验：
1.第一学历为本科及以上学历，985高校、211高校本科及以上学历优先。专业领域包括但不限于大数据、计算机、统计学、信息工程或与数字化相关的专业。
2.工作年限5年（含）以上，具备数字化企业、能源行业或国有企业等相关企业3年以上工作经历，有能源行业大数据平台开发或运维项目经验者优先。
对于特别优秀或公司紧缺的特殊人才，上述基本条件可适当放宽
二、专业技能要求：
1.3-5年及以上大数据平台（Hadoop生态圈）、数据仓库平台（Hive/GP/ClickHouse等）部署和运维经验。熟悉Prometheus+Grafana 监控运维工具，能结合数据库日志、组件节点日志实现故障根因下钻至SQL级别。
2.熟练掌握主流 MPP 数据库（Greenplum、ClickHouse、Vertica 等）运维，包括集群部署、参数/存储引擎调优、资源队列配置。
3.熟悉DataX/Sqoop/Flume等数据采集工具、能基于日志排查同步延迟 / 丢数问题。
4.有一定Java开发基础，熟悉Spring Boot、Spring Cloud、Mybatis等开源框架，熟悉RestfulAPI，WebService等常见服务问题诊断。
5.对高并发、高性能的分布式系统应用的设计和调优有一定基础：如缓存技术、负载均衡、系统性能调优等技术
6.熟练掌握Linux/Ubuntu命令，如系统调优、性能分析工具 (top/iostat/netstat)，熟悉Docker、Kubernetes部署与操作。
7.良好的问题分析和学习能力，有运维方案、故障预案和运维报告编写能力。
8.熟悉远景EnOS平台优先、用友大数据平台优先。
9.精通数据仓库理论与建模： 深刻理解维度建模（Kimball/Inmon）理论，具备丰富的分层模型设计经验。负责数据仓库各层（如ODS, DWD, DWS, ADS, DM）的数据模型设计、开发与优化，构建清晰、稳定、易于理解的数据体系。
10.熟悉离线、实时、流批一体数据处理流程，有实际开发经验。
11.精通SQL，熟悉窗口函数、性能调优等高级技巧。编写高质量、可维护的数据ETL/ELT脚本，有参与核心数据的开发工作经验。
12.熟悉大数据技术： 熟练掌握Hive、Spark、Flink、Kafka、OLAP数据库等至少两种主流大数据组件，并了解其原理。
13.编程语言： 熟练掌握Shell、Python、Scala等脚本或编程语言中的一种或多种。
14.工具与流程： 熟悉ETL和调度工具，如DataX、kettel
三、其他要求：
1.具备较强责任心，能接受7*24小时接听电话；
2.可参与集团现场值班工作；