大数据开发工程师

大数据开发工程师岗位描述
岗位职责
1. 基于Hadoop、Spark、Flink等大数据技术栈，开发并维护离线/实时数据处理链路，完成数据采集、清洗、转换、计算等全流程工程实现；
2. 参与企业数据仓库分层建模（ODS/DWD/DWS/ADS），设计表结构、维度与指标体系，落地数仓建设与迭代优化；
3. 负责大数据平台集群的日常运维、性能调优、任务监控及故障排查，保障数据流转的高可用、高并发与高效性；
4. 对接业务部门数据需求，开发数据接口、定制化数据加工任务，支撑业务分析、报表可视化及数据应用落地；
5. 参与大数据技术选型、架构设计与方案评审，解决数据存储、同步、计算等场景下的工程问题，推动技术架构迭代；
6. 规范数据开发流程，编写技术文档，推动团队开发标准化、工程化落地。
任职要求
1. 本科及以上学历，计算机、软件工程、大数据等相关专业，2年及以上大数据开发相关工作经验；
2. 精通Hadoop、Spark、Flink核心原理，熟练使用Scala/Java/Python进行大数据开发，能独立完成离线/实时任务开发；
3. 熟悉数据仓库建模理论（星型/雪花模型、维度建模），有实际数仓建设落地经验，能设计合理的指标与维度体系；
4. 掌握Hive、HBase、ClickHouse、Kafka等大数据组件的使用与调优，熟悉数据同步工具（DataX/Sqoop/FlinkCDC等）；
5. 具备良好的问题排查能力，能定位并解决集群故障、任务性能瓶颈、数据一致性等问题；
6. 拥有良好的业务理解能力、沟通协作能力和文档编写能力