岗位职责
1、负责离线、实时数据模型(含ODS、DWD、DWS等层级)的设计、开发与实现,搭建完善的数据监控体系,及时排查并解决数据开发及运行过程中的各类技术问题。
2、深入对接业务需求,提供大数据技术解决方案,支撑现有业务数据处理需求,同时具备前瞻性,能应对未来业务快速增长带来的海量数据处理挑战。
3、提供面向业务方的报表、数据提取等数据服务;
任职要求:
1、计算机或相关专业专科及以上学历,3年以上数据仓库设计开发经验;
2、具备较好的沟通能力、适应能力和理解能力;
3、有运营商经分、数据仓库建模经验者优先;
4、精通Hive编程,能编写复杂Hive SQL并具备性能优化能力;熟悉Hadoop生态相关技术及实践经验,包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具备海量数据加工、处理与分析的实战经验。
5、深入了解大数据在不同场景下的读写业务流程及优化原理,具备Hive/Spark/Flink等组件的性能调优能力;能快速定位分布式系统中的数据延迟、计算瓶颈等问题并给出解决方案。
6、掌握至少一门主流编程语言(Java/Scala/Python/Shell等),能熟练运用其进行大数据相关脚本开发、任务调度及自动化工具实现。