数据治理资深主管

任职资格：
1.本科及以上学历，计算机、信息管理、数据统计等相关专业；
2.参与过公司基于Hadoop、Spark等主流开源大数据组件的数据仓库，整合超过10TB的业务数据，打通了数据采集、加工、监控、服务的全链路；
3.熟悉实时计算模块，能通过Flink/Blink对接Kafka消息队列，实现10+项业务数据的实时指标计算；
4.熟练运用Java基础框架和Web开发技术完成10+个功能组件的详细设计和开发工作；
5.参与过公司的大数据项目开发工作，熟练运用Hadoop生态环境和工具对公司日常物流数据进行了整合、计算、分析、维护和优化等工作；
6.Hadoop 生态核心组件：精通 HDFS、MapReduce、YARN 原理与调优，熟练运用 Hive 进行数据仓库建模、复杂 SQL 开发及性能优化，具备基于 HBase 设计高并发读写场景数据存储方案的能力。​
7.数据处理工具：熟练使用 Spark Core、Spark SQL、Spark Streaming 进行大规模数据处理与实时计算，熟悉 Flink 流处理框架，能根据业务场景选择合适的处理引擎。​
8.辅助工具：掌握 Kafka 消息队列，实现数据的高吞吐量异步传输；熟悉 Zookeeper 分布式协调服务，保障分布式系统的稳定性与一致性。​
9.其他技能：熟悉 Python、Java 开发语言，具备良好的代码编写规范与调试能力；了解 Linux 系统操作与常用命令，能进行基本的系统管理与维护。