高级大数据开发工程师

岗位职责
1.负责公司数据产品的系统设计工作，承担核心功能代码编写，开发与维护系统公用核心模块；
2.参与公司平台实时计算引擎（Flink/Spark）系统的架构设计、开发、优化工作，从稳定性、性能和功能等多方面进行架构设计和实现，能独立完成功能模块设计及研发工作；
3.负责公司底层数仓数据库的基础建设；
4.负责公司实时计算引擎（Flink/Spark）的迭代开发及功能抽象；
5.接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升；
任职要求：
1. 本科以上（含）学历，5年以上开发经验；除Java外有Python、Scala语言开发经验的优先考虑；
2. 具备数据平台研发经验，具备优秀的系统架构设计能力；掌握数据管道、元数据管理、数据质量等功能设计；熟悉Lambda/Kappa/湖仓一体等大数据架构；
3. 熟练掌握Spark/Flink引擎工作原理，熟悉其源码及其任务运行流程，熟悉或了解过Apach Beam；
4. 熟练掌握Flink/Spark数据开发流程和编程模型，具备实时计算任务优化经验；
5. 熟悉Hadoop生态体系（HDFS/YARN/Hive/HBase等），熟悉Dolphinscheduler的基本使用；
6. 熟悉或使用过至少一种MPP数据库（如Doris、Clickhouse等）；
7. 具备良好的沟通和团队协作、逻辑思维能力、业务理解能力和业务抽象能力，做事主动积极，有技术热情和激情面对挑战。