大数据开发工程师Flink

岗位职责
负责基于Flink的实时计算平台搭建、优化及维护，包括Flink集群部署、参数调优、故障排查，保障集群高可用、高吞吐、低延迟运行；参与数据仓库搭建、迭代及维护，结合Flink实时计算能力，完善数据仓库分层架构。
基于业务需求，使用Flink SQL/DataSet/DataStream API进行实时数据处理、流批一体计算任务开发、调试及上线，落地实时数据指标、实时报表、数据脱敏等场景，同步支撑数据仓库的实时层、明细层数据接入与更新。
参与大数据架构迭代，结合Flink生态（Flink CDC、Flink SQL Client、Flink on YARN/K8s），优化数据处理链路和数据仓库模型，提升数据处理效率、系统稳定性及数据仓库可用性。
对接业务部门，梳理实时数据需求及数据仓库建设需求，提供基于Flink+数据仓库的技术解决方案，推动业务数据化、数据实时化及数据资产化落地。
负责Flink相关技术文档、数据仓库设计文档编写、技术沉淀，指导初级开发工程师开展工作，推动团队技术能力提升。 配合数据治理、数据质量团队，完成实时数据、数据仓库数据的质量监控、异常告警、数据溯源等工作，保障实时数据及数据仓库数据的准确性和完整性。
任职要求
学历与专业 本科及以上学历，计算机、软件工程、大数据、数学等相关专业，1-3年及以上大数据开发经验，重点聚焦Flink实时计算方向。
核心技能 精通Flink核心原理，熟练使用Flink SQL、DataStream API进行实时任务开发，熟悉Flink状态管理、Checkpoint/Savepoint机制、并行度调优、背压处理。
熟悉Flink生态组件，包括Flink CDC、Flink Kafka Connector、Flink Hive Connector等，有Flink on YARN/K8s部署、运维经验者优先。
掌握大数据基础组件，熟悉Hadoop（HDFS、MapReduce、YARN）、Hive、Kafka、Redis等，能熟练运用这些组件配合Flink完成数据处理链路，**具备数据仓库搭建经验，熟悉数据仓库分层设计（ODS、DWD、DWS、ADS）及建模方法**。
熟悉Java/Scala编程语言，具备扎实的编程基础，能独立完成复杂实时计算任务、数据仓库模型开发、调试和优化。
了解流批一体架构理念，有基于Flink实现流批一体数据处理及数据仓库搭建项目经验者优先。 3. 其他要求
具备良好的问题排查能力，能快速定位Flink集群及任务中的性能瓶颈、异常问题，并给出解决方案。
具备较强的业务理解能力和沟通协调能力，能快速对接业务需求，输出合理的技术方案。
有较强的学习能力和自驱力，关注大数据领域新技术（尤其是Flink相关），能主动探索并应用到实际工作中。
具备良好的代码规范和文档编写习惯，有团队协作精神，能承受一定的工作压力。
优先条件
有大规模Flink集群（100+节点）运维、调优经验者优先。 有Flink自定义Source/Sink、UDF函数开发经验者优先。
参与过实时数据中台、实时风控、实时报表等核心项目，并有主导开发经验者优先；**有大型数据仓库搭建、建模及优化经验者优先**。
熟悉Flink底层源码，有源码二次开发或Bug修复经验者优先。