大数据开发（必须熟悉kafka+flink，现场面试）

岗位职责
1. 基于Java技术栈进行大数据实时计算相关系统的设计、开发、测试与上线，核心负责基于Flink的实时数据处理链路搭建与优化；
2. 负责Kafka集群的日常运维、topic规划、分区优化、消息积压处理、吞吐量调优，保障消息传输的高可用、高可靠；
3. 参与需求评审，将业务需求转化为技术方案，基于Flink实现数据清洗、聚合、关联、CEP复杂事件处理等核心业务逻辑；
4. 优化Flink作业的资源配置、并行度、状态后端、checkpoint/savepoint策略，解决数据延迟、数据一致性、作业重启等问题；
5. 对接上下游系统，设计基于Kafka的消息收发方案，适配不同数据源（MySQL/Redis/日志）与下游存储（HDFS/HBase/Doris）的数据流转；
任职要求
1. 计算机相关专业，3年及以上Java后端开发经验，1年及以上Flink+Kafka大数据实时计算项目实战经验；
2. 精通Java基础语法、集合框架、并发编程、IO/NIO，熟悉SpringBoot、SpringCloud等微服务框架，具备扎实的后端开发功底；
3. 精通Flink核心原理与应用，熟练使用Flink DataStream/Table API，掌握状态管理、窗口函数、CEP、分流合流等核心功能，能独立完成Flink作业开发与调优；
4. 精通Kafka核心机制，熟悉生产者/消费者原理、分区策略、副本机制、幂等性/事务消息、消费者组管理，能独立进行Kafka集群问题排查与性能调优；
5. 熟悉大数据生态相关组件（Hadoop/Hive/Doris/Redis等），了解数据同步工具（Canal/MaxWell），具备端到端数据链路设计能力；
6. 具备良好的问题排查能力，能快速定位并解决线上Flink作业异常、Kafka消息积压/丢失、数据一致性等问题；
7. 熟悉BES/华为MRS等信创组件优先。
Kafka+Flink 大数据方向