ETL

岗位职责：
一、核心职责：
1、实时数据处理：
（1） 使用 Java 编写 Flink 数据处理逻辑，熟练运用 Flink SQL 进行流式数据开发。
（2） 负责处理日均百亿级别的车辆实时数据流（如车辆状态、轨迹、告警等），进行实时清洗、聚合、风控判断。
（3） 将实时计算结果输出到 StarRocks、Redis 等查询引擎和缓存中，保障低延迟数据服务。
2、离线数据仓库：
（1） 使用 Spark 及 Hive SQL 构建和维护车联网离线数据仓库。
（2） 基 Hadoop 生态（包括 Tez 和 MapReduce 引擎）进行大规模数据的ETL开发与性能调优。
（3） 了解presto、impala、hive、yarn等hadoop相关组件
（4） 负责主题域模型设计、数据分层（ODS/DWD/DWS/ADS），支撑复杂的离线指标分析需求
（5） 有熟练使用调度工具的经验，熟悉各类抽数工具：sqoop、kettle、datax或者其他
3、 数据服务与接口开发：
（1） 使用 Java 开发高性能、高可用的数据查询接口，为前端应用、业务系统提供数据服务。
（2） 整合 MySQL（元数据/业务数据）、Redis（高速缓存）、StarRocks（OLAP查询）等多种数据源，优化查询性能。
4、技术架构与优化：
（1） 负责 Kafka 集群的数据流转架构设计，确保数据管道的稳定性和吞吐量。
（2） 持续监控和优化整个数据链路的性能，解决生产环境中的技术难题。
任职要求：
1、经验与技能：
（1） 计算机相关专业本科及以上学历，5年以上大数据开发经验。
（2） 精通 Java 语言，具备良好的编程规范和工程化能力，能够编写高质量、高性能的代码。
（3） 精通 Flink 实时计算框架，具有使用 Java API（非仅SQL）进行复杂业务开发的经验，同时熟练掌握 Flink SQL。
（4） 精通 Spark 和 Hive SQL，有基于 Hadoop（YARN）生态进行大规模离线数据处理的实战经验，了解 Tez 和 MapReduce 引擎原理。
（5） 熟练使用 MySQL、Redis，理解其核心原理与应用场景。
（6） 熟练使用 Kafka，理解其架构、吞吐量与可靠性保障机制。
（7） 具备优秀的 SQL 性能调优能力，能够解决数据倾斜等复杂问题。
2、 项目经验：
（1） 有处理日均 百亿级别 数据量的成功项目经验，具备海量数据下的系统架构设计和性能优化能力。
（2） 具备车联网、物联网或类似高并发、大数据量业务场景的项目背景者优先。