大数据开发工程师

岗位职责：
1. 数据平台架构设计与核心开发
○ 负责公司级大数据平台与数据中台的整体架构设计、技术选型与核心模块开发，确保系统的高可用、高扩展、高性能及低成本。
○ 主导基于 Apache Flink 的实时数据计算平台建设，设计并开发实时数仓、实时ETL、复杂事件处理（CEP）等核心数据流。
○ 设计与优化基于 Apache Kafka 的数据总线，保障海量数据在不同系统间高效、可靠地传输与集成。
2. 数据仓库与OLAP系统构建
○ 基于 Apache Doris（或其他MPP引擎）设计、构建和优化企业级实时数仓与OLAP分析系统，支撑即席查询、交互式分析与报表应用。
○ 深入进行数据模型设计（维度建模、Data Vault等），制定并推动数据分层、数据治理、数据质量标准在技术层面的落地。
○ 持续进行存储与查询性能优化，包括但不限于索引策略、物化视图、数据分区分桶、查询优化等。
3. 数据管道与任务治理
○ 构建和维护高效、稳定、可监控的批流一体数据管道，确保数据从采集、处理到服务的全链路质量与时效性。
○ 负责大数据任务（Flink Job、Spark Job等）的调度、监控、告警与故障恢复体系的建设与优化。
○ 建立和完善数据血缘、数据资产目录、任务成本分析等数据治理工具链。
4. 技术攻坚与系统优化
○ 解决大数据平台在生产环境中遇到的技术难题与性能瓶颈，如数据倾斜、背压、资源利用率、端到端延迟等。
○ 持续跟进大数据领域前沿技术（如流批一体、湖仓一体、数据湖等），评估并引入合适的技术以提升平台能力。
○ 负责大数据集群（如 Hadoop/YARN, Kubernetes）的资源管理与调优，保障平台稳定高效运行。
5. 跨团队协作与能力赋能
○ 与数据产品经理、数据分析师、算法工程师及业务团队紧密合作，深入理解业务需求，提供高效、可靠的数据技术解决方案。
○ 制定和推广大数据开发规范与最佳实践，进行核心框架与工具链的封装，提升团队整体研发效率与数据质量。
○ 指导并培养初中级工程师，进行技术分享，推动团队技术成长。
任职要求：
1. 经验与基础
○ 5年及以上后端或数据相关领域开发经验，其中至少3年专注于大数据平台开发与架构设计。
○ 拥有从0到1主导或深度参与大型数据平台/数据中台架构设计与搭建的成功经验。
○ 计算机相关专业本科及以上学历，具备扎实的计算机基础（数据结构、算法、操作系统、网络）。
2. 核心技术栈
○ 精通实时计算：深入理解 Apache Flink 的核心原理（时间窗口、状态管理、Checkpoint机制），具备丰富的应用开发与调优经验。有Flink SQL或自定义Operator开发经验。
○ 精通消息队列：深入理解 Apache Kafka 架构与原理，具备高吞吐、高可用集群的部署、监控与性能优化经验。
○ 精通OLAP引擎：对 Apache Doris（或 ClickHouse、StarRocks 等）有丰富的实战经验，精通其数据模型、查询优化及集群运维。
3. 架构与开发能力
○ 深刻理解Lambda和Kappa架构，能根据业务场景设计合理的批流一体技术方案。
○ 精通Java/Scala/Python（至少一种），具备高质量、高性能代码的编写和系统设计能力。
○ 熟悉分布式系统设计原理，了解常见的数据存储方案（如HDFS、HBase、Hudi/Iceberg等）。
4. 工程化与运维能力
○ 熟练掌握Linux系统及Shell脚本，具备大数据组件在On-Premise或云平台（阿里云、AWS等）上的部署与运维能力。
○ 熟悉CI/CD流程，具备使用自动化运维工具（Ansible等）和容器化技术（Docker, Kubernetes）的经验。
○ 具备强烈的数据质量意识和系统稳定性意识，熟悉全链路监控（如 Prometheus, Grafana）与告警体系建设。
5. 软技能与思维
○ 具备优秀的系统性思维和架构能力，能平衡技术前瞻性与落地可行性。
○ 具备出色的逻辑分析能力、复杂问题解决能力及技术风险预判能力。
○ 具备优秀的沟通协调能力、团队协作精神和强烈的技术热情与自驱力。