大数据工程师

一、岗位职责
1. 数据平台建设与维护
1） 设计并搭建高可用、可扩展的大数据平台（如Hadoop、Spark、Flink生态系统）。
2）管理数据仓库（如Hive）、实时数仓（如ClickHouse）和湖仓一体架构。
2. 数据管道开发
1） 构建ETL/ELT数据管道，实现多源数据（日志、数据库、第三方API等）的自动化采集、清洗和集成。
2）开发实时流处理系统（如Kafka、Flink）支持实时数据分析。
3. 性能优化与监控
1） 优化数据存储和计算性能，解决数据倾斜、资源调度等问题。
设计监控告警体系，保障数据任务的稳定运行与服务达标。

二、技能要求
1、 硬技能
1）编程语言：精通Scala/Java/Python中至少一种，熟悉SQL。
2）大数据框架：
（1）批处理：Hadoop、Spark、Hive
（2）流处理：Flink、Kafka、Storm
（3）存储：HDFS、HBase、对象存储（如S3/OSS）
（4） 资源调度：YARN、Kubernetes
3）数据仓库与湖仓：熟悉维度建模、Delta Lake、Hudi、Iceberg等。
4）运维工具：熟悉Docker、CI/CD、监控工具（Prometheus、Grafana）。
2、软技能
1） 逻辑清晰，具备系统性解决问题的能力。
2）沟通能力强，能跨团队协作并解释技术方案。
3）对业务敏感，能通过数据技术驱动业务价值。
三、任职资格
1、 教育背景：计算机、数学、统计等相关专业本科及以上学历。
2、工作经验：3-5年经验，能独立设计数据架构，有性能调优经验。