大数据研发工程师

一、核心技术栈要求
1.大数据计算与存储框架​
精通Spark、Flink，具备大规模数据计算与实时处理开发经验。
熟练掌握Hadoop、Hive、HBase，具备数据存储、查询与离线处理能力。
熟悉Kafka、Redis，具备高吞吐数据流处理与缓存设计经验。
2.数据仓库与数据集成​
熟悉OLAP数据库Doris，有实际性能优化经验者优先。
熟练使用SeaTunnel、DataX、Sqoop等进行数据同步与集成。
熟悉MySQL，具备数据库设计与调优能力。
3.编程语言​
精通Scala、Java，具备高性能、高并发系统开发经验。
二、平台与工具要求
1.任务调度与数据可视化​
熟练使用DolphinScheduler等调度工具，具备工作流设计与运维经验。
熟悉Superset、Metabase等BI工具，能够支持数据可视化需求。
2.数据治理与质量​
具备数据治理经验，熟悉数据清洗、标准化、元数据管理等流程。
了解数据管理平台或数据中台建设理念。
3.后端开发能力​
熟悉Spring Boot开发，能够支持数据服务化、API开发等相关需求。
三、运维与部署要求
1.容器化与云原生​
熟悉Docker、Kubernetes，具备容器化部署与运维经验。
2.操作系统与环境​
熟练使用Linux系统（CentOS/国产OS），具备脚本编写和系统调优能力。
四、经验与软性要求
1.项目经验​
8年及以上大数据开发经验，具备日处理十亿级数据、TB级存储的大型项目实战经验。
能够独立完成架构设计、性能优化与疑难问题排查。
2.加分项​
有国产化替代（如国产数据库、操作系统）经验者优先。
具备团队管理或技术架构规划经验者优先。