工作职责
1.设计大数据架构,开发核心模块,支撑大规模数据存储与计算;
2.完成离线/实时ETL任务,保障数据处理高效准确;
3.搭建数据仓库,进行数据分层与建模;
4.维护数据质量与安全,优化平台性能;
5.配合跨团队提供数据技术支持。
要求:
1.统招本科及以上,计算机、大数据、统计等相关专业;
2.精通Hadoop/Spark/Flink等大数据组件,熟练掌握Java/Scala/Python任一语言,熟悉Hive、ClickHouse等存储工具及数据同步/调度工具;
3.具备大数据架构设计与落地能力;
4.擅长数据分析处理优化,能解决数据倾斜、任务延迟等问题;
5.掌握数据仓库建模方法,能独立排查系统异常。