必须会Java,必须会使用scala开发spark任务,必须会flink实时开发,纯ETL不合适
岗位职责:
1、主要负责数据仓库建设,离线和实时场景建模;
2、参与业务梳理和业务分析场景应用;
3、对数据的稳定性和业务一致性进行保障;
4、梳理业务资产并进行数据治理,支持数据接入接出服务。
任职要求:
1、本科及以上学历,计算机相关专业;
2、 3年以上大数据工作经验;
3、扎实的java基础,熟练使用spring boot,spring cloud框架;
4、熟练使用scala,python语言。
5、熟练企业级数据仓库体系构建,精通多种数据源SQL。
6、掌握分布式计算原理及hadoop、spark、kafka、hbase、hive、flink、hbase、es等大数据体系框架。
7、熟练使用datax,seatunnel等离线数据处理工具;
8、熟练linux常用操作命令、部署应用等。
9、掌握presto/trino、clickhouse、doris数据库的使用。