岗位职责:
1、负责互联网业务线上/线下数据仓库,离线/实时平台的数据 ETL工作;
2、参与定义并负责开发业务相关平台的核心指标以及用户画像;
3、梳理互联网业务数据资产,优化数据服务,结合业务场景挖掘应用价值;
4、参与大数据架构规划、设计、部署、维护、优化、安全管理。
职位要求:
1、熟练掌握Hadoop、hive、hbase等开源工具的架构,掌握Kafka、FlinK等大数据开发工具,掌握一种或多种Clickhouse、mysql、starrocks等数据库。
2、熟悉ETL开发实施流程和原理,对数据采集、清洗、分析有丰富的实战经验。
3、熟练掌握离线数据仓库建模, 掌握业内主流的建模方法。
4、熟练掌握Linux操作系统,及shell脚本编写。
5、掌握一门编程语言,如java、python等。
6、有sql调优,计算优化经验者优先。
7、对业务需求理解能力强,对工作有较强的抗压能力。