岗位描述:
1.精通Hadoop、Spark、Flink等直流大数据框架,熟悉Kafka信息队列、Flink等数据同步工具,能独立完成海量数据的采集、清晰、加工与分心;
2.熟练使用多种数据存储技术;
3.熟悉元数据管理、数据质量管控、数据血缘追踪等实现方式;
4.熟练使用Hive\ClickHouse/Doris等储蓄引擎,具备复杂SQL编写与调优能力,掌握数据仓库分层建模思路,能支撑业务数据报表与分析需求;
5.熟悉Shell脚本编写及DolhinScheduler等任务调度工具,具备大数据任务故障排除、性能优化经验。
岗位要求:
1.大学本科及以上学历,计算机相关专业毕业,5年以上开发经验;
2.熟练使用JAVA等朱玲开源框架,熟练使用Python等开源框架;
3.熟练使用各类数据库、中间件,掌握底层原理,中间件包括Mysql、Redis、Minlo、Opensearch、ES、Kafka等;
4.熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制;
5.有大数据中台,并且在低代码平台独立开发部署经验;
6.良好的沟通能力与表达能力、团队协作能力、学习能力和功课技术难点的能力;
7.能够接受短期项目驻场开发工作。