
四川商通支付科技有限公司招聘
300-499人 · 金融科技/数字金融
已审核
已审核
14 个在招职位
公司简介
在招职位·14
区域
职位
薪资
登录查看更多相关职位
大数据开发工程师
**-**元

职位描述
岗位职责:
1、负责公司数据仓库与数据平台的建设、调优与维护,保障数据服务的高可用、数据准确性与时效性。
2、负责离线与实时数据链路的设计与开发:基于Flink、Spark完成数据接入、ETL/ELT、指标计算与数据质量校验;基于Paimon建设湖仓一体的存储与增量读写链。
3、对接公司业务部门与产品系统StarRocks完成查询建模与性能优化,并持续对计算与存储链路进行成本与,理解业务需求,与BI团队协作完成需求分析、方案设计与数据产品建设,为业务方提供稳定、易用的数据服务,支撑以数据驱动业务的发展目标。
4、持续完善DolphinScheduler调度编排、StreamPark作业管理与Jenkins发布流程,跟进数据平台技术演进,与团队共同构建科学高效的数据平台。
任职要求:
1、大学本科及以上学历,计算机或相关专业。
2、2-5年数据开发经验;具备完整的离线或实时数仓项目落地经历,能独立负责一条数据链路从方案设计到上线交付。
3、熟悉SQL,具备复杂逻辑加工与SQL性能调优经验;熟练掌握Java、Scala、Python中至少一种编程语言及相关框架,具备UDF、自定义Source/Sink等开发能力。
4、具备扎实的数据仓库建模理论功底,熟悉维度建模与数仓分层体系(ODS/DWD/DWS/ADS),在离线计算、
实时计算、ETL/ELT开发方面有丰富实践。
5、熟练使用Flink、Spark进行作业开发与调优,能够处理数据倾斜、反压、Checkpoint异常等常见问题;有Paimon、Iceberg、Hudi等湖仓技术的实际使用经验。
6、熟悉StarRocks或Doris等OLAP引擎,具备建模与查询优化经验;了解CDH/Hadoop技术体系(HDFS、YARN、Hive)与DolphinScheduler、StreamPark、Jenkins等工具的使用。
7、对数据敏感,具备快速学习、分析与解决复杂问题的能力,能够从数据异常中定位到根因并推动闭环;沟通表达良好,能与业务方高效对齐需求与预期。
1、负责公司数据仓库与数据平台的建设、调优与维护,保障数据服务的高可用、数据准确性与时效性。
2、负责离线与实时数据链路的设计与开发:基于Flink、Spark完成数据接入、ETL/ELT、指标计算与数据质量校验;基于Paimon建设湖仓一体的存储与增量读写链。
3、对接公司业务部门与产品系统StarRocks完成查询建模与性能优化,并持续对计算与存储链路进行成本与,理解业务需求,与BI团队协作完成需求分析、方案设计与数据产品建设,为业务方提供稳定、易用的数据服务,支撑以数据驱动业务的发展目标。
4、持续完善DolphinScheduler调度编排、StreamPark作业管理与Jenkins发布流程,跟进数据平台技术演进,与团队共同构建科学高效的数据平台。
任职要求:
1、大学本科及以上学历,计算机或相关专业。
2、2-5年数据开发经验;具备完整的离线或实时数仓项目落地经历,能独立负责一条数据链路从方案设计到上线交付。
3、熟悉SQL,具备复杂逻辑加工与SQL性能调优经验;熟练掌握Java、Scala、Python中至少一种编程语言及相关框架,具备UDF、自定义Source/Sink等开发能力。
4、具备扎实的数据仓库建模理论功底,熟悉维度建模与数仓分层体系(ODS/DWD/DWS/ADS),在离线计算、
实时计算、ETL/ELT开发方面有丰富实践。
5、熟练使用Flink、Spark进行作业开发与调优,能够处理数据倾斜、反压、Checkpoint异常等常见问题;有Paimon、Iceberg、Hudi等湖仓技术的实际使用经验。
6、熟悉StarRocks或Doris等OLAP引擎,具备建模与查询优化经验;了解CDH/Hadoop技术体系(HDFS、YARN、Hive)与DolphinScheduler、StreamPark、Jenkins等工具的使用。
7、对数据敏感,具备快速学习、分析与解决复杂问题的能力,能够从数据异常中定位到根因并推动闭环;沟通表达良好,能与业务方高效对齐需求与预期。
登录查看完整内容
职位发布者
袁女士
在线
人事经理 · 四川商通支付科技有限公司
工作地点
成都****************************







