统招大专3年以上工作经验以上,有主导数据工具链研发经验
岗位职责
主导数据工具链研发,覆盖以下方向:
1、数据平台:
1.1、ETL开发:设计并实现高效数据抽取、转换、加载流程,支撑海量数据清洗与集成。
1.2、数据湖仓构建:基于 Iceberg/Hudi 等表格式管理数据资产,优化存储与查询性能。
1.3、API/SDK服务:开发数据访问接口与工具包,提供标准化数据服务能力。
1.4、标注平台、训练平台、评测平台职责与原图完全一致(略)。
2、优化系统架构,重点保障数据管道稳定性与服务高可用性。
任职要求
1、学历背景:统专及以上计算机/电子工程/数学等相关专业。
2、技术能力(关键新增项):
2.1、ETL专项能力:
精通分布式ETL开发(Spark/Flink),具备任务调度、容错与性能优化经验。
掌握数据建模,能独立设计业务表结构。
2.2、数据湖仓与表管理:
熟练使用 Iceberg/Hudi/Delta Lake 等表格式,实现ACID事务与版本管理。
熟悉数据湖分层架构。