高级ETL工程师

岗位职责：
1、技术架构与规划
（1）负责企业级ETL体系架构设计和优化，制定ETL开发规范和标准
（2）主导大型数据仓库项目的技术方案设计和实施路线规划
（3）基于企业级框架如：PDFC框架，评估和引入新技术、新工具，推动ETL技术栈的升级和演进
2、复杂数据处理
（1）解决超大规模数据（TB级以上）处理的技术挑战和性能瓶颈
（2）设计和实现复杂业务逻辑的数据转换和处理流程
（3）处理跨系统、跨平台的数据集成和同步问题
3、性能优化与监控
（1）建立和完善ETL作业性能监控体系，制定性能优化策略
（2）主导关键ETL流程的性能调优，确保数据处理效率
（3）构建数据质量监控框架，保障数据的准确性和一致性
4、团队与技术领导
（1）指导初、中级工程师解决技术难题，进行代码review和技术培训
（2）负责技术难点攻关和系统故障的应急处理
（3）培养团队技术能力，传承最佳实践和经验
技术要求：
硬技能要求：
（1）5年以上ETL开发经验，3年以上大型数据仓库/数据湖/数据中台的项目架构设计经验
（2）精通至少两种主流关系型数据库（Oracle、MySQL、Postgresql、DB2等）
（3）深入掌握多种ETL工具（DataX、DataStage、Kettle等）的高级特性
（4）具备数据库高级优化能力，精通执行计划分析、索引优化、分区技术等
（5）熟练掌握调度工具，如Linux定时调度、海豚调度器、Airflow、Moia等
（5）熟悉或了解数据治理体系，有实际的数据质量管理、元数据管理经验
（6）掌握基础Python/Java/Shell开发能力，有进行二次开发和工具定制经验优先
（7）掌握BI工具的使用，如SmartBI、帆软、观远
架构能力：
（1）具备大型分布式系统架构设计经验
（2）熟悉传统数据仓库与大数据平台的融合架构
（3）有批次/实时数据管道设计和实施经验
（4）掌握高可用、容灾备份等技术方案
优先条件：
（1）有金融行业尤其是保险行业经验
（2）持有相关技术认证（OCM、CDMP等）
（3）有技术团队管理经验或项目负责人经验
（4）具备良好的技术文档编写和方案宣讲能力
（5）大数据组件使用经验，如Hadoop体系相关组件