AI数据开发工程师

工作职责
1. 承接PB级海量业务数据处理需求，完成数据ETL/ELT流程开发、数据清洗、转换、加工与加载，保障数据产出的及时性与准确性。
2. 熟练运用Hive、Spark、Doris等大数据核心组件，完成海量数据的计算开发、存储优化、查询性能调优，解决大数据量下的计算瓶颈问题。
3. 熟练使用AI辅助编程工具，借助AI能力提升代码开发效率、优化脚本逻辑、简化复杂数据开发任务，保障代码质量与开发进度。
4. 参与数据平台架构优化，针对PB级数据处理场景，优化数据调度、数据存储与计算方案，提升数据平台整体运行稳定性与处理效率。
岗位要求
1. 本科及以上学历，计算机、软件工程、大数据、统计学等相关专业，3年及以上大数据数据仓库开发实战工作经验。
2. 具备PB级海量数据处理与开发实战经验，熟悉海量数据下的存储、计算、调度优化逻辑，有大型数据平台开发经验者优先。
3. 熟练掌握Hive、Spark SQL、Spark Core、Doris等大数据技术栈，熟悉Hadoop大数据生态，具备扎实的SQL开发与调优能力。
4. 拥有丰富的数据治理实战经验，参与过数据标准制定、数据质量监控、元数据管理、数据资产梳理等相关项目。
5. 熟练使用各类AI辅助编程工具（如GitHub Copilot、通义灵码、Codeium等），能独立借助AI工具完成数据脚本开发、调试与优化。