数据开发工程师

职位描述

岗位职责：

1. 数据清洗与ETL开发

￮ 负责基础数据清洗、转换和加载（ETL）流程的开发与维护，使用工具（如Kettle、DataX）或脚本（Python/SQL）处理结构化/半结构化数据。

￮ 协助构建数据管道（Data Pipeline），监控数据流程运行状态，定位并修复数据异常问题。

2. 数据仓库基础支持

￮ 参与数据仓库的简单建模（如星型模型）和维度表构建，支持数据分析师完成报表开发。

￮ 维护数据存储（如Hive、MySQL），优化基础SQL查询性能。

3. 系统测试与数据验证

￮ 兼职数据系统测试，包括ETL流程验证、数据质量检查（如完整性、一致性）及测试报告编写。

￮ 协助业务团队验证数据需求，确保数据输出符合预期。

4. 技术学习与协作

￮ 学习大数据技术栈（如Hadoop、Spark）和AI数据预处理方法（如特征工程），探索数据与AI结合的初级应用场景。

￮ 配合业务团队，将数据需求转化为可执行方案。


任职要求：

1. 基本要求

￮ 本科及以上学历，计算机、统计学、数学或相关专业（应届生或1-3年经验）。

￮ 具备SQL编写能力，熟悉至少一种数据库（MySQL/Oracle/Hive）。

￮ 掌握Python或Shell脚本编程，能独立开发简单ETL任务。

2. 技术能力

￮ 必备​：

▪ 了解ETL流程及工具（如Kettle、DataX）。

▪ 熟悉Linux操作及Git版本控制。

￮ 加分项​：

▪ 接触过大数据组件（Hadoop/Hive/Spark）或BI工具（FineReport/Tableau）。

▪ 了解基础数据建模概念（如星型模型）。

3. 软素质与潜力

￮ 逻辑清晰​：能独立完成数据需求开发与问题排查。

￮ 学习能力​：对数据技术和AI结合有强烈兴趣，愿意深入技术细节（如数据特征工程、AI数据预处理）。

￮ 协作意识​：具备沟通能力和团队精神，能承担重复性工作并逐步提升效率。