数据开发工程师

【岗位职责】
1、负责数据仓库脚本任务及数据的迁移工作，确保最终数据完整性和一致性。
2、使用 Hive SQL 进行数据查询操作，基于 Hadoop 大数据组件完成数据脚本部署、验证。编写和维护数据搬迁相关的操作文档。
3、与业务团队和开发团队协作，确保数据搬迁项目按时交付。
【任职要求】
技术要求：
1、数据仓库技术：熟悉数据仓库的设计、建模和优化，熟悉 ETL 流程。
2、大数据组件：熟悉Hadoop生态系统（如HDFS、YARN），了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大数据组件的使用。
3、编程语言：精通 Hive SQL，能够编写复杂的查询语句；有一定 Python、Java 或 Scala 等编程语言的基础。