岗位职责：必要条件spark+python 开发经验
关键职责：
开发和优化用于大规模数据处理的Spark SQL查询。
读取、写入和管理OBS（对象存储服务）或类似云存储中的数据。
执行SQL脚本转换（例如，将传统的拖放ETL迁移到Spark SQL）。
设计和实施数据验证框架以确保准确性和一致性。
构建和维护批量数据处理的ETL管道。
与跨职能团队协作，了解数据需求并提供可扩展的解决方案。
优化大数据工作流程以提高性能和效率。
所需技能和资格：
有丰富的Spark SQL和大数据操作经验。
熟练读写OBS（或类似云存储）中的数据。
精通SQL（查询优化、复杂连接、聚合）。
在数据验证、清理和质量检查方面有经验。
ETL流程和数据管道开发知识。
熟悉Python/Scala for Spark优化（可选）。
能够在敏捷环境中工作，具有很强的协作技能。
有使用HCS的经验、了解数据编排工具（DataArts）优先
软技能：
较强的解决问题能力和分析思维。
优秀的沟通和团队合作
能够在快节奏、不断发展的数据环境中工作。
教育和经验：
计算机科学、数据工程或相关领域的学士/硕士。
3年以上数据工程实践经验，Spark和SQL。