大数据开发（Java，公有云/数据湖）

岗位职责：
1.平台设计与开发： 参与公司大数据平台（基于AWS、阿里云等公有云）的架构设计、核心模块开发与持续演进。
2.湖仓一体架构实践： 负责设计和实施湖仓一体解决方案，打通数据湖与数据仓库，构建统一、高效、低成本的数据存储与查询体系。
核心技术组件研发与优化： 深入研究并优化大数据组件（如Spark、Flink、Trino/Presto、Hudi/Iceberg/Delta Lake等）的性能、稳定性和资源利用率。
3.平台服务化： 将大数据能力抽象和封装为平台服务或产品，提供便捷的数据接入、计算、查询和治理工具，提升内部用户的使用效率。
4.运维与治理： 负责平台的日常监控、故障诊断、性能调优、成本管理以及数据安全与权限体系的建设。
5.技术前瞻与落地： 跟踪大数据和云计算领域的最新技术趋势，进行技术预研和原型验证，并推动其在公司内的合理应用。
任职要求：
1. 编程基础：
精通 Java 和 Python，具备扎实的编程功底、良好的设计模式和代码规范。
有使用Java进行大规模、高性能分布式系统开发的经验。
熟练使用Python进行脚本编写、自动化任务和工具开发。
2. 云平台经验：
深刻理解主流公有云（AWS 和 阿里云 至少精通其一）的大数据服务生态。
AWS： 具有丰富的EMR, S3, Glue, Redshift, MSK等服务的实战经验。
阿里云： 具有丰富的E-MapReduce, MaxCmpute, DataWrks, SS, Hlgres等服务的实战经验。
熟悉云上资源管理、网络配置、安全策略和成本优化。
3. 大数据技术栈：
深入理解并拥有Spark（Cre, SQL, Streaming）或Flink的研发和调优经验。
熟悉至少一种数据湖格式（如 Apache Hudi, Iceberg, Delta Lake），并有实际项目经验。
熟悉分布式数据仓库原理，熟悉Hive，了解Trin/Prest、ClickHuse等引擎者优先。
4. 湖仓一体架构：
对湖仓一体架构有深刻理解，能够清晰阐述其核心优势、技术挑战和实现路径。
有从传统数仓或数据湖向湖仓一体架构迁移的实际经验者优先。
5. 综合能力：
学信网可查本科及以上学历，计算机相关专业，5年以上大数据领域开发经验。
具备优秀的问题解决能力、团队合作精神和沟通能力