大数据开发工程师

【岗位职责】
1. 聚焦省市级大数据平台与数据中台的核心建设，负责技术架构设计、组件调优、场景落地及生态演进；
2. 负责大数据基础平台（离线/实时）的建设、维护与升级，设计高效数据ETL流程，主导Hadoop/Spark/Flink/Hive/Kafka等核心组件的部署、调优及高可用保障，推动数据湖/数据仓库架构落地，支撑业务快速取数用数。
3. 主导数据中台架构设计与核心模块开发（如元数据管理、数据治理、标签体系），推动中台能力向业务场景输出。针对客户/业务方需求，提供定制化大数据解决方案，推进平台在各业务线的规模化应用。
4. 挖掘大数据应用场景与核心需求，主导完成大数据系统/平台的需求分析、技术架构规划及详细设计方案。跟踪行业技术趋势，组织大数据领域技术预研，推动技术创新与平台迭代。
【任职要求】
1. 本科及以上学历，计算机、数学、统计学、数据科学等相关专业；5年以上大数据开发/架构经验，有完整大数据平台或数据中台从0到1落地经验者优先。
2. 精通Java/Scala/Python至少一门（优先Java），熟悉Shell/SQL，具备良好的代码规范与性能优化意识；熟练使用Linux系统，掌握Docker/K8s容器化运维，能独立完成服务部署与监控。
3. 深入理解Hadoop生态（HDFS/YARN/HBase/Hive）、Spark（Core/SQL/Streaming）、Flink核心原理，具备高可用集群部署、故障排查及性能调优经验；
4. 掌握数据湖技术（Delta Lake/Hudi）或湖仓一体架构实践，有数据建模（维度建模/宽表设计）经验。
5. 有AWS/Azure/阿里云/腾讯云等公有云大数据服务（如EMR、MaxCompute、Flink on Cloud）使用经验；具备高并发、分布式系统开发经验，能设计支持亿级数据量的处理链路。