高级大数据开发工程师

一、岗位职责
1. 负责智慧农业平台大数据体系的设计与搭建，涵盖数据中台、数据湖、数据仓库的架构规划与落地实施，支撑农田监测、作物长势分析、农资溯源、产销预测等核心业务的数据需求。
2. 主导数据采集体系建设，设计并实现多源数据接入方案，包括农业传感器实时数据、物联网设备日志、业务系统数据、第三方农业数据等的采集、传输与同步，保障数据采集的实时性、完整性与准确性。
3. 负责ETL数据处理流程的设计、开发与优化，基于Spark、Flink等大数据计算框架实现数据清洗、转换、集成、加载等工作，构建高质量的数据资产，支撑上层数据分析与应用。
4. 参与数据中台核心模块开发，包括数据服务接口设计、数据血缘管理、数据质量监控、数据权限管控等，提升数据资产的复用性与管理效率。
5. 负责大数据存储与计算性能优化，针对海量农业数据（时序数据、空间数据等）的存储、查询、计算场景，优化数据模型、SQL语句及计算任务，提升系统处理效率与稳定性。
6. 配合业务专家梳理智慧农业业务数据需求，将业务需求转化为数据解决方案；主导大数据相关技术难点攻关，推动大数据技术在农业场景的深度应用与创新。

二、任职要求
1. 本科及以上学历，计算机相关专业，8年以上大数据开发工作经验。
2. 精通大数据核心技术栈，熟练掌握Hadoop、Spark、Flink等分布式计算框架，深入理解其原理与调优方法；具备丰富的Spark SQL、Flink SQL开发经验，能高效处理实时流数据与离线批数据。
3. 熟悉数据中台、数据湖、数据仓库的设计理念与实践方法，具备数据模型设计（星型模型、雪花模型等）经验，能独立完成数据分层（ODS、DWD、DWS、ADS）架构设计与落地。
4. 具备丰富的数据采集与ETL开发经验，熟练使用Sqoop、DataX、Flume、Kafka等数据采集与传输工具，能独立设计高可用、高吞吐的ETL处理流程，并具备流程优化能力。
5. 熟悉主流大数据存储技术，如HDFS、HBase、ClickHouse、Elasticsearch等，了解时序数据库（InfluxDB、Prometheus）在农业传感器数据存储中的应用者优先。
6. 具备扎实的Java/Scala编程基础；具备良好的沟通能力、团队协作能力与问题解决能力，有强烈的责任心和学习能力，能快速理解智慧农业领域业务知识。