2025-11-18T22:16:13.731313

Hierarchical Federated Learning for Crop Yield Prediction in Smart Agricultural Production Systems

Abouaomar, hanjri, Kobbane et al.
In this paper, we presents a novel hierarchical federated learning architecture specifically designed for smart agricultural production systems and crop yield prediction. Our approach introduces a seasonal subscription mechanism where farms join crop-specific clusters at the beginning of each agricultural season. The proposed three-layer architecture consists of individual smart farms at the client level, crop-specific aggregators at the middle layer, and a global model aggregator at the top level. Within each crop cluster, clients collaboratively train specialized models tailored to specific crop types, which are then aggregated to produce a higher-level global model that integrates knowledge across multiple crops. This hierarchical design enables both local specialization for individual crop types and global generalization across diverse agricultural contexts while preserving data privacy and reducing communication overhead. Experiments demonstrate the effectiveness of the proposed system, showing that local and crop-layer models closely follow actual yield patterns with consistent alignment, significantly outperforming standard machine learning models. The results validate the advantages of hierarchical federated learning in the agricultural context, particularly for scenarios involving heterogeneous farming environments and privacy-sensitive agricultural data.
academic

Hierarchical Federated Learning for Crop Yield Prediction in Smart Agricultural Production Systems

基本信息

  • 论文ID: 2510.12727
  • 标题: Hierarchical Federated Learning for Crop Yield Prediction in Smart Agricultural Production Systems
  • 作者: Anas Abouaomar, Mohammed El hanjri, Abdellatif Kobbane, Anis Laouiti, Khalid Nafil
  • 分类: cs.LG (Machine Learning), cs.AI (Artificial Intelligence), cs.DC (Distributed Computing)
  • 发表时间: 2025年10月14日 (ArXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.12727

摘要

本文提出了一种专门为智能农业生产系统和作物产量预测设计的新型分层联邦学习架构。该方法引入了季节性订阅机制，农场在每个农业季节开始时加入特定作物的集群。所提出的三层架构包括客户端层的单个智能农场、中间层的作物特定聚合器和顶层的全局模型聚合器。在每个作物集群内，客户端协作训练针对特定作物类型的专门模型，然后将这些模型聚合以产生整合多种作物知识的更高级全局模型。这种分层设计既能实现单个作物类型的局部专业化，又能在多样化农业环境中实现全局泛化，同时保护数据隐私并减少通信开销。

研究背景与动机

问题定义

本研究要解决智能农业中作物产量预测的关键问题。传统的集中式机器学习方法在实际农业环境中面临以下挑战：

  1. 数据异构性和地理分布性：农场在土壤质量、气候条件、作物类型、种植技术和资源使用方面差异巨大
  2. 隐私和数据所有权问题：农场所有者通常不愿意因竞争、伦理或法律原因与第三方分享敏感的运营数据
  3. 通信开销和连接可靠性：农村或基础设施薄弱地区的可靠连接并非总是可能

重要性

准确的作物产量预测对于以下方面至关重要：

  • 农民、农学家和政策制定者的数据驱动决策
  • 资源分配、供应链规划、市场定价和食品分销
  • 应对全球人口增长、气候变化和食品安全需求增加的压力

现有方法局限性

现有基于联邦学习的农业方法存在以下限制：

  • 静态客户端参与机制
  • 统一的模型聚合策略
  • 缺乏对季节性和作物特定变化的适应性
  • 单一全局模型无法捕获作物类型、气候区域或当地农业实践引入的变异性

核心贡献

  1. 设计了季节性和作物类型聚类的联邦学习范式：为智能农业设计了与作物生产周期对齐的动态客户端参与机制
  2. 开发了分层模型聚合过程：平衡了局部专业化（按作物）和跨作物类型的全局泛化
  3. 通过综合实验验证了系统有效性：证明了所提出系统在作物产量预测任务中的优越性能

方法详解

任务定义

设计一个分层联邦学习系统，包含农场集合（客户端）、作物特定集群和中央服务器。训练过程以季节性方式进行：每个季节开始时，每个农场订阅一个作物类型集群并贡献于作物特定模型的训练，随后由服务器聚合形成全局跨作物模型。

模型架构

三层架构设计

  1. 底层（客户端层）：个体智能农场
    • 在专有作物数据上训练本地ML模型
    • 不共享原始数据，仅传输模型更新
  2. 中间层（作物聚合层）：作物特定聚合器
    • 执行作物特定聚合
    • 每个作物类型维护专门的模型
  3. 顶层（全局聚合层）：全局模型聚合器
    • 接收部分聚合的模型
    • 计算最终全局模型w_global

数学建模

客户端本地训练：

D_i = {(x_j, y_j)}^{n_i}_{j=1}, x_j ∈ R^d, y_j ∈ R
w_i^{(t+1)} ← LocalUpdate(θ_k^{(t)}, D_i) = θ_k^{(t)} - η∇L_i(θ_k^{(t)})

作物特定模型聚合：

θ_k^{(t+1)} = Σ_{i∈G_k} (n_i/N_k) * w_i^{(t+1)}
其中 N_k = Σ_{i∈G_k} n_i

跨作物聚合（全局模型）：

w_global = Σ^K_{k=1} α_k * θ_k
其中 α_k = N_k / Σ^K_{j=1} N_j

目标函数：

min_w Σ^K_{k=1} Σ_{i∈G_k} (n_i/N) * L_i(w)
其中 N = Σ^K_{k=1} N_k

技术创新点

  1. 季节性订阅机制：农场根据当前种植意图动态加入作物特定集群
  2. 分层聚合策略：在局部专业化和全局知识共享之间取得平衡
  3. 作物感知的联邦学习：针对不同作物类型的特定模式进行专门化训练

实验设置

数据集

  • 数据来源：基于公开农业数据集扩展的合成数据
  • 作物类型：玉米、小麦、棉花、水稻、大豆和大麦（K=6种作物）
  • 数据特征：包含传感器、卫星和历史产量数据

评价指标

通过比较预测产量与实际产量的一致性来评估模型性能，重点关注预测曲线与实际产量模式的对齐程度。

对比方法

  • 本地模型（Local Model）
  • 作物特定模型（Crop-Specific Model）
  • 全局模型（Global Model）
  • 标准机器学习模型（Standard ML Model）

实现细节

  • 硬件环境：ASUS TUF A15，AMD Ryzen 7 6800H处理器（4.7 GHz），16GB RAM，NVIDIA RTX 3070 Ti
  • 软件框架：PyTorch和TensorFlow
  • ML模型：Random Forest、XGBoost、LSTM-CNN
  • 参数设置：
    • 客户端总数：N = 10
    • 本地训练轮次：E = 10 epochs
    • 作物特定模型轮次：T_k = 15 rounds
    • 每种作物至少1个农场参与

实验结果

主要结果

实验选择了3个随机智能农场，分别订阅不同作物类型（玉米、小麦、棉花）进行对比分析：

  1. 玉米预测结果：本地模型和作物特定模型能够对农场产量做出精确预测，而全局模型在某些情况下预测不准确，类似于大规模应用的标准ML模型
  2. 小麦和棉花预测结果：在所有3个智能农场中显示出类似趋势，不同程度的精确度变化，但本地和作物特定模型始终能够准确预测产量
  3. 性能对比：全局模型与不考虑特定作物动态细节的标准ML模型类似，经常做出非常不准确的预测

实验发现

  1. 局部专业化优势：本地和作物特定模型在预测精度上显著优于全局模型
  2. 作物特异性重要性：针对特定作物类型的专门化训练能够更好地捕获作物特有的生长模式和产量特征
  3. 分层架构有效性：三层架构成功平衡了个性化和泛化需求

相关工作

主要研究方向

  1. 联邦学习在农业中的应用：作物分类、土壤分析、病虫害检测、产量预测
  2. 深度学习架构：CNN-RNN框架、多模态融合架构、图神经网络
  3. 集成学习策略：多重插补、蚁群优化、Extra Trees分类器
  4. 通信效率优化：模型剪枝、雾计算集成

本文优势

相比现有工作，本文的主要优势在于：

  • 引入动态订阅机制，适应农业生产的季节性特征
  • 设计分层聚合策略，同时实现专业化和泛化
  • 针对农业数据的异构性和隐私敏感性提供解决方案

结论与讨论

主要结论

  1. 分层联邦学习架构成功解决了智能农业中的关键挑战
  2. 季节性订阅机制和分层聚合策略有效平衡了局部专业化与全局知识共享
  3. 实验结果验证了本地和作物特定模型的优越性能

局限性

  1. 实验规模限制：仅使用10个智能农场和6种作物类型进行验证
  2. 数据类型限制：主要基于合成数据，缺乏大规模真实农场数据验证
  3. 环境因素考虑不足：未充分考虑极端天气、土壤变化等动态环境因素

未来方向

  1. 扩展系统架构：包含更多作物类型
  2. 探索其他聚类标准：基于地区、资源可用性或农场规模的聚类
  3. 集成更多环境因素：气候变化、土壤质量动态变化等

深度评价

优点

  1. 创新性强：首次将季节性订阅机制引入农业联邦学习
  2. 架构设计合理：三层分层架构很好地平衡了专业化和泛化需求
  3. 实用价值高：解决了农业数据隐私保护和通信效率的实际问题
  4. 数学建模清晰：提供了完整的数学公式和算法描述

不足

  1. 实验验证不充分：
    • 实验规模较小（仅10个农场）
    • 缺乏与其他先进联邦学习方法的详细对比
    • 未提供具体的数值评价指标（如RMSE、MAE等）
  2. 方法局限性：
    • 聚类策略相对简单，仅基于作物类型
    • 未考虑农场间的地理位置和环境相似性
    • 缺乏对非均匀数据分布的深入分析
  3. 技术细节不足：
    • 通信成本分析不够详细
    • 隐私保护机制描述不够具体
    • 模型收敛性分析缺失

影响力

  1. 学术贡献：为农业联邦学习提供了新的研究思路和框架
  2. 实用价值：为智能农业系统的实际部署提供了可行方案
  3. 可复现性：提供了算法描述和实现细节，但缺乏代码开源

适用场景

  1. 多作物农业合作社：适用于种植多种作物的农业合作组织
  2. 区域农业管理：适合区域性农业管理部门的产量预测需求
  3. 精准农业服务：可为农业技术服务公司提供差异化解决方案

参考文献

论文引用了22篇相关文献，主要涵盖：

  • 联邦学习在农业中的应用研究
  • 深度学习在作物产量预测中的应用
  • 分布式机器学习和隐私保护技术
  • 智能农业和物联网技术

总体评价：本文提出的分层联邦学习架构具有较强的创新性和实用价值，为解决农业数据的隐私保护和异构性问题提供了有效方案。虽然在实验验证和技术细节方面还有改进空间，但整体研究思路清晰，具有良好的发展前景。