2025-11-24T04:07:17.991345

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare

Tupper, Gagné
Foundation models open up new possibilities for the use of AI in healthcare. However, even when pre-trained on health data, they still need to be fine-tuned for specific downstream tasks. Furthermore, although foundation models reduce the amount of training data required to achieve good performance, obtaining sufficient data is still a challenge. This is due, in part, to restrictions on sharing and aggregating data from different sources to protect patients' privacy. One possible solution to this is to fine-tune foundation models via federated learning across multiple participating clients (i.e., hospitals, clinics, etc.). In this work, we propose a new personalized federated fine-tuning method that learns orthogonal LoRA adapters to disentangle general and client-specific knowledge, enabling each client to fully exploit both their own data and the data of others. Our preliminary results on real-world federated medical imaging tasks demonstrate that our approach is competitive against current federated fine-tuning methods.
academic

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare

基本信息

  • 论文ID: 2510.12741
  • 标题: Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
  • 作者: Adam Tupper, Christian Gagné (Université Laval, Mila - Quebec AI Institute)
  • 分类: cs.CV, cs.DC
  • 发表会议: SMASH 2025
  • 论文链接: https://arxiv.org/abs/2510.12741

摘要

基础模型为医疗AI应用开辟了新的可能性，但即使在健康数据上预训练，仍需要针对特定下游任务进行微调。由于患者隐私保护的限制，从不同来源共享和聚合数据仍然是一个挑战。本文提出了一种新的个性化联邦微调方法FedOPAL，通过学习正交LoRA适配器来解耦通用知识和客户端特定知识，使每个客户端能够充分利用自己的数据和其他客户端的数据。在真实世界联邦医学成像任务上的初步结果表明，该方法与当前联邦微调方法具有竞争力。

研究背景与动机

核心问题

  1. 数据隐私限制：医疗数据由于严格的隐私法规无法集中聚合训练
  2. 数据稀缺性：医学成像中标注数据集稀少且获取成本高昂
  3. 数据异质性：不同医疗机构间存在显著的数据分布差异
  4. 通信开销：大型基础模型的联邦学习面临巨大的通信成本

研究动机

  • 联邦学习虽然解决了数据共享约束，但在基础模型微调中引入了新挑战
  • 现有方法未能有效处理客户端间的数据异质性问题
  • 需要一种既能利用全局知识又能保持个性化的联邦微调方法

核心贡献

  1. 提出FedOPAL方法：一种新颖的个性化联邦微调框架，使用正交LoRA适配器分离通用和客户端特定知识
  2. 双重正交约束机制：设计了权重正交化（FedOPAL-W）和表示正交化（FedOPAL-R）两种方法
  3. 真实医疗数据验证：在Fed-ISIC 2019和Camelyon17-WILDS两个具有挑战性的医学成像数据集上验证方法有效性
  4. 系统性对比分析：与多种最新的基于LoRA的联邦学习方法进行全面比较

方法详解

任务定义

在联邦医学成像分类任务中，多个医疗机构（客户端）协作训练一个共享的视觉基础模型，同时保护各自的数据隐私并处理数据分布的异质性。

模型架构

双适配器设计

FedOPAL采用双LoRA适配器架构：

  • 全局适配器：由所有客户端协作更新，学习通用特征
  • 个人适配器：每个客户端私有，学习客户端特定特征

对于预训练权重矩阵 W0∈Rd×kW_0 \in \mathbb{R}^{d \times k}，更新公式为： ΔW=W0+BglobalAglobal+BpersonalApersonal\Delta W = W_0 + B_{global}A_{global} + B_{personal}A_{personal}

正交约束机制

1. 权重正交化（FedOPAL-W） 基于O-LoRA方法，对适配器权重施加正交约束： \ell_{orth} = \frac{1}{N} \sum_{i=1}^{N} |(A_i_{global})^T A_i_{personal}|

2. 表示正交化（FedOPAL-R） 直接约束学习到的表示，最小化余弦相似度： ℓorth=1NB∑i=1N∑j=1B∣cos⁡(zglobali,j,zpersonali,j)∣\ell_{orth} = \frac{1}{NB} \sum_{i=1}^{N} \sum_{j=1}^{B} |\cos(z_{global}^{i,j}, z_{personal}^{i,j})|

总损失函数：ℓtotal=ℓtask+λℓorth\ell_{total} = \ell_{task} + \lambda \ell_{orth}

技术创新点

  1. 知识解耦机制：通过正交约束强制两个适配器学习不同的特征子空间
  2. 双层正交化：提供权重层面和表示层面两种正交化策略
  3. 联邦个性化：在保持全局协作的同时实现客户端个性化

实验设置

数据集

1. Fed-ISIC 2019

  • 规模：6个客户端，来自澳大利亚、奥地利、美国和西班牙的医疗机构
  • 任务：皮肤病变分类（9个诊断类别）
  • 特点：显著的标签偏移和样本大小不均

2. Camelyon17-WILDS

  • 规模：5个客户端（医院），每个客户端7-10个患者
  • 任务：淋巴结切片中乳腺癌转移的补丁级分类
  • 特点：由于染色程序差异导致的颜色变化

评价指标

使用平衡准确率（balanced accuracy）来处理类别不平衡问题

对比方法

  • FedIT：训练单个全局适配器的A和B矩阵
  • FFA-LoRA：固定A矩阵，仅训练B矩阵
  • FedSA：仅共享A矩阵，个性化B矩阵
  • FedDPA：训练独立的全局和个人适配器
  • FedPAL：无正交约束的基线方法

实现细节

  • 模型：ViT-Tiny（970万参数），ImageNet-21K预训练
  • 优化器：SGD，学习率η ∈ {1e-4, 5e-4, 1e-3, 5e-3, 1e-2}
  • 联邦设置：FedAvg，100%客户端参与，每轮1个epoch本地训练

实验结果

主要结果

Fed-ISIC 2019任务结果：

  • FedOPAL-R获得最佳平均排名（3.17），平均准确率0.726
  • FedPAL基线方法表现良好（平均排名3.50，准确率0.726）
  • 在客户端2上，FedPAL达到最高准确率0.931

Camelyon17-WILDS任务结果：

  • FedDPA表现最佳（平均排名2.40，准确率0.909）
  • FedOPAL-R获得第二好的平均准确率0.870
  • 所有联邦方法均接近集中式训练性能（0.905）

关键发现

  1. 方法竞争力：FedOPAL方法与现有最先进方法具有竞争力
  2. 一致性问题：没有单一方法在所有客户端和任务上始终表现最佳
  3. 正交化效果：表示正交化（FedOPAL-R）通常优于权重正交化（FedOPAL-W）
  4. 改进空间：结果表明仍有进一步改进的空间

相关工作

联邦学习与LoRA结合

  • 参数效率：LoRA降低了通信开销和计算需求
  • 个性化方法：部分模型个性化缓解数据异质性问题
  • 最新进展：FedDPA、FedSA等方法探索了不同的个性化策略

正交学习方法

  • O-LoRA：在持续学习中使用正交约束防止灾难性遗忘
  • 子空间学习：通过约束学习不同的特征子空间

结论与讨论

主要结论

  1. FedOPAL通过正交LoRA适配器成功实现了通用和特定知识的解耦
  2. 该方法在真实医疗数据集上展现出与现有方法的竞争力
  3. 表示级正交化比权重级正交化更有效

局限性

  1. 性能一致性：方法在不同客户端和任务间表现不够一致
  2. 初步结果：当前结果仍为初步性质，需要更深入的分析
  3. 超参数敏感性：λ参数的选择可能影响方法性能
  4. 计算开销：双适配器设计增加了计算复杂度

未来方向

  1. 适配器秩优化：探索全局和本地适配器的最优秩设置
  2. 知识分离改进：完善客户端无关和特定知识的分离方法
  3. 扩展评估：在更大模型和更多任务上进行评估
  4. 理论分析：提供方法的理论保证和收敛性分析

深度评价

优点

  1. 创新性强：首次将正交约束引入联邦LoRA微调，思路新颖
  2. 实用价值高：直接针对医疗AI的实际需求和挑战
  3. 方法完整：提供了两种不同层面的正交化策略
  4. 实验充分：在真实医疗数据集上进行了系统性评估

不足

  1. 理论基础薄弱：缺乏对正交约束有效性的理论分析
  2. 实验深度不够：缺少详细的消融实验和参数敏感性分析
  3. 性能提升有限：相比现有方法的改进幅度较小
  4. 评估范围局限：仅在两个数据集上进行评估

影响力

  1. 学术贡献：为联邦学习和医疗AI交叉领域提供新思路
  2. 实用前景：有望在实际医疗联邦学习场景中应用
  3. 可扩展性：方法框架可扩展到其他领域和任务

适用场景

  1. 多机构医疗协作：适用于医院间的联邦学习场景
  2. 隐私敏感任务：适合需要严格数据隐私保护的应用
  3. 数据异质性环境：特别适用于客户端间数据分布差异较大的情况

参考文献

本文主要参考了联邦学习（McMahan et al., 2017）、LoRA适配器（Hu et al., 2022）、正交学习（Wang et al., 2023）等领域的重要工作，为医疗AI中的联邦微调问题提供了新的解决方案。

总结：这是一篇针对医疗AI中联邦学习挑战的创新性工作，通过正交LoRA适配器实现知识解耦，在保护隐私的同时提高个性化效果。虽然当前结果仍为初步性质，但为该领域提供了有价值的新思路和方法框架。