Персонализированная федеративная тонкая настройка моделей фундаментального зрения для здравоохранения

Основная информация

• ID статьи: 2510.12741
• Название: Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
• Авторы: Adam Tupper, Christian Gagné (Université Laval, Mila - Quebec AI Institute)
• Классификация: cs.CV, cs.DC
• Конференция публикации: SMASH 2025
• Ссылка на статью: https://arxiv.org/abs/2510.12741

Аннотация

Фундаментальные модели открывают новые возможности для приложений медицинского ИИ, однако даже при предварительном обучении на данных здравоохранения требуют тонкой настройки для конкретных нижестоящих задач. Из-за ограничений, связанных с защитой конфиденциальности пациентов, совместное использование и агрегирование данных из различных источников остаются серьезной проблемой. В данной работе предложен новый метод персонализированной федеративной тонкой настройки FedOPAL, который путем обучения ортогональным адаптерам LoRA разделяет универсальные знания и знания, специфичные для клиента, позволяя каждому клиенту в полной мере использовать как собственные данные, так и данные других клиентов. Предварительные результаты на реальных федеративных задачах медицинской визуализации демонстрируют конкурентоспособность метода с существующими методами федеративной тонкой настройки.

Исследовательский контекст и мотивация

Основные проблемы

1. Ограничения конфиденциальности данных: Медицинские данные не могут быть централизованно агрегированы для обучения из-за строгих нормативных требований по защите конфиденциальности
2. Дефицит данных: Аннотированные наборы данных в медицинской визуализации редки и дорогостоящи в получении
3. Гетерогенность данных: Существуют значительные различия в распределении данных между различными медицинскими учреждениями
4. Коммуникационные издержки: Федеративное обучение больших фундаментальных моделей сталкивается с огромными коммуникационными затратами

Исследовательская мотивация

• Хотя федеративное обучение решает ограничения совместного использования данных, оно вводит новые вызовы при тонкой настройке фундаментальных моделей
• Существующие методы неэффективно справляются с проблемой гетерогенности данных между клиентами
• Требуется метод федеративной тонкой настройки, который одновременно использует глобальные знания и сохраняет персонализацию

Основные вклады

1. Предложение метода FedOPAL: Новая структура персонализированной федеративной тонкой настройки, использующая ортогональные адаптеры LoRA для разделения универсальных и специфичных для клиента знаний
2. Механизм двойной ортогональной констрейнты: Разработаны два метода - ортогонализация весов (FedOPAL-W) и ортогонализация представлений (FedOPAL-R)
3. Валидация на реальных медицинских данных: Проверка эффективности метода на двух сложных наборах данных медицинской визуализации - Fed-ISIC 2019 и Camelyon17-WILDS
4. Систематический сравнительный анализ: Комплексное сравнение с несколькими современными методами федеративного обучения на основе LoRA

Подробное описание метода

Определение задачи

В задаче федеративной классификации медицинской визуализации несколько медицинских учреждений (клиентов) сотрудничают в обучении общей модели фундаментального зрения, одновременно защищая конфиденциальность собственных данных и справляясь с гетерогенностью распределения данных.

Архитектура модели

Дизайн двойного адаптера

FedOPAL использует архитектуру с двумя адаптерами LoRA:

• Глобальный адаптер: Обновляется всеми клиентами совместно, изучает универсальные признаки
• Персональный адаптер: Приватен для каждого клиента, изучает признаки, специфичные для клиента

Для предварительно обученной матрицы весов $W_0 \in \mathbb{R}^{d \times k}$ формула обновления имеет вид: $\Delta W = W_0 + B_{global}A_{global} + B_{personal}A_{personal}$

Механизм ортогональной констрейнты

1. Ортогонализация весов (FedOPAL-W) На основе метода O-LoRA применяется ортогональная констрейнта к весам адаптеров: \ell_{orth} = \frac{1}{N} \sum_{i=1}^{N} |(A_i_{global})^T A_i_{personal}|

2. Ортогонализация представлений (FedOPAL-R) Прямое ограничение изученных представлений путем минимизации косинусного сходства: $\ell_{orth} = \frac{1}{NB} \sum_{i=1}^{N} \sum_{j=1}^{B} |\cos(z_{global}^{i,j}, z_{personal}^{i,j})|$

Общая функция потерь: $\ell_{total} = \ell_{task} + \lambda \ell_{orth}$

Технические инновации

1. Механизм разделения знаний: Ортогональная констрейнта принуждает два адаптера изучать различные подпространства признаков
2. Двухуровневая ортогонализация: Предоставляет две стратегии ортогонализации - на уровне весов и на уровне представлений
3. Федеративная персонализация: Достигает персонализации клиента при сохранении глобального сотрудничества

Экспериментальная установка

Наборы данных

1. Fed-ISIC 2019

• Масштаб: 6 клиентов из медицинских учреждений Австралии, Австрии, США и Испании
• Задача: Классификация поражений кожи (9 диагностических категорий)
• Особенности: Значительное смещение меток и неравномерный размер выборок

2. Camelyon17-WILDS

• Масштаб: 5 клиентов (больницы), 7-10 пациентов на клиента
• Задача: Классификация на уровне патчей метастазов рака молочной железы в срезах лимфатических узлов
• Особенности: Цветовые вариации, вызванные различиями в процедурах окрашивания

Метрики оценки

Использована сбалансированная точность (balanced accuracy) для обработки дисбаланса классов

Методы сравнения

• FedIT: Обучение матриц A и B единого глобального адаптера
• FFA-LoRA: Фиксирование матрицы A, обучение только матрицы B
• FedSA: Совместное использование матрицы A, персонализация матрицы B
• FedDPA: Обучение независимых глобального и персонального адаптеров
• FedPAL: Базовый метод без ортогональной констрейнты

Детали реализации

• Модель: ViT-Tiny (9,7 млн параметров), предварительное обучение на ImageNet-21K
• Оптимизатор: SGD, скорость обучения η ∈ {1e-4, 5e-4, 1e-3, 5e-3, 1e-2}
• Федеративная установка: FedAvg, 100% участие клиентов, 1 эпоха локального обучения за раунд

Результаты экспериментов

Основные результаты

Результаты на задаче Fed-ISIC 2019:

• FedOPAL-R достигает лучшего среднего рейтинга (3,17) со средней точностью 0,726
• Базовый метод FedPAL показывает хорошие результаты (средний рейтинг 3,50, точность 0,726)
• На клиенте 2 FedPAL достигает максимальной точности 0,931

Результаты на задаче Camelyon17-WILDS:

• FedDPA показывает лучшие результаты (средний рейтинг 2,40, точность 0,909)
• FedOPAL-R получает вторую лучшую среднюю точность 0,870
• Все федеративные методы близки к производительности централизованного обучения (0,905)

Ключевые выводы

1. Конкурентоспособность метода: Метод FedOPAL конкурентоспособен с существующими передовыми методами
2. Проблема согласованности: Ни один метод не показывает постоянно лучшие результаты на всех клиентах и задачах
3. Эффект ортогонализации: Ортогонализация представлений (FedOPAL-R) обычно превосходит ортогонализацию весов (FedOPAL-W)
4. Пространство для улучшения: Результаты указывают на возможность дальнейшего совершенствования

Связанные работы

Комбинация федеративного обучения и LoRA

• Параметрическая эффективность: LoRA снижает коммуникационные издержки и вычислительные требования
• Методы персонализации: Частичная персонализация модели смягчает проблему гетерогенности данных
• Последние достижения: Методы FedDPA, FedSA и другие исследуют различные стратегии персонализации

Методы ортогонального обучения

• O-LoRA: Использование ортогональной констрейнты при непрерывном обучении для предотвращения катастрофического забывания
• Обучение подпространствам: Ограничение изучения различных подпространств признаков

Заключение и обсуждение

Основные выводы

1. FedOPAL успешно достигает разделения универсальных и специфичных знаний через ортогональные адаптеры LoRA
2. Метод демонстрирует конкурентоспособность с существующими методами на реальных медицинских наборах данных
3. Ортогонализация на уровне представлений более эффективна, чем ортогонализация на уровне весов

Ограничения

1. Непостоянство производительности: Метод показывает непостоянные результаты на различных клиентах и задачах
2. Предварительные результаты: Текущие результаты носят предварительный характер и требуют более глубокого анализа
3. Чувствительность гиперпараметров: Выбор параметра λ может влиять на производительность метода
4. Вычислительные издержки: Дизайн с двойным адаптером увеличивает вычислительную сложность

Направления будущих исследований

1. Оптимизация ранга адаптера: Исследование оптимальных рангов для глобального и локального адаптеров
2. Улучшение разделения знаний: Совершенствование методов разделения знаний, независимых от клиента и специфичных для клиента
3. Расширенная оценка: Оценка на больших моделях и большем количестве задач
4. Теоретический анализ: Предоставление теоретических гарантий и анализа сходимости метода

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые вводит ортогональную констрейнту в федеративную тонкую настройку LoRA, новаторский подход
2. Высокая практическая ценность: Непосредственно решает реальные потребности и вызовы медицинского ИИ
3. Полнота метода: Предоставляет две стратегии ортогонализации на различных уровнях
4. Достаточная экспериментальная база: Систематическая оценка на реальных медицинских наборах данных

Недостатки

1. Слабая теоретическая база: Отсутствует теоретический анализ эффективности ортогональной констрейнты
2. Недостаточная глубина экспериментов: Отсутствуют детальные абляционные исследования и анализ чувствительности параметров
3. Ограниченное улучшение производительности: Улучшение по сравнению с существующими методами незначительно
4. Ограниченный диапазон оценки: Оценка проведена только на двух наборах данных

Влияние

1. Академический вклад: Предоставляет новые идеи для пересечения федеративного обучения и медицинского ИИ
2. Практические перспективы: Может быть применен в реальных сценариях федеративного обучения в здравоохранении
3. Масштабируемость: Методологическая структура может быть расширена на другие области и задачи

Применимые сценарии

1. Многоучреждческое медицинское сотрудничество: Применимо к сценариям федеративного обучения между больницами
2. Задачи, чувствительные к конфиденциальности: Подходит для приложений, требующих строгой защиты конфиденциальности данных
3. Среда с гетерогенными данными: Особенно подходит для случаев с большими различиями в распределении данных между клиентами

Библиография

Данная работа опирается на важные исследования в области федеративного обучения (McMahan et al., 2017), адаптеров LoRA (Hu et al., 2022), ортогонального обучения (Wang et al., 2023) и других смежных областей, предоставляя новое решение для проблемы федеративной тонкой настройки в медицинском ИИ.

Резюме: Это инновационная работа, адресующая вызовы федеративного обучения в медицинском ИИ, достигающая разделения знаний через ортогональные адаптеры LoRA, одновременно повышая эффективность персонализации при защите конфиденциальности. Хотя текущие результаты носят предварительный характер, работа предоставляет ценные новые идеи и методологическую структуру для данной области.