2025-11-16T14:58:12.273411

Inclusive, Differentially Private Federated Learning for Clinical Data

Parampottupadam, Coşğun, Pati et al.
Federated Learning (FL) offers a promising approach for training clinical AI models without centralizing sensitive patient data. However, its real-world adoption is hindered by challenges related to privacy, resource constraints, and compliance. Existing Differential Privacy (DP) approaches often apply uniform noise, which disproportionately degrades model performance, even among well-compliant institutions. In this work, we propose a novel compliance-aware FL framework that enhances DP by adaptively adjusting noise based on quantifiable client compliance scores. Additionally, we introduce a compliance scoring tool based on key healthcare and security standards to promote secure, inclusive, and equitable participation across diverse clinical settings. Extensive experiments on public datasets demonstrate that integrating under-resourced, less compliant clinics with highly regulated institutions yields accuracy improvements of up to 15% over traditional FL. This work advances FL by balancing privacy, compliance, and performance, making it a viable solution for real-world clinical workflows in global healthcare.
academic

Инклюзивное дифференциально приватное федеративное обучение для клинических данных

Основная информация

  • ID статьи: 2505.22108
  • Название: Inclusive, Differentially Private Federated Learning for Clinical Data
  • Авторы: Santhosh Parampottupadam, Melih Coşğun, Sarthak Pati, Maximilian Zenk, Saikat Roy, Dimitrios Bounias, Benjamin Hamm, Sinem Sav, Ralf Floca, Klaus Maier-Hein
  • Классификация: cs.LG cs.AI cs.CR cs.DC
  • Дата публикации: препринт arXiv, 11 октября 2025 г.
  • Ссылка на статью: https://arxiv.org/abs/2505.22108v3

Аннотация

Федеративное обучение (FL) предоставляет перспективный подход для обучения клинических моделей искусственного интеллекта без централизации конфиденциальных данных пациентов. Однако его применение в реальных условиях затруднено проблемами конфиденциальности, ограничениями ресурсов и требованиями соответствия. Существующие методы дифференциальной приватности (DP) обычно применяют унифицированный шум, что непропорционально снижает производительность модели даже в хорошо соответствующих учреждениях. В данной статье предлагается новая структура федеративного обучения, учитывающая соответствие, которая улучшает DP путем адаптивной регулировки шума на основе количественно измеримых оценок соответствия клиентов. Кроме того, представлен инструмент оценки соответствия, основанный на критических стандартах здравоохранения и безопасности, для содействия безопасному, инклюзивному и справедливому участию в различных клинических условиях. Обширные эксперименты на открытых наборах данных показывают, что интеграция клиник с недостаточными ресурсами и низким соответствием с высокорегулируемыми учреждениями может дать повышение точности до 15% по сравнению с традиционным FL.

Исследовательский контекст и мотивация

Определение проблемы

Исследование решает три основные проблемы применения федеративного обучения в медицинской области:

  1. Недостаточная защита конфиденциальности: традиционное FL уязвимо для атак реконструкции, обновления модели могут раскрыть конфиденциальную информацию
  2. Исключение из-за ограничения ресурсов: реализация дифференциальной приватности требует специализированного оборудования, что препятствует участию небольших медицинских учреждений с ограниченными ресурсами
  3. Различия в соответствии: существующие методы DP применяют унифицированный шум ко всем клиентам, игнорируя различия в соответствии между учреждениями

Значимость исследования

Развитие медицинского искусственного интеллекта требует крупномасштабного сотрудничества в области данных, однако нормативные акты по конфиденциальности (такие как HIPAA, GDPR) и политика учреждений ограничивают обмен данными. Федеративное обучение предоставляет решение, но существующие методы имеют значительные ограничения:

  • Только 5,2% исследований FL касаются реальных клинических приложений
  • Медицинские учреждения с ограниченными ресурсами маргинализированы
  • Унифицированные стратегии защиты конфиденциальности неэффективны

Ограничения существующих методов

  1. Клиентская DP: требует специализированного оборудования, повышает барьер для участия
  2. Унифицированная серверная DP: применяет одинаковый уровень шума ко всем клиентам, неэффективна
  3. Предположения о доверии: зависит от федеративного обучения на основе доверия, исключает небольшие учреждения

Основные вклады

  1. Предложена структура FL, учитывающая соответствие: адаптивная регулировка шума DP на основе оценок соответствия клиентов, балансирующая конфиденциальность, соответствие и производительность
  2. Разработан инструмент оценки соответствия: веб-инструмент на основе стандартов здравоохранения и безопасности, предоставляющий количественные оценки соответствия
  3. Реализована адаптивная серверная DP: позволяет клиникам с ограниченными ресурсами участвовать при балансировании конфиденциальности и производительности
  4. Подтверждена инклюзивная эффективность: эксперименты доказывают, что интеграция учреждений с низким соответствием дает повышение точности на 1%-15%

Подробное описание методов

Определение задачи

Входные данные:

  • Распределенные медицинские наборы данных (локальные данные каждого учреждения)
  • Оценки соответствия клиентов
  • Параметры бюджета конфиденциальности

Выходные данные:

  • Глобальная модель искусственного интеллекта (результат совместного обучения с защитой конфиденциальности)

Ограничения:

  • Соответствие гарантиям дифференциальной приватности
  • Адаптация к учреждениям с различными уровнями соответствия
  • Минимизация требований к ресурсам

Архитектура модели

1. Механизм оценки соответствия

Формула расчета оценки соответствия:

Sc = (Σ(wi × si)) / (Σwi)

где:

  • n: общее количество факторов соответствия
  • wi: вес фактора i
  • si: оценка опции фактора i

2. Расчет адаптивного шума

Формула множителя шума:

Nm = (1.0 - Sc) + Min_Noise_Multiplier

где:

  • Sc: оценка соответствия клиента
  • Min_Noise_Multiplier: минимальный множитель шума (1e-10)

3. Процесс федеративного обучения

Алгоритм 1: Федеративное обучение с адаптивным шумом и дифференциальной приватностью

1. Инициализация глобальной модели
2. Для раунда федеративного обучения = 1 до 50:
   a. Обучение клиентов (3 локальных эпохи)
   b. Отправка обновлений агрегатору
   c. Применение адаптивного шума DP на основе оценки соответствия
   d. Обучение агрегатора (1 эпоха с DP)
   e. Глобальная агрегация (FedAvg/FedYogi/FedAdam и т.д.)
   f. Трансляция обновленной глобальной модели

Технические инновации

1. Дифференциальная приватность, учитывающая соответствие

  • Инновация: динамическая регулировка шума в зависимости от уровня соответствия клиента, а не унифицированный шум
  • Преимущества: учреждения с высоким соответствием испытывают меньше потерь производительности, учреждения с низким соответствием все еще получают защиту конфиденциальности

2. Адаптивная серверная DP

  • Инновация: имитация эффекта клиентской DP на серверной стороне, снижение требований к оборудованию
  • Преимущества: учреждения с ограниченными ресурсами могут участвовать без специализированного оборудования DP

3. Многомерная оценка соответствия

Включает 12 факторов соответствия:

  • Стандарты шифрования данных (AES-256/AES-128)
  • Политики этичного искусственного интеллекта (EU AI Act, руководство FDA)
  • Нормативные акты по конфиденциальности (HIPAA, GDPR)
  • Качество данных (стандарт DICOM)
  • Практики анонимизации (ISO/TS 25237:2017)
  • Стандарты совместимости (HL7/FHIR)

Экспериментальная установка

Наборы данных

  • PneumoniaMNIST: набор данных для обнаружения пневмонии
  • BreastMNIST: набор данных для обнаружения рака молочной железы
  • Предварительная обработка данных: изменение размера изображений до 128×128, размер пакета 32
  • Распределение данных: 16 подмножеств клиентов, 1 для обучения агрегатора, 1 для глобальной оценки

Метрики оценки

  • Точность (Accuracy)
  • Полнота (Precision)
  • Чувствительность (Recall)
  • F1-мера

Методы сравнения

  • Vanilla FL: традиционное федеративное обучение без DP и оценки соответствия
  • Унифицированная серверная DP: применение унифицированного шума после агрегации
  • Различные стратегии агрегации: FedAvg, FedProx, FedMedian, FedAdam, FedYogi

Детали реализации

  • Фреймворк: Lightning, Flower, ResNet-18
  • Оборудование: NVIDIA Tesla T4 GPU (16GB)
  • Параметры обучения: скорость обучения 0,001, 50 раундов федеративного обучения, 3 локальные эпохи за раунд
  • Реализация DP: использование библиотеки Opacus, минимальный уровень шума 1e-10

Результаты экспериментов

Основные результаты

Сравнение конфигураций экспериментов

ЭкспериментКлиенты с соответствиемКлиенты без соответствияПрименение соответствияПрименение DP
Exp.1412ДаАдаптивная
Exp.2106ДаАдаптивная
Exp.3160ДаАдаптивная
Exp.440НетМинимальная
Exp.5160НетНет
Exp.6160ДаУнифицированная

Ключевые находки

  1. Преимущества инклюзивности: Эксперимент 1 (4 с соответствием + 12 без соответствия) по сравнению с Экспериментом 4 (только 4 с соответствием) показывает повышение точности на 1%-15% по большинству стратегий
  2. Лучшая производительность:
    • PneumoniaMNIST: FedYogi в Эксперименте 1 достигает 86,62%
    • BreastMNIST: FedYogi в Эксперименте 1 достигает 75,50%
  3. Чувствительность стратегии: FedMedian чувствителен к распределению соответствия, производительность значительно снижается при высокой доле клиентов без соответствия

Абляционные эксперименты

Эксперимент качества данных

Имитация реальных сценариев с применением деградации данных к 12 клиентам:

  • Операции деградации: случайное обрезание, изменение размера (80-100%), гауссовский шум (σ=0,05), снижение контрастности до 80%
  • Оценки соответствия: клиенты с деградацией 0,3, надежные клиенты 1,0
  • Результаты: даже при низком качестве данных повышается общая производительность модели

Сравнение стратегий агрегации

В эксперименте качества данных:

  • dp_FedAvg: 72,68%
  • dp_FedYogi: 71,62%
  • dp_FedAdam: 69,55%
  • dp_FedMedian: 66,23%
  • dp_FedProx: 64,04%

Экспериментальные находки

  1. Влияние распределения соответствия: FedMedian показывает плохую производительность (50,01%) при 75% клиентов без соответствия, близко к производительности Vanilla FL при 37%
  2. Инклюзивность ресурсов: структура успешно позволяет учреждениям с ограниченными ресурсами участвовать без специализированного оборудования
  3. Баланс конфиденциальности и полезности: механизм адаптивного шума эффективно балансирует защиту конфиденциальности и производительность модели

Связанные работы

Федеративное обучение в медицине

  • Проблемы: гетерогенность данных, нормативные акты по конфиденциальности, доверие между учреждениями
  • Текущее состояние: большинство исследований остаются теоретическими, реальное клиническое применение ограничено
  • Вклад данной работы: предоставление практического решения, учитывающего соответствие

Методы дифференциальной приватности

  • Традиционные методы: унифицированное применение шума, игнорирование различий клиентов
  • Инновация данной работы: адаптивная регулировка шума на основе оценок соответствия

Медицинское сотрудничество в области искусственного интеллекта

  • Успешные примеры: исследование глиобластомы (71 центр, 6314 пациентов) получило 33% улучшение
  • Выводы: включение учреждений с низким соответствием может предоставить данные редких заболеваний, улучшить обобщение модели

Заключение и обсуждение

Основные выводы

  1. Эффективность DP, учитывающей соответствие: значительное повышение производительности по сравнению с традиционными методами
  2. Преимущества инклюзивности: интеграция учреждений с низким соответствием улучшает общее качество модели
  3. Дружественность к ресурсам: снижение барьеров для участия, содействие более широкому сотрудничеству в области медицинского искусственного интеллекта

Ограничения

  1. Начальное предположение о доверии: обновления клиентов в первом раунде не защищены DP
  2. Честность оценки соответствия: предполагается, что клиенты предоставляют точную информацию о соответствии
  3. Проверка в контролируемой среде: эксперименты проводятся в контролируемой среде, требуется проверка в реальной клинической среде

Направления будущих исследований

  1. Динамическая проверка соответствия: механизмы проверки соответствия в реальном времени
  2. Безопасные многосторонние вычисления: объединение SMPC для повышения безопасности
  3. Развертывание в реальной клинике: расширение на реальную медицинскую среду и разнообразные наборы данных
  4. Защита от атак вывода: противодействие атакам вывода от ненадежных клиентов

Глубокая оценка

Преимущества

  1. Высокая инновационность: первое предложение механизма адаптивной DP, учитывающего соответствие
  2. Высокая практическая ценность: решение ключевых препятствий развертывания медицинского FL в реальных условиях
  3. Достаточные эксперименты: 61 конфигурация экспериментов, множество стратегий агрегации и наборов данных
  4. Стандартизированный инструмент: предоставление настраиваемого инструмента оценки соответствия
  5. Инклюзивный дизайн: позволяет учреждениям с ограниченными ресурсами участвовать в высококачественном сотрудничестве в области искусственного интеллекта

Недостатки

  1. Ограничение наборов данных: проверка только на двух открытых медицинских наборах данных
  2. Субъективность оценки соответствия: оценка соответствия зависит от ручной оценки, может содержать смещение
  3. Предположения о безопасности: определенные предположения о честности клиентов и надежности сервера
  4. Неизвестная масштабируемость: производительность при крупномасштабном развертывании в реальных условиях требует проверки

Влияние

  1. Академический вклад: предоставление новой парадигмы защиты конфиденциальности для медицинского FL
  2. Практическая ценность: вероятное содействие фактическому развертыванию глобального сотрудничества в области медицинского искусственного интеллекта
  3. Политическое значение: предоставление технической поддержки для управления медицинскими данными
  4. Воспроизводимость: открытая реализация и подробные параметры экспериментов поддерживают воспроизведение

Применимые сценарии

  1. Многоучреждческие медицинские исследования: особенно подходит для исследования редких заболеваний
  2. Среда с различными ресурсами: сотрудничество медицинских учреждений развитых и развивающихся стран
  3. Трансграничные исследования с различными требованиями регулирования: адаптация к нормативным актам по конфиденциальности различных стран
  4. Клинические испытания: защита конфиденциальности пациентов при реализации сотрудничества в области данных

Библиография

Статья цитирует 34 связанные работы, охватывающие:

  • Фундаментальную теорию федеративного обучения 22
  • Применение дифференциальной приватности в медицине 2,10,18
  • Практику сотрудничества медицинского искусственного интеллекта 25,29,30
  • Атаки на конфиденциальность и защиту 8,32
  • Связанные технические фреймворки 4,11,34

Общая оценка: Это статья с важной практической ценностью в области медицинского федеративного обучения. Благодаря механизму адаптивной дифференциальной приватности, учитывающему соответствие, она эффективно решает недостатки существующих методов в отношении инклюзивности и полезности. Хотя есть место для улучшения в проверке в реальной среде и предположениях о безопасности, она предоставляет перспективный технический путь для содействия глобальному сотрудничеству в области медицинского искусственного интеллекта.