Федеративное условное конформное предсказание через генеративные модели

Основная информация

• ID статьи: 2510.13297
• Название: Federated Conditional Conformal Prediction via Generative Models
• Авторы: Rui Xu & Sihong Xie (Гуанчжоуский кампус Гонконгского университета науки и технологий)
• Категория: cs.LG (Машинное обучение)
• Дата публикации: 15 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.13297

Аннотация

Конформное предсказание (Conformal Prediction, CP) обеспечивает квантификацию неопределённости без распределительных предположений путём построения наборов предсказаний, гарантирующих покрытие истинных меток. Эта надёжность делает CP ценным инструментом в высокорисковых сценариях федеративного обучения, таких как многоцентровая медицина. Однако стандартное CP предполагает независимость и одинаковое распределение данных (i.i.d.), что нарушается в федеративных условиях с существенной вариативностью распределений на клиентах. Существующие методы федеративного CP решают эту проблему путём поддержания маргинального покрытия на каждом клиенте, но такие гарантии часто не отражают условную неопределённость входных данных. В данной работе предлагается федеративное условное конформное предсказание на основе генеративных моделей (Fed-CCP), направленное на достижение условного покрытия, адаптивного к локальной неоднородности данных. Fed-CCP использует генеративные модели, такие как нормализующие потоки или модели диффузии, для аппроксимации условного распределения данных без необходимости обмена исходными данными. Это позволяет каждому клиенту локально калибровать конформные оценки, отражающие его уникальную неопределённость, при этом сохраняя глобальную согласованность через федеративную агрегацию.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: Как реализовать конформное предсказание в среде федеративного обучения, которое одновременно защищает конфиденциальность и обеспечивает квантификацию условной неопределённости входных данных?
2. Важность проблемы:
   • В высокорисковых областях, таких как медицина и финансы, требуется надёжная квантификация неопределённости
   • В сценариях федеративного обучения данные не могут быть централизованы, существует значительная неоднородность распределений
   • Требования защиты конфиденциальности ограничивают обмен исходными данными
3. Ограничения существующих методов:
   • Стандартное CP предполагает i.i.d. данные, что неприменимо в федеративных условиях
   • Существующие методы федеративного CP (FCP, FedCP-QQ, DP-FedCP) сосредоточены только на маргинальном покрытии
   • Маргинальное покрытие производит интервалы предсказания единообразной ширины, не отражающие специфичную для экземпляра неопределённость
   • Отсутствуют эффективные методы реализации условного покрытия в федеративных условиях
4. Исследовательская мотивация:
   • Необходимость реализации адаптивной, специфичной для экземпляра квантификации неопределённости с защитой конфиденциальности
   • Использование способности генеративных моделей преобразовывать распределения для унификации неоднородных распределений клиентов
   • Реализация условного покрытия в пространстве эталонного распределения с последующим преобразованием обратно в исходное пространство распределения

Основные вклады

1. Предложение框架Fed-CCP: Впервые реализовано условное конформное предсказание в федеративном обучении через построение преобразуемых наборов предсказаний с использованием генеративных моделей
2. Теоретические инновации: Использование биективного преобразования для сохранения гарантий условного покрытия при преобразовании из пространства эталонного гауссова распределения в исходное пространство данных клиента
3. Дизайн защиты конфиденциальности: Обучение генеративных моделей только через обмен градиентами без необходимости обмена исходными данными
4. Адаптивность клиента: Введение условителя клиента η для моделирования неоднородности между клиентами
5. Экспериментальная верификация: Проверка эффективности метода в 5 областях: медицина, страхование, интернет вещей, эпидемиология и прогнозирование трафика

Подробное описание метода

Определение задачи

Учитывая K клиентов, где данные каждого клиента k следуют распределению $Q^{(k)}_{XY}$, целью является построение набора предсказаний $C_{Trans}(X_{n+1})$, удовлетворяющего гарантии условного покрытия: $\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}$

Архитектура модели

1. Выбор генеративной модели

Нормализующие потоки (Normalizing Flows):

• Обучение обратимого преобразования $f_\theta$ распределения клиента $Q_{XY}$ в эталонное распределение $P_{XY}$
• Использование формулы замены переменных для оптимизации расхождения KL: $\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]$

Модели диффузии (Diffusion Models):

• Реализация процесса прямой диффузии через стохастическое дифференциальное уравнение: $d(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t$
• Обучение обратного процесса удаления шума для аппроксимации обратного преобразования $g \approx f^{-1}$

2. Построение преобразуемого набора предсказаний

Для тестового образца $(X_{n+1}, Y_{n+1}) \sim Q_{XY}$:

1. Преобразование в эталонное пространство через $f_\theta$: $f_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}$
2. Построение условного набора предсказаний в эталонном пространстве: $C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}$
3. Отображение обратно в исходное пространство через обратное преобразование $g_\theta = f_\theta^{-1}$: $C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}$

3. Федеративное обучение с несколькими клиентами

Введение условителя клиента $\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)$, позволяющего условной генеративной модели $f_\theta(x,y;\eta)$ адаптироваться к характеристикам распределения различных клиентов.

Технические инновации

1. Гарантия биективности: Использование обратимости генеративных моделей для обеспечения сохранения гарантий условного покрытия при преобразовании распределений
2. Механизм условителя: Моделирование неоднородности между клиентами через гауссовский условитель, специфичный для каждого клиента
3. Защита конфиденциальности: Базовая модель предсказания h обучается только на эталонном гауссовом распределении, обучение генеративной модели предполагает только обмен информацией о градиентах
4. Унифицированная структура: Отображение неоднородных распределений клиентов в единое эталонное распределение для реализации условного покрытия

Экспериментальная установка

Наборы данных

1. Медицинская область: MIMIC-IV, eICU и данные двух сотрудничающих больниц, моделирующие многоцентровые медицинские сценарии
2. Интернет вещей: Данные датчиков Intel Berkeley Research Lab, моделирующие пространственно распределённую сеть датчиков
3. Страховая область: Набор данных French Motor Claims (677 991 записей), разделённый на клиентов по географическим регионам
4. Прогнозирование трафика: Наборы данных Seattle-Loop, PEMSD4, PEMSD8, где различные поставщики данных выступают в качестве клиентов
5. Эпидемиология: Данные US-Regions, US-States, Japan-Prefectures, разделённые на клиентов по административным регионам

Метрики оценки

1. Маргинальный коэффициент покрытия: Оценивается как необходимое условие условного покрытия
2. Средний размер набора предсказаний: Измеряет адаптивность метода; меньший размер набора указывает на лучшую аппроксимацию условного покрытия

Методы сравнения

1. CQR: Конформная регрессия квантилей без использования генеративных моделей
2. Fed-CCP (без условителя): Fed-CCP без использования условителя клиента
3. Fed-CCP: Полный предложенный метод

Детали реализации

• Использование библиотеки normflows для реализации нормализующих потоков
• Эталонное распределение установлено как многомерное гауссово распределение с диагональной матрицей ковариации
• Целевой уровень доверия установлен на 90% (α=0,1)

Результаты экспериментов

Основные результаты

Как показано на рисунке 1, во всех экспериментах в 5 областях:

1. Производительность маргинального покрытия:
   • Fed-CCP достигает коэффициента покрытия, близкого к целевому 90%, во всех задачах
   • CQR показывает нестабильную производительность в федеративных условиях, часто демонстрируя недостаточное покрытие
   • Версия Fed-CCP без условителя показывает снижение коэффициента покрытия
2. Размер набора предсказаний:
   • Fed-CCP достигает относительно небольших наборов предсказаний при сохранении эффективного покрытия
   • Размер наборов предсказаний CQR демонстрирует большую вариативность
   • Версия без условителя производит чрезмерно большие наборы предсказаний

Ключевые выводы

1. Необходимость генеративных моделей: Отказ CQR при смещении распределений подтверждает важность выравнивания генеративными моделями
2. Критическая роль условителя: Условитель клиента η критически важен для захвата неоднородности между клиентами
3. Адаптивность: Fed-CCP способна производить одновременно эффективные и адаптивные наборы предсказаний, специфичные для экземпляра
4. Кросс-доменная робастность: Метод демонстрирует последовательную эффективность в различных областях применения

Экспериментальная верификация

Результаты экспериментов подтверждают две основные гипотезы Fed-CCP:

1. Биективное выравнивание генеративных моделей эффективно координирует распределения клиентов
2. Механизм условителя успешно моделирует характеристики, специфичные для клиента

Связанные работы

Область конформного предсказания

1. Классическое CP: Теоретические основы алгоритмического обучения Вовка и соавторов
2. Условное CP: Адаптивные методы для специфичной для экземпляра неопределённости
3. Конформное предсказание на основе квантильной регрессии: Метод CQR Романо и соавторов

Федеративное конформное предсказание

1. FCP & FedCP-QQ: Гарантии покрытия для смешанных распределений
2. DP-FedCP: Метод с дифференциальной приватностью для обработки смещения меток
3. Распределённое CP: Методы на основе графовой топологии с коммуникацией между соседями

Генеративные модели

1. Нормализующие потоки: Обратимые нейронные сети для моделирования плотности
2. Модели диффузии: Генеративное моделирование на основе стохастических процессов

Заключение и обсуждение

Основные выводы

1. Fed-CCP успешно реализует условное конформное предсказание в федеративной среде
2. Генеративные модели обеспечивают эффективный механизм выравнивания распределений
3. Условитель клиента является ключевым компонентом для обработки неоднородности
4. Метод демонстрирует робастность в нескольких практических областях применения

Ограничения

1. Вычислительная сложность: Обучение генеративных моделей увеличивает вычислительные затраты
2. Теоретический анализ: Отсутствуют теоретические гарантии при конечном размере выборки
3. Чувствительность к гиперпараметрам: Выбор параметров условителя клиента может влиять на производительность
4. Масштабируемость: Производительность в сценариях с большим количеством клиентов требует дополнительной проверки

Направления будущих исследований

1. Разработка более строгой теоретической базы анализа
2. Исследование более эффективных архитектур генеративных моделей
3. Изучение адаптивных механизмов в сценариях с динамическими клиентами
4. Расширение применимости на другие типы задач, такие как классификация

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые применены генеративные модели в федеративном конформном предсказании для реализации условного покрытия
2. Прочная теоретическая база: Гарантии покрытия на основе биективного преобразования математически строги
3. Защита конфиденциальности: Дизайн полностью учитывает требования конфиденциальности федеративного обучения
4. Комплексные эксперименты: Верификация в 5 различных областях повышает достоверность результатов
5. Практическая ценность: Решение важной проблемы в практических приложениях

Недостатки

1. Недостаточный теоретический анализ: Отсутствуют анализ сложности при конечной выборке и анализ сходимости
2. Вычислительные затраты: Стоимость обучения генеративных моделей может ограничить практическое применение
3. Чувствительность параметров: Недостаточное теоретическое руководство по проектированию условителя клиента
4. Ограниченные сравнительные эксперименты: Отсутствуют прямые сравнения с другими методами федеративного CP

Влияние

1. Академический вклад: Открывает новое направление в квантификации неопределённости в федеративном обучении
2. Практическая ценность: Имеет важные перспективы применения в высокорисковых областях, таких как медицина и финансы
3. Методологическая ценность: Комбинация генеративных моделей и конформного предсказания имеет универсальное значение

Применимые сценарии

1. Многоцентровая медицина: Сотрудничество между различными больницами в диагностике и прогнозировании
2. Финансовый риск-менеджмент: Оценка рисков и квантификация неопределённости между учреждениями
3. Интернет вещей: Надёжное предсказание в распределённых сетях датчиков
4. Умные города: Задачи прогнозирования трафика, окружающей среды и т.д. между регионами

Библиография

Статья цитирует важные работы в областях конформного предсказания, федеративного обучения и генеративных моделей, включая:

• Теоретические основы конформного предсказания Вовка и соавторов
• Метод CQR Романо и соавторов
• Работы Лу и соавторов по федеративному конформному предсказанию
• Классические работы по нормализующим потокам и моделям диффузии

Общая оценка: Это высококачественная статья в области машинного обучения, вносящая значительный вклад в пересечение федеративного обучения и квантификации неопределённости. Метод инновационен, эксперименты комплексны, работа имеет важное теоретическое и практическое значение. Рекомендуется дальнейшее совершенствование в области теоретического анализа и вычислительной эффективности.