2025-11-14T05:43:10.071295

Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics

Sterling, El-Laham, Bugallo
Recent advances in generative artificial intelligence applications have raised new data security concerns. This paper focuses on defending diffusion models against membership inference attacks. This type of attack occurs when the attacker can determine if a certain data point was used to train the model. Although diffusion models are intrinsically more resistant to membership inference attacks than other generative models, they are still susceptible. The defense proposed here utilizes critically-damped higher-order Langevin dynamics, which introduces several auxiliary variables and a joint diffusion process along these variables. The idea is that the presence of auxiliary variables mixes external randomness that helps to corrupt sensitive input data earlier on in the diffusion process. This concept is theoretically investigated and validated on a toy dataset and a speech dataset using the Area Under the Receiver Operating Characteristic (AUROC) curves and the FID metric.
academic

Защита диффузионных моделей от атак вывода членства через динамику Ланжевена высшего порядка

Основная информация

  • ID статьи: 2509.14225
  • Название: Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics
  • Авторы: Benjamin Sterling (Stony Brook University), Yousef El-Laham (Stony Brook University), Mónica F. Bugallo (Stony Brook University)
  • Классификация: cs.LG, stat.ML
  • Дата публикации: 16 октября 2025 г. (arXiv v2)
  • Ссылка на статью: https://arxiv.org/abs/2509.14225

Аннотация

Данная работа посвящена решению проблем безопасности данных, возникающих в приложениях генеративного искусственного интеллекта, с акцентом на защиту диффузионных моделей от атак вывода членства. Атаки вывода членства позволяют злоумышленнику определить, использовалась ли конкретная точка данных при обучении модели. Хотя диффузионные модели обладают внутренней устойчивостью к атакам вывода членства по сравнению с другими генеративными моделями, они остаются уязвимыми. Предложенный метод защиты использует критически демпфированную динамику Ланжевена высшего порядка, вводя несколько вспомогательных переменных и совместный процесс диффузии вдоль этих переменных. Основная идея заключается в том, что присутствие вспомогательных переменных смешивает внешнюю стохастичность, помогая нарушить конфиденциальные входные данные на ранних этапах процесса диффузии. Концепция подтверждена теоретическими исследованиями и проверена на игрушечных наборах данных и наборах речевых данных с использованием кривых AUROC и метрик FID.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, решаемая в данном исследовании, — это угроза атак вывода членства (Membership Inference Attacks, MIA) для диффузионных моделей. Атаки вывода членства представляют собой атаку на конфиденциальность, при которой злоумышленник пытается определить, использовался ли конкретный образец данных при обучении целевой модели.

Анализ значимости

  1. Потребность в защите конфиденциальности данных: С быстрым развитием приложений генеративного ИИ, особенно в медицинских данных и конфиденциальной интеллектуальной собственности, защита конфиденциальности обучающих данных становится критически важной
  2. Уязвимость диффузионных моделей: Хотя диффузионные модели обладают лучшей внутренней устойчивостью к атакам по сравнению с другими генеративными моделями, такими как GAN, они остаются восприимчивы к атакам через черный ход, атакам вывода членства и противодействующим атакам
  3. Ограничения существующих методов защиты: Текущие основные средства защиты, такие как диффузионные модели с дифференциальной приватностью (DPDM), имеют проблему компромисса между приватностью и полезностью, то есть уровень защиты приватности напрямую связан с качеством генерируемых образцов

Исследовательская мотивация

Существующие методы защиты от атак вывода членства в основном включают дифференциальную приватность, L2-регуляризацию и дистилляцию знаний. Мотивация данной работы заключается в исследовании новой стратегии защиты путем улучшения структуры самого процесса диффузии для повышения защиты конфиденциальности без необходимости прямого увеличения данных или строгих ограничений дифференциальной приватности.

Основные вклады

  1. Предложена новая структура защиты на основе критически демпфированной динамики Ланжевена высшего порядка (HOLD++), которая повышает устойчивость к атакам вывода членства путем введения вспомогательных переменных
  2. Установлены теоретические гарантии дифференциальной приватности Рэньи для HOLD++, доказано, что потеря приватности достигает максимума в начале процесса диффузии и монотонно убывает со временем
  3. Выявлена взаимосвязь между вспомогательными переменными и защитой конфиденциальности, доказано, что среднеквадратическую ошибку можно "регулировать" путем настройки параметров β, L⁻¹ и n
  4. Проверена эффективность метода на игрушечном наборе данных Swiss Roll и наборе речевых данных LJ Speech, оценена эффективность защиты и качество генерации с использованием метрик AUROC и FID

Подробное описание метода

Определение задачи

Входные данные: набор обучающих данных D, параметры диффузионной модели Выходные данные: диффузионная модель, устойчивая к атакам вывода членства Ограничения: максимизация защиты конфиденциальности при сохранении качества генерации

Архитектура модели

Прямой процесс HOLD++

Прямое стохастическое дифференциальное уравнение HOLD++ определяется как:

dx_t = Fx_t dt + G dw

где:

  • F = Σ(i=1 to n-1) γ_i(E_{i,i+1} - E_{i+1,i}) - ξE_{n,n}
  • G = √(2ξL^(-1))E_{n,n}
  • x_0 = (q_0^T, p_0^T, s_0^T, ...)^T

#### Ключевые математические выражения
Среднее значение и ковариация прямого процесса:

μ_t = exp(Ft)x_0 Σ_t = L^(-1)I + exp(Ft)(Σ_0 - L^(-1)I)exp(Ft)^T


Выборка реализуется через разложение Холецкого:

x_t = μ_t + L_t ε


#### Адаптация атаки PIA
Метрика атаки PIA для HOLD++ преобразуется в:

R_{t,p} = ||Fx_t - (1/2)GG^T S_θ(x_t,t)||_p


### Технические инновации

1. **Введение стохастичности через вспомогательные переменные**: Путем введения переменных скорости, ускорения и других вспомогательных переменных на ранних этапах процесса диффузии вводится дополнительная стохастичность, затрудняющая точную оценку исходных данных злоумышленником
2. **Недетерминированная функция оценки**: Сетевая функция оценки HOLD++ моделирует оценку только последней вспомогательной переменной, что делает полностью детерминированные атаки невозможными
3. **Теоретические гарантии приватности**: Предоставляется строгий анализ дифференциальной приватности Рэньи с доказательством верхней границы потери приватности

## Экспериментальная установка

### Наборы данных
1. **Набор данных Swiss Roll**: двумерный игрушечный набор данных для проверки теоретических предсказаний
2. **Набор данных LJ Speech**: реальный набор речевых данных, используемый для преобразования текста в речь с помощью Grad-TTS

### Метрики оценки
1. **AUROC (Area Under ROC Curve)**: оценка эффективности атаки вывода членства
   - Значение близко к 1.0 указывает на идеальное различие между обучающими и необучающими данными
   - Значение близко к 0.5 указывает на эффективность, эквивалентную случайному угадыванию
2. **FID (Fréchet Inception Distance)**: оценка качества генерируемых данных

### Методы сравнения
- Традиционная диффузионная модель (n=1)
- HOLD++ различных порядков (n=2,3,...)
- Различные конфигурации коэффициента дисперсии β

### Детали реализации
- Эксперименты Swiss Roll: 40 000 итераций обучения, 15-слойная полносвязная сеть, активация ReLU, нормализация слоев
- Эксперименты LJ Speech: архитектура Grad-TTS, максимальное тестирование до n=2 (более высокие порядки сложны в обучении)
- 25 повторений экспериментов для получения 95% доверительных интервалов

## Результаты экспериментов

### Основные результаты

#### Набор данных Swiss Roll
- **AUROC значительно снижается с увеличением порядка модели n и коэффициента дисперсии β**
- 95% доверительные интервалы для β=2 и β=10 не пересекаются, что указывает на статистическую значимость
- Модели высшего порядка (n>1) явно превосходят традиционную диффузионную модель в защите конфиденциальности

#### Набор данных LJ Speech
Результаты экспериментов показывают, что n=2 обеспечивает лучшую защиту конфиденциальности и качество генерации по сравнению с n=1:

| Эпохи | FID (n=1) | FID (n=2) | AUROC (n=1) | AUROC (n=2) |
|-------|-----------|-----------|-------------|-------------|
| 30    | 91.65     | 77.50     | 0.503       | 0.597       |
| 60    | 94.31     | 62.57     | 0.686       | 0.481       |
| 90    | 102.50    | 65.20     | 0.869       | 0.525       |
| 180   | 89.18     | 57.43     | 0.949       | 0.696       |

### Абляционные исследования
- **Влияние порядка модели n**: С увеличением n AUROC значительно снижается, защита конфиденциальности усиливается
- **Влияние коэффициента дисперсии β**: Большие значения β обеспечивают лучшую защиту конфиденциальности
- **Анализ временного распределения**: Уязвимость конфиденциальности в основном сосредоточена на ранних этапах процесса диффузии

### Экспериментальные находки
1. **Неожиданные результаты на CIFAR-10**: На наборе данных изображений AUROC близко к 0.5, что указывает на то, что сами модели непрерывной диффузии обладают сильной устойчивостью к MIA
2. **Особенность речевых данных**: Мел-спектрограммы сложнее увеличивать данные, чем изображения, что делает речевые данные более восприимчивыми к атакам MIA
3. **Компромисс между качеством и приватностью**: Модели высшего порядка обеспечивают лучшую защиту конфиденциальности, одновременно производя образцы более высокого качества

## Связанные работы

### Безопасность диффузионных моделей
- **SecMI**: первая атака MIA на дискретные диффузионные модели
- **PIA (Proximal Initialization Attack)**: версия атаки MIA для непрерывного времени
- **DPDM**: метод дифференциальной приватности, объединяющий DP-SGD и модели непрерывной диффузии

### Динамика Ланжевена высшего порядка
- **CLD (Critically-damped Langevin Dynamics)**: введение вспомогательной переменной скорости
- **TOLD (Third-Order Langevin Dynamics)**: добавление переменной ускорения
- **HOLD++**: критически демпфированная динамика Ланжевена высшего порядка

## Заключение и обсуждение

### Основные выводы
1. **HOLD++ обеспечивает эффективную защиту от MIA**: Введение стохастичности через вспомогательные переменные значительно снижает успешность атак вывода членства
2. **Теоретические гарантии согласуются с практической проверкой**: Анализ дифференциальной приватности Рэньи соответствует результатам экспериментов
3. **Двойное улучшение качества и приватности**: В некоторых случаях модели высшего порядка одновременно улучшают качество генерации и защиту конфиденциальности

### Ограничения
1. **Увеличение сложности обучения**: Обучение моделей высшего порядка более сложно, особенно на сложных наборах данных
2. **Сложность настройки параметров**: Требуется компромисс между порядком модели n, коэффициентом дисперсии β и параметром приватности ε_num
3. **Ограниченная проверка высших порядков**: На реальных наборах данных проверено только до n=2, эффективность более высоких порядков недостаточно изучена

### Направления будущих исследований
1. Исследование более эффективных методов обучения моделей высшего порядка
2. Изучение применения динамики высшего порядка к другим типам генеративных моделей
3. Разработка стратегий адаптивного выбора параметров

## Глубокая оценка

### Преимущества
1. **Сильная теоретическая инновативность**: Искусное сочетание динамики Ланжевена высшего порядка с защитой конфиденциальности предоставляет новую теоретическую перспективу
2. **Строгий математический анализ**: Предоставляется полное доказательство дифференциальной приватности Рэньи и анализ верхней границы потери приватности
3. **Разумный дизайн экспериментов**: Постепенная стратегия проверки от игрушечных наборов данных к реальным наборам данных научно эффективна
4. **Высокая практическая ценность**: Предоставляет новый подход к защите конфиденциальности помимо традиционной дифференциальной приватности

### Недостатки
1. **Ограниченный масштаб экспериментов**: Проверка проведена только на двух наборах данных, отсутствуют эксперименты на крупномасштабных наборах данных
2. **Отсутствует анализ вычислительных затрат**: Не проведен подробный анализ дополнительных вычислительных затрат, вызванных моделями высшего порядка
3. **Недостаточное сравнение с другими методами защиты**: Основное сравнение проводится с традиционными диффузионными моделями, отсутствует прямое сравнение с методами типа DPDM
4. **Недостаточно глубокий анализ чувствительности параметров**: Рекомендации по выбору ключевых гиперпараметров недостаточно ясны

### Влияние
1. **Академический вклад**: Предоставляет новую теоретическую основу и практические методы для защиты конфиденциальности диффузионных моделей
2. **Практическая ценность**: Имеет важное потенциальное применение в чувствительных областях данных, таких как медицина и финансы
3. **Воспроизводимость**: Авторы предоставляют открытый исходный код, облегчающий воспроизведение и расширение исследований

### Применимые сценарии
1. **Генерация конфиденциальных данных**: Медицинские изображения, синтез речи и другие генеративные задачи, связанные с конфиденциальностью
2. **Среда федеративного обучения**: Требуется совместное обучение при защите конфиденциальности данных
3. **Промышленные приложения**: Развертывание генеративных моделей с строгими требованиями к защите интеллектуальной собственности

## Библиография
Данная работа цитирует 17 важных источников, охватывающих фундаментальную теорию диффузионных моделей, методы атак вывода членства, технологию дифференциальной приватности и динамику Ланжевена высшего порядка, обеспечивая прочную теоретическую основу для исследования.

---

**Общая оценка**: Это статья с важным инновационным значением в области защиты конфиденциальности диффузионных моделей. Путем сочетания динамики Ланжевена высшего порядка с защитой от атак вывода членства предоставляется новое и эффективное решение. Хотя в масштабе экспериментов и некоторых технических деталях есть место для улучшения, её теоретический вклад и практическая ценность делают её важным прогрессом в этой области.