Дифференциальная приватность Рёньи для тяжелохвостых СДУ через дробные неравенства Пуанкаре

Основная информация

• ID статьи: 2511.15634
• Название: Rényi Differential Privacy for Heavy-Tailed SDEs via Fractional Poincaré Inequalities
• Авторы: Benjamin Dupuis (Inria), Mert Gürbüzbalaban (Rutgers), Umut Şimşekli (Inria), Jian Wang (Fujian Normal University), Sinan Yıldırım (Sabancı University), Lingjiong Zhu (Florida State University)
• Классификация: stat.ML, cs.LG
• Дата публикации: 19 ноября 2025 г. (отправка на arXiv)
• Ссылка на статью: https://arxiv.org/abs/2511.15634

Аннотация

В данной работе предложены первые теоретические гарантии дифференциальной приватности Рёньи (RDP) для тяжелохвостых стохастических дифференциальных уравнений (СДУ). Существующие исследования дифференциальной приватности в основном сосредоточены на легкохвостом шуме (например, гауссовском), тогда как стохастический градиентный спуск (SGD) в глубоком обучении часто демонстрирует тяжелохвостое поведение. Имеющиеся результаты по дифференциальной приватности тяжелохвостого SGD предоставляют только гарантии (0,δ)-DP с сильной зависимостью от размерности. Через новые вычисления потока Рёньи и дробные неравенства Пуанкаре авторы устанавливают гарантии RDP для тяжелохвостых СДУ и их дискретизаций, достигая значительно ослабленной зависимости от размерности при выполнении предположения о дробном неравенстве Пуанкаре.

Исследовательский контекст и мотивация

1. Основная проблема

Центральная проблема, решаемая в работе: Как установить строгие гарантии дифференциальной приватности Рёньи для алгоритмов стохастического градиентного спуска с тяжелохвостым шумом (в частности, α-устойчивым шумом)?

2. Значимость проблемы

• Практическая релевантность: Множество исследований показывают, что SGD в современном глубоком обучении при определённых гиперпараметрах генерирует тяжелохвостые распределения; внедрение тяжелохвостого шума может улучшить обобщение, сжатие модели и производительность оптимизации
• Теоретический пробел: Существующая теория дифференциальной приватности в основном ориентирована на гауссов шум и опирается на инструменты, такие как логарифмические неравенства Соболева (LSI), которые не распространяются непосредственно на тяжелохвостые случаи
• Потребность в приватности: С быстрым развитием машинного обучения сертификация дифференциальной приватности алгоритмов обучения стала критической необходимостью

3. Ограничения существующих методов

• Методы для гауссова шума: Используют уравнение Фоккера-Планка и LSI, но эти инструменты недоступны в тяжелохвостых случаях
• Существующие результаты для тяжелохвостых случаев (Şimşekli et al. 2024):
  • Предоставляют только более слабые гарантии (0,δ)-DP
  • Сильная зависимость от размерности: δ = O(d^(1+α)/2/n)
  • Невозможно расширить на более сильную концепцию RDP
  • Неясная зависимость от масштаба шума σ_α

4. Исследовательская мотивация

Работа направлена на преодоление указанных ограничений путём введения дробных неравенств Пуанкаре вместо LSI, установления первых гарантий RDP для тяжелохвостых СДУ и значительного улучшения зависимости от размерности.

Основные вклады

1. Универсальная схема потока Рёньи: Предоставляет универсальную схему для вычисления потока дивергенции Рёньи вдоль СДУ, управляемых процессами Леви, применимую к очень широкому классу процессов Леви
2. Гарантии RDP в мультифрактальном случае (σ_α > 0 и σ_2 > 0):
   • При предположении о дробном неравенстве Пуанкаре (FPI): κ = O(β²/(n²σ²_2)), независимо от размерности
   • Без предположения FPI: κ = O(βT/(n²σ²_2))
3. Гарантии RDP в случае чистых скачков α-устойчивости (σ_2 = 0):
   • При предположении FPI: κ = O(β²d^(1-α/2)/(n²σ^α_α))
   • Без предположения FPI: κ = O(βd^(1-α/2)T/(n²σ^α_α))
   • Подразумеваемые гарантии (0,δ)-DP: δ = O(d^(2-α)/4/(nσ^(α/2)_α)), с существенно более слабой зависимостью от размерности, чем существующие O(d^(1+α)/2/n)
4. Расширение на дискретное время: Результаты распространяются на практически используемые алгоритмы градиентного спуска в дискретном времени
5. Устойчивость дробных неравенств Пуанкаре: Доказана устойчивость дробных неравенств Пуанкаре при свёртке, двойных липшицевых диффеоморфизмах и ограниченных возмущениях, обеспечивая теоретическую основу для основного предположения

Детальное описание методов

Определение задачи

Рассмотрим задачу минимизации эмпирического риска (ERM): $\min_{w \in \mathbb{R}^d} \hat{R}_S(w) := \frac{1}{n}\sum_{i=1}^n \ell(w, z_i)$

где S = (z_1,...,z_n) — набор данных, ℓ — функция потерь. Алгоритм обучения — это стохастическое отображение A: S ↦ W_S ∈ ℝ^d.

Цель дифференциальной приватности: Для соседних наборов данных S ≃ S' (отличающихся одной точкой данных) количественно оценить различимость Law(W_S) и Law(W_S').

Архитектура модели

1. Модель тяжелохвостого СДУ

Рассмотрим следующее стохастическое дифференциальное уравнение: $dW_t = -\nabla\hat{R}_S(W_t)dt + \sigma_\alpha dL^\alpha_t + \sigma_2\sqrt{2}dB_t$

где:

• $(L^\alpha_t)_{t≥0}$: ротационно инвариантный α-устойчивый процесс Леви с индексом хвоста α ∈ (0,2)
• $(B_t)_{t≥0}$: стандартное броуновское движение
• σ_α, σ_2 ≥ 0: параметры интенсивности шума

Соответствующее дробное уравнение Фоккера-Планка: $\partial_t p_t = -\sigma^\alpha_\alpha(-\Delta)^{\alpha/2}p_t + \sigma^2_2\Delta p_t + \nabla \cdot (p_t\nabla\hat{R}_S)$

2. Ключевые предположения

Предположение 1 (конечная чувствительность): Чувствительность градиента конечна $S_g := \text{ess sup}_{(z,z') \sim \mu_z \otimes \mu_z} \sup_{w \in \mathbb{R}^d} \|\nabla\ell(w,z') - \nabla\ell(w,z)\| < \infty$

Предположение 2 (условия регулярности): p_t, p'_t и v_t := p_t/p'_t положительны, дифференцируемы, принадлежат C²_b(ℝ^d) и удовлетворяют условиям невзрыва

Предположение 3 (дополнительная регулярность для случая чистых скачков): $\sup_{S \simeq S'} \sup_{t \leq T} (\|\nabla v^{\beta/2}_t\|_\infty + \|\nabla^2 v^{\beta/2}_t\|_\infty) < \infty$$\inf_{S \simeq S'} \inf_{t \leq T} \|\nabla v^{\beta/2}_t\|_{L^2(p'_t)} > 0$

Основное предположение (α-устойчивое неравенство Пуанкаре): Вероятностная мера μ удовлетворяет $\int f^2d\mu - \left(\int fd\mu\right)^2 \leq aC_{\alpha,d}\int\int \frac{(f(x)-f(x+z))^2}{\|z\|^{d+\alpha}}d\mu(x)dz + b\int\|\nabla f\|^2d\mu$

Технические инновации

1. Вычисление потока Рёньи (Теорема 13)

Для β ≥ 2 и t > 0: $\frac{d}{dt}R_\beta(p_t, p'_t) \leq -\frac{2\sigma^\alpha_\alpha}{\beta-1}\frac{\mathcal{E}_{\alpha,p'_t}(v^{\beta/2}_t, v^{\beta/2}_t)}{\mathcal{E}_\beta(p_t,p'_t)} - \frac{4\sigma^2_2}{\beta}\frac{\mathcal{E}_{2,p'_t}(v^{\beta/2}_t, v^{\beta/2}_t)}{\mathcal{E}_\beta(p_t,p'_t)} + R_{\text{potential}}$

где:

• $\mathcal{E}_{\alpha,\mu}(f,f)$: форма Дирихле, связанная с α-устойчивым процессом
• $\mathcal{E}_{2,\mu}(f,f) = \int\|\nabla f\|^2d\mu$: гауссова форма Дирихле
• $R_{\text{potential}}$: вклад от различия в дрейфе

Инновация: Прямое связывание потока Рёньи с дробными формами Дирихле, применимое для произвольного β ≥ 2

2. Применение дробного неравенства Пуанкаре (Лемма 14)

При предположении о α-устойчивом неравенстве Пуанкаре: $\frac{2\sigma^\alpha_\alpha}{\beta-1}\mathcal{E}_{\alpha,p'_t}(v^{\beta/2}_t, v^{\beta/2}_t) + \frac{2\sigma^2_2}{\beta}\mathcal{E}_{2,p'_t}(v^{\beta/2}_t, v^{\beta/2}_t) \geq \frac{1}{\gamma\beta}\mathcal{E}_\beta(p_t,p'_t)(1-e^{-R_\beta(p_t,p'_t)})$

Это связывает нижнюю границу формы Дирихле с экспоненциальным членом дивергенции Рёньи.

3. Взвешенная формула BBM (Лемма 31)

Доказана взвешенная версия формулы Бургена-Брезиса-Миронеску: $\lim_{\alpha \to 2^-}\mathcal{E}_{\alpha,\mu}(u,u) = \mathcal{E}_{2,\mu}(u,u)$

Это обеспечивает теоретическую основу для обработки случая чистых скачков, показывая, что при α, приближающемся к 2, дробная форма Дирихле может быть аппроксимирована гауссовой формой Дирихле.

4. Решение дифференциального неравенства

Путём решения дифференциального неравенства: $\frac{d}{dt}R_\beta(p_t,p'_t) \leq K_n - a(1-e^{-R_\beta(p_t,p'_t)})$

получены два режима:

• Зависящая от времени граница: $R_\beta(p_t,p'_t) \leq K_nt$ (всегда верно)
• Независящая от времени граница: когда K_n < a, $R_\beta(p_t,p'_t) \leq -\log(1-K_n/a)$ (для всех t > 0)

Экспериментальная установка

Данная работа — чисто теоретическое исследование, не содержащее экспериментальной части. Исследовательский фокус сосредоточен на установлении строгих математических теоретических гарантий.

Методы теоретической верификации

• Верификация корректности теорем через математические доказательства
• Теоретическое сравнение с существующей литературой (Таблицы 1 и 2)
• Анализ зависимостей от размерности, объёма выборки и параметров шума
• Исследование поведения констант через асимптотический анализ (Лемма 28)

Экспериментальные результаты

Основные теоретические результаты

1. Мультифрактальный случай (Теорема 15)

Для β ≥ 2 при предположениях о конечной чувствительности и регулярности:

Без предположения FPI: $R_\beta(p_t,p'_t) \leq \frac{\beta S^2_g}{2\sigma^2_2n^2}t$

С предположением FPI (когда K_n < 1/(γβ)): $R_\beta(p_t,p'_t) \leq -\log\left(1 - \frac{\gamma S^2_g\beta^2}{2\sigma^2_2n^2}\right)$

Ключевые характеристики:

• Граница, независимая от размерности
• Квадратичная зависимость от объёма выборки n: O(1/n²)
• Два режима: гарантия концентрированной DP (O(β)) и полуконцентрированной DP (O(β²))

2. Случай чистых скачков (Теорема 16)

Для чистого α-устойчивого шума с σ_2 = 0:

Определим константу: $K_{\alpha,d} := \frac{4(2-\alpha)d\Gamma(\frac{d}{2})\Gamma(1-\frac{\alpha}{2})}{\alpha 2^\alpha R^{2-\alpha}\Gamma(\frac{d+\alpha}{2})}$

Без предположения FPI: $R_\beta(p_t,p'_t) \leq \frac{K_{\alpha,d}(\beta-1)S^2_g t}{\sigma^\alpha_\alpha n^2}$

С предположением FPI (когда K_n < 1/(2γ(β-1))): $R_\beta(p_t,p'_t) \leq -\log\left(1 - \frac{2\gamma(\beta-1)^2K_{\alpha,d}S^2_g}{\sigma^\alpha_\alpha n^2}\right)$

Анализ зависимости от размерности (Лемма 28):

• При α → 2⁻: K_{α,d} = O(1)
• Предел высокой размерности: K_{α,d} = O(d^{1-α/2})
• Подразумеваемая (0,δ)-DP: δ = O(d^{(2-α)/4}/(nσ^{α/2}_α))

3. Дискретный случай (Теорема 18)

Для итераций градиентного спуска с тяжелохвостым шумом: $X_{k+1} = \Pi_C(X_k - \eta\hat{g}_S(X_k,\Omega_k) + \sigma\eta^{1/\alpha}\xi_k)$

получены гарантии RDP, аналогичные непрерывному случаю, с S_g, замененным на S_{g,C} (чувствительность на выпуклом множестве C).

Сравнение с существующими результатами

Ключевые улучшения:

• Зависимость от размерности улучшена с d^{(1+α)/2} до d^{(2-α)/4}
• При α, приближающемся к 2, зависимость от размерности исчезает
• Предоставляются более сильные гарантии RDP вместо только (0,δ)-DP
• Зависимость от объёма выборки улучшена до O(1/n²)

Теоретические находки

1. Компромисс между двумя режимами:
   • Концентрированная DP (O(β)): может линейно расти со временем
   • Полуконцентрированная DP (O(β²)): независима от времени, но с более сильной зависимостью от β
2. Сложные эффекты тяжелохвостого шума:
   • При σ√d < 1 более тяжелые хвосты могут быть полезны
   • При σ√d > 1 более тяжелые хвосты могут быть вредны
   • Это отличается от предыдущей простой интуиции (более тяжелые хвосты всегда лучше)
3. Ключевая роль дробного неравенства Пуанкаре:
   • Замена LSI для достижения независящей от времени границы
   • Зависимость β² существенно вытекает из нелокальной формы Дирихле

Связанные работы

1. Дифференциальная приватность при гауссовом шуме

Классический DP-SGD (Abadi et al. 2016, Bassily et al. 2014):

• Добавление гауссова шума + обрезание градиентов
• Гарантия (ε,δ)-DP: ε ≃ O(b√T log(1/δ)/(nσ))

RDP на основе LSI (Chourasia et al. 2021, Ryffel et al. 2022, Chien et al. 2024):

• Использование логарифмического неравенства Соболева
• Достижение независящей от времени гарантии RDP
• κ ≃ O(βS²_g/(n²σ²))

Ограничения: Эти методы явно используют гауссову структуру и LSI, не распространяются на тяжелохвостые случаи.

2. Дифференциальная приватность в тяжелохвостых случаях

Линейные динамические системы (Ito et al. 2021): Исследование DP для линейных динамических систем с α-устойчивым шумом, но не прямо связано с SGD

Общие α-устойчивые механизмы (Zawacki & Abed 2025): Предложение общих α-устойчивых DP механизмов, но независимо от исследований SGD

Предположения о конечных моментах (Asi et al. 2024): Исследование выпуклой оптимизации с тяжелохвостыми градиентами (конечные k-е моменты), но не включает напрямую α-устойчивый шум

Первая DP для тяжелохвостого SGD (Şimşekli et al. 2024):

• Предоставление гарантии (0,δ)-DP без необходимости обрезания градиентов
• На основе анализа возмущений цепей Маркова
• Ограничения: (0,δ)-DP слабее, сильная зависимость от размерности, невозможно расширить на RDP

3. Дробные неравенства Пуанкаре

Теоретические основы (Wang & Wang 2015, Mouhot et al. 2011):

• Дробные неравенства Пуанкаре для бесконечно делимых распределений
• Функциональные неравенства для процессов Леви

Приложения в машинном обучении:

• Границы обобщения (Dupuis & Şimşekli 2024)
• Выборка (He et al. 2024)

Уникальные вклады данной работы

1. Первые гарантии RDP для тяжелохвостых СДУ: Расширение теории DP на более сильную концепцию RDP
2. Значительное улучшение зависимости от размерности: С O(d^{(1+α)/2}) до O(d^{(2-α)/4})
3. Универсальная схема потока Леви: Применимая к широкому классу процессов Леви
4. Новое применение дробных неравенств Пуанкаре: Первое систематическое применение в DP

Заключение и обсуждение

Основные выводы

1. Теоретический прорыв: Установлены первые гарантии RDP для тяжелохвостых СДУ с существенно ослабленной зависимостью от размерности
2. Методологические инновации: Через комбинацию вычисления потока Рёньи и дробных неравенств Пуанкаре предоставлена новая парадигма для анализа приватности тяжелохвостых алгоритмов
3. Практическое значение: Результаты применимы к дискретному градиентному спуску, обеспечивая теоретические гарантии для практических тяжелохвостых алгоритмов SGD
4. Теоретические инсайты: Раскрыты сложные эффекты тяжелохвостого шума на приватность, зависящие от соотношения масштаба шума и размерности

Ограничения

1. Предположение о дробном неравенстве Пуанкаре:
   • Основное предположение требует верификации
   • Хотя предоставлены леммы об устойчивости (Леммы 19, 21, 22), оценки константы Пуанкаре могут быть чрезмерно консервативны
   • Предложение 23 требует, чтобы число обусловленности удовлетворяло λ/M(1+α/d) > 1, что может быть слишком сильным для плохо обусловленных задач
2. Условия регулярности (Предположение 2):
   • Требует v_t ∈ C²_b(ℝ^d) и условия невзрыва
   • Хотя разумно, верификация затруднительна
   • Авторы признают, что это в основном для упрощения технических аргументов
3. Дополнительные предположения для чистых скачков (Предположение 3):
   • Требует ограниченности градиента и гессиана v^{β/2}_t
   • Вводит неизвестную константу R, которая может зависеть от (d,T,β)
4. Зависимость β²:
   • Зависимость β² в гарантии полуконцентрированной DP кажется неизбежной
   • Это существенное свойство нелокальных форм Дирихле
5. Предположение о конечной чувствительности:
   • Требует S_g < ∞, обычно достигается через регуляризацию или обрезание градиентов
   • Контрастирует с параметром неограниченных градиентов в Şimşekli et al. (2024)

Будущие направления

1. Улучшение оценок константы дробного Пуанкаре:
   • Разработка более тонких лемм об устойчивости
   • Снижение зависимости от размерности
   • Восстановление гауссова предельного поведения при α → 2
2. Усиление функциональных неравенств:
   • Исследование возможности получения концентрированной DP гарантии (O(β)) с независимостью от времени
   • Может потребоваться условие более сильное, чем дробное неравенство Пуанкаре
3. Ослабление условий регулярности:
   • Верификация или ослабление Предположения 2
   • Связь с недавними оценками дробного теплового ядра
4. Расширение на более общие параметры:
   • Более тонкий анализ для невыпуклых потерь
   • Адаптивные масштабы шума
   • Другие типы тяжелохвостого шума (Коши, Парето)
5. Эмпирическая верификация:
   • Хотя работа чисто теоретическая, экспериментальная верификация теоретических предсказаний была бы ценна
   • Особенно для зависимостей от размерности и эффектов масштаба шума

Глубокая оценка

Преимущества

1. Теоретическая строгость:
   • Доказательства полны и технически глубоки
   • Введены несколько инновационных математических инструментов (поток Рёньи, взвешенная формула BBM)
   • Ясное объяснение применимости предположений и результатов
2. Методологическая инновативность:
   • Первое систематическое применение дробных неравенств Пуанкаре к дифференциальной приватности
   • Вычисление потока Рёньи применимо к общим процессам Леви с высокой универсальностью
   • Ловкое использование взвешенной формулы BBM для обработки случая чистых скачков
3. Значимость результатов:
   • Улучшение зависимости от размерности с O(d^{(1+α)/2}) до O(d^{(2-α)/4}) — существенный прогресс
   • Предоставление более сильных гарантий RDP вместо только (0,δ)-DP
   • Улучшение зависимости от объёма выборки до O(1/n²)
4. Теоретическая полнота:
   • Охват мультифрактального и чистого скачка случаев
   • Расширение на дискретные алгоритмы
   • Анализ устойчивости дробных неравенств Пуанкаре
5. Ясность изложения:
   • Чёткая структура, постепенное развитие от непрерывного к дискретному
   • Подробное сравнение связанных работ (Таблицы 1 и 2)
   • Достаточное введение технического фона (Раздел 2)

Недостатки

1. Верифицируемость предположений:
   • Сложность верификации дробного неравенства Пуанкаре в практических задачах
   • Условие в Предложении 23 слишком сильно, ограничивает применимость теории
   • Константа R в Предположении 3 не явно охарактеризована
2. Зависимость β²:
   • Хотя авторы объясняют неизбежность, это остаётся теоретическим недостатком
   • Для больших значений β граница может стать бесполезной
3. Отсутствие экспериментальной верификации:
   • Как чисто теоретическая работа, отсутствуют численные эксперименты для верификации теоретических предсказаний
   • Невозможно оценить размер констант
   • Разрыв между теорией и практикой неизвестен
4. Компромисс с существующими работами:
   • Хотя зависимость от размерности улучшена, введено предположение о конечной чувствительности
   • Şimşekli et al. (2024) может обрабатывать неограниченные градиенты, данная работа требует S_g < ∞
5. Техническая сложность:
   • Требуется несколько технических предположений (Предположения 1-3)
   • Верификация условий регулярности может быть затруднительна на практике

Влияние

1. Вклад в область:
   • Значительный теоретический прогресс: Заполнение пробела в теории RDP для тяжелохвостых алгоритмов
   • Методологическое влияние: Предоставление нового набора инструментов для анализа приватности тяжелохвостых стохастических алгоритмов
   • Междисциплинарная связь: Соединение стохастического анализа, функциональных неравенств и дифференциальной приватности
2. Практическая ценность:
   • Средняя: Теоретические гарантии обеспечивают основу для приватности тяжелохвостого SGD
   • Но практическое применение требует верификации дробного неравенства Пуанкаре, что может быть сложным
   • Предположение о конечной чувствительности может быть реализовано на практике через обрезание градиентов или регуляризацию
3. Воспроизводимость:
   • Высокая: Как чисто теоретическая работа, все доказательства верифицируемы
   • Математические выводы детальны, ключевые леммы имеют полные доказательства
   • Открытый исходный код неприменим (нет экспериментов)
4. Потенциал для последующих исследований:
   • Высокий: Открывает несколько направлений исследований
   • Тонкие оценки констант дробного Пуанкаре
   • Расширение на другие тяжелохвостые распределения
   • Связь с алгоритмами выборки (например, дробная динамика Ланжевена)

Применимые сценарии

1. Теоретические исследования:
   • Анализ приватности тяжелохвостых стохастических алгоритмов
   • Проектирование механизмов дифференциальной приватности с негауссовым шумом
   • Гарантии приватности для дробных дифференциальных уравнений
2. Практические приложения (требуется осторожность):
   • SGD в глубоком обучении, где естественно возникает тяжелохвостое поведение
   • Сценарии, где требуется внедрение тяжелохвостого шума для улучшения обобщения
   • Выпуклые или сильно выпуклые функции потерь (условие Предложения 23)
3. Неприменимые сценарии:
   • Плохо обусловленные задачи (число обусловленности слишком велико)
   • Случаи, где невозможно верифицировать дробное неравенство Пуанкаре
   • Требования очень тесных границ приватности (из-за зависимости β²)

Список литературы

Ключевые ссылки

1. Şimşekli et al. (2024): Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping. Основной объект улучшения в данной работе.
2. Chourasia et al. (2021): Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent. Метод потока Рёньи для гауссова случая, важный источник вдохновения для данной работы.
3. Wang & Wang (2015): Functional Inequalities for Stable-Like Dirichlet Forms. Теоретическая основа дробных неравенств Пуанкаре.
4. Bourgain et al. (2001): Another Look at Sobolev spaces. Оригинальный источник формулы BBM.
5. Dupuis & Şimşekli (2024): Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation. Связанная работа по границам обобщения, использующая различные методы энтропийного потока.

Общая оценка: Это отличная работа с глубокой техникой и строгой теорией, вносящая значительный вклад в теорию дифференциальной приватности для тяжелохвостых стохастических алгоритмов. Через введение дробных неравенств Пуанкаре и новых вычислений потока Рёньи значительно улучшена зависимость от размерности и предоставлены более сильные гарантии RDP. Несмотря на ограничения в верифицируемости предположений и зависимости β², работа открывает важные направления исследований и имеет значительную ценность для теоретического сообщества. Практическое применение требует дальнейших эмпирических исследований и верификации предположений.