Защита секретов в эволюции для дифференциально приватной генерации синтетического текста

Основная информация

• ID статьи: 2510.10990
• Название: Secret-Protected Evolution for Differentially Private Synthetic Text Generation
• Авторы: Tianze Wang¹'², Zhaoyu Chen¹, Jian Du¹†, Yingtai Xiao¹, Linjun Zhang², Qiang Yan¹ (¹TikTok, ²Rutgers University)
• Классификация: cs.CR (Криптография и безопасность), cs.CL (Вычислительная лингвистика), cs.NE (Нейронные и эволюционные вычисления)
• Дата публикации: 13 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.10990

Аннотация

Текстовые данные приобретают исключительную ценность в больших языковых моделях (LLM) и потенциально могут способствовать развитию общего искусственного интеллекта (AGI). Однако в реальном мире многие высококачественные текстовые данные являются приватными и не могут свободно использоваться из-за проблем конфиденциальности. Таким образом, дифференциально приватная (DP) генерация синтетического текста была предложена с целью создания синтетических данных высокой полезности при одновременной защите конфиденциальной информации. Однако существующие методы DP генерации синтетического текста применяют единые гарантии, часто чрезмерно защищая неконфиденциальное содержимое, что приводит к значительной потере полезности и вычислительным затратам. В данной работе предлагается Secret-Protected Evolution (SecPE) — новая структура, расширяющая приватную эволюцию посредством защиты, осведомленной о секретах. Теоретически доказано, что SecPE удовлетворяет (p,r)-защите секретов, которая является ослаблением гауссовой DP, достигая более плотного компромисса между полезностью и приватностью при одновременном значительном снижении вычислительной сложности по сравнению с базовыми методами.

Исследовательский контекст и мотивация

Определение проблемы

С быстрым развитием больших языковых моделей ценность текстовых данных постоянно возрастает. Однако обучение и адаптация этих моделей обычно зависит от больших объемов приватных пользовательских текстовых данных, что создает серьезные риски конфиденциальности, включая запоминание и утечку конфиденциального содержимого.

Важность проблемы

1. Конфликт между ценностью данных и приватностью: Высококачественные текстовые данные критически важны для LLM, но использование приватных данных ограничено нормативными требованиями конфиденциальности
2. Ограничения существующих методов: Традиционные методы дифференциальной приватности обеспечивают единую защиту для всех записей, даже если конфиденциальная информация может быть редкой и варьироваться между пользователями и атрибутами
3. Проблемы вычислительной эффективности: Существующие методы приватной эволюции (PE) требуют обширных попарных вычислений сходства, что создает огромные вычислительные издержки

Исследовательская мотивация

Существующие методы DP предполагают, что каждая запись одинаково конфиденциальна, но в действительности:

• Конфиденциальная информация может быть редко распределена
• Степень конфиденциальности варьируется между пользователями и атрибутами
• Секреты могут повторяться между записями
• Единые гарантии приводят к чрезмерной защите и потере полезности

Основные вклады

1. Предложена структура SecPE: Структура для генерации приватных синтетических данных, подчеркивающая защиту секретов, а не традиционную DP, повышающая полезность за счет снижения шума, обычно требуемого DP
2. Разработан метод кластеризации с защитой секретов: Значительно снижает временную сложность выполнения по сравнению с методом PE с O(MNsyn) до O(KNsyn), где K≪M
3. Теоретические гарантии: Доказано, что SecPE удовлетворяет (p,r)-защите секретов, которая является ослабленной версией гауссовой DP
4. Экспериментальная верификация: На наборах данных OpenReview, PubMed и Yelp SecPE достигает более высокой эффективности, более низкого FID и лучшей точности нижестоящих задач при одинаковых гарантиях реконструкции

Подробное описание метода

Определение задачи

Учитывая приватный набор текстовых данных, содержащий конфиденциальные секреты, необходимо сгенерировать высококачественные синтетические текстовые данные, которые:

1. Сохраняют статистические характеристики, аналогичные исходным данным
2. Защищают конкретные секреты от реконструкции
3. Сохраняют хорошую производительность на нижестоящих задачах

Определение защиты секретов

Определение 3.1 (Защита секретов): Пусть D = {x₁,...,xₙ} — набор обучающих данных, где каждый образец может содержать секреты из S = {s₁,...,sₘ}. Для секрета sⱼ∈S пусть πⱼ — априорное распределение на наборе данных {D¹ⱼ,...,Dᴷⱼ}, удовлетворяющее Pr(Dᵏⱼ) ≤ pⱼ, где D и Dᵏⱼ отличаются только наличием sⱼ. Случайный механизм A удовлетворяет (p,r)-защите секретов, если для любой атаки реконструкции B:

Pr[B(A(Dⱼ)) = sⱼ] ≤ rⱼ, ∀j

Архитектура модели

Структура SecPE содержит два основных компонента:

1. Кластеризация секретов (Secret Clustering)

• Цель: Использовать открытые данные для кластеризации, затем обновить с помощью зашумленных приватных данных для формирования репрезентативных центров
• Алгоритм:
  1. Выполнить K-means кластеризацию на открытых данных: {(eₖ, nₖ)}ᴷₖ₌₁ = Kmeans(Dpub, K)
  2. Назначить приватные данные ближайшим открытым центрам
  3. Добавить откалиброванный шум для обновления статистики кластеризации

2. Защищенная эволюция (Protected Evolution)

• Цель: Выполнить итеративный отбор на основе зашумленных представителей, а не прямого голосования по приватным данным
• Преимущество: Снижает сложность с O(MNsyn) до O(KNsyn)

Калибровка шума

Алгоритм 1 (SecretNoise): Назначить веса каждому приватному образцу через линейное программирование:

max Σwᵢ subject to Σwᵢ ≤ ηⱼ, wᵢ ∈ [0,1]

где ηⱼ = Φ⁻¹(1-pⱼ) - Φ⁻¹(1-rⱼ) как ограничение емкости.

Технические инновации

1. От приватности членства к защите секретов: Не защищать членство в наборе данных, а защищать конкретное содержимое секретов
2. Ускорение кластеризации: Заменить поточечное голосование голосованием представителей, значительно повысив вычислительную эффективность
3. Ослабление ограничений DP: (p,r)-защита секретов ограничивает только вероятность успеха противника с единственной априорной вероятностью, а не всю кривую компромисса

Экспериментальная установка

Наборы данных

1. OpenReview: Рецензии на статьи ICLR 2023, аннотированные по исследовательским областям и оценкам рекомендаций
2. PubMed: Аннотации медицинских статей
3. Yelp: Пользовательские отзывы о компаниях, аннотированные по категориям компаний и оценкам

Метрики оценки

1. Вычислительная эффективность: GPU-часы и время вычисления гистограмм
2. Производительность нижестоящих задач: Точность классификации при тонкой настройке RoBERTa/BERT на синтетических данных
3. Сходство реальных и синтетических данных: FID на встраиваниях текста и сравнение распределений длин текста

Методы сравнения

• Aug-PE: Расширенный метод приватной эволюции на основе μ-GDP
• Различные числа кластеров K: SecPE₂₀₀₀, SecPE₃₀₀₀, SecPE₄₀₀₀ и другие варианты

Детали реализации

• Модели генерации: GPT-2, Qwen-2.5-1.5B (основные эксперименты), Llama-3.1-8B, GPT-4o-Mini (абляция)
• Модели встраивания: Sentence-Transformers
• Бюджеты приватности: p = 1×10⁻⁴, r/p ∈ {2, 10, 50, ∞}

Результаты экспериментов

Основные результаты

Сравнение времени выполнения

Таблица 2 показывает значительное ускорение SecPE при построении гистограмм:

• OpenReview: 126.9s → 1.5s (84× ускорение)
• PubMed: 32.2s → 0.5s (64× ускорение)
• Yelp: 30126.4s → 2.3s (примерно 13,000× ускорение)

Производительность нижестоящих задач

На всех наборах данных SecPE последовательно превосходит Aug-PE:

PubMed (Таблица 3):

• GPT-2 + BERT-small: Aug-PE от 29.70→24.93 (r/p: ∞→2), SecPE от 29.19→29.18
• Чем строже требования приватности, тем более очевидны преимущества SecPE

Yelp (Таблица 5):

• При r/p=2 SecPE₈₀₀ достигает 72.74% при классификации категорий против 71.53% для Aug-PE
• При классификации оценок SecPE₈₀₀ достигает 62.46% против 47.02% для Aug-PE

Сходство реальных и синтетических данных

Рисунок 2 показывает, что при уменьшении r/p SecPE достигает более низкого FID (более высокого сходства), в то время как в непривативном режиме FID немного выше, но в целом сопоставим.

Абляционные исследования

Влияние выбора LLM (Таблица 6)

Более мощные LLM дают лучшие результаты:

• GPT-4o-mini (74.84, 62.96) > GPT-2 (73.82, 58.36)
• Qwen-2.5-7B (74.56, 63.06) > Qwen-2.5-1.5B (73.12, 62.08)

Влияние числа кластеров K

Эксперименты показывают, что производительность нечувствительна к выбору K, что демонстрирует робастность метода.

Результаты задачи PII

На реальной задаче обнаружения PII улучшения SecPE по сравнению с Aug-PE более скромные, но метод остается конкурентоспособным.

Связанные работы

Дифференциально приватная генерация текста

1. DP-Generator: Использует DP-SGD для обучения языковых моделей, требует больших вычислительных ресурсов и большого количества высококачественных приватных данных
2. Private Evolution (PE): Использует доступ через API к базовой модели, итеративно обновляя случайно инициализированные образцы
3. Вклад данной работы: Переход от единой защиты к защите, осведомленной о секретах

Защита секретов против дифференциальной приватности

• Традиционная DP: Защищает членство, обеспечивает единую защиту для всех записей
• Защита секретов: Калибрует гарантии для конкретных секретов, позволяя использовать открытые данные без защиты

Заключение и обсуждение

Основные выводы

1. SecPE достигает лучшего компромисса между полезностью и приватностью благодаря защите, осведомленной о секретах
2. Метод кластеризации значительно повышает вычислительную эффективность
3. Последовательно превосходит базовый метод GDP на нескольких наборах данных
4. Более мощные LLM производят синтетический текст более высокого качества

Ограничения

1. Потеря абстракции кластеризации: Кластеризация может абстрагировать мелкозернистые детали, потенциально приводя к небольшой потере полезности в непривативном режиме
2. Вызовы определения секретов: Как формально определить секреты и количественно оценить их конфиденциальность остается открытым вопросом
3. Область применения: Метод предполагает редкое и повторяющееся конфиденциальное содержимое, что может быть неприменимо во всех сценариях

Направления будущих исследований

1. Исследовать гетерогенные, специфичные для секретов бюджеты и адаптивные априорные вероятности
2. Расширить на область изображений и исследовать генераторы с защитой секретов
3. Дополнительно стандартизировать использование приватных данных

Глубокая оценка

Преимущества

1. Теоретическая инновация: Концепция (p,r)-защиты секретов является новой и предоставляет новую перспективу для защиты приватности
2. Практическая ценность: Значительное ускорение вычислений делает метод более применимым на практике
3. Полная экспериментальная оценка: Комплексная оценка на нескольких наборах данных и метриках
4. Строгая техника: Тщательный теоретический анализ и доказательства

Недостатки

1. Идентификация секретов: Статья недостаточно обсуждает, как практически идентифицировать и определять "секреты"
2. Ограничения базовых методов: Основное сравнение проводится с одним базовым методом, отсутствует сравнение с другими методами DP генерации текста
3. Обобщаемость: Улучшения на задаче PII ограничены, требуется дальнейшая верификация обобщающей способности метода

Влияние

1. Научный вклад: Предоставляет новую теоретическую структуру для генерации приватных синтетических данных
2. Практическая ценность: Значительное улучшение вычислительной эффективности делает метод более подходящим для крупномасштабных приложений
3. Воспроизводимость: Предоставляет подробные детали реализации и настройки гиперпараметров

Сценарии применения

1. Текстовые данные, где конфиденциальная информация редка и типы известны
2. Приложения, требующие крупномасштабной генерации приватного защищенного текста
3. Сценарии с высокими требованиями к вычислительной эффективности
4. Приложения в конкретных областях, где можно четко определить "секреты"

Библиография

Статья ссылается на важные работы в областях защиты приватности, дифференциальной приватности и генерации текста, включая:

• Abadi et al. (2016): Фундаментальная работа по DP-SGD
• Dong et al. (2019): Теория гауссовой дифференциальной приватности
• Xie et al. (2024): Метод Private Evolution
• Ganesh et al. (2025): Теоретические основы защиты секретов