2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

Потеряны в средних значениях: переоценка оценки рисков конфиденциальности для отдельных записей

Основная информация

  • ID статьи: 2405.15423
  • Название: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • Авторы: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • Учреждения: Imperial College London, Lausanne University Hospital (CHUV)
  • Классификация: cs.LG, cs.CR
  • Дата публикации/конференция: Data Privacy Management (DPM) workshop at ESORICS 2025
  • Ссылка на статью: https://arxiv.org/abs/2405.15423v2

Аннотация

В данной работе исследуется проблема оценки рисков конфиденциальности для генераторов синтетических данных и моделей машинного обучения. Генераторы синтетических данных и модели МО могут запоминать свои обучающие данные, что вызывает опасения по поводу конфиденциальности. Атаки вывода членства (MIA) являются стандартным методом оценки рисков конфиденциальности таких систем. Авторы анализируют традиционные методы оценки игр конфиденциальности для отдельных записей при реалистичных предположениях об атакующем и обнаруживают, что они усредняют риски конфиденциальности записей по различным наборам данных. В работе предлагается новая игра конфиденциальности с фиксированным семенем модели, которая обеспечивает точную оценку рисков конфиденциальности для записей в конкретном наборе данных. Экспериментальные результаты показывают, что традиционная игра может упустить до 94% высокорисковых записей.

Предпосылки исследования и мотивация

1. Определение проблемы

С широким применением моделей машинного обучения и генераторов синтетических данных в чувствительных областях, таких как здравоохранение, право и финансы, проблема запоминания моделями обучающих данных становится все более актуальной. Злоумышленники могут использовать атаки вывода членства для определения того, была ли конкретная запись использована при обучении, или даже реконструировать полные обучающие образцы.

2. Важность проблемы

  • Риск утечки конфиденциальности: запоминание моделью может привести к раскрытию конфиденциальной личной информации
  • Соответствие нормативным требованиям: необходимо точно оценивать риски конфиденциальности для соответствия нормативным требованиям
  • Практическое развертывание: при выпуске конкретной модели или набора синтетических данных требуется точная оценка рисков

3. Ограничения существующих методов

Традиционные игры конфиденциальности для отдельных записей используют выборку наборов данных в качестве источника случайности, неявно предполагая, что риск конфиденциальности записи не зависит от набора данных, к которому она принадлежит. Это предположение не выполняется в практических сценариях, что может привести к вводящим в заблуждение оценкам рисков.

4. Мотивация исследования

Авторы обнаружили, что традиционная игра конфиденциальности усредняет риски записей по различным наборам данных, тогда как в практических приложениях требуется оценка рисков записей в конкретном наборе данных. Следовательно, они предлагают игру с фиксированным семенем модели для решения этой проблемы.

Основные вклады

  1. Теоретический анализ: формализация традиционной игры конфиденциальности для отдельных записей и доказательство того, что она вычисляет риск конфиденциальности, усредненный по наборам данных
  2. Предложение нового метода: формализация игры конфиденциальности с фиксированным семенем модели, которая сходится к риску различителя дифференциальной конфиденциальности (DPD) записи
  3. Экспериментальная верификация: проверка различий между двумя играми конфиденциальности на нескольких наборах данных и моделях, обнаружение того, что традиционная игра может упустить до 94% высокорисковых записей
  4. Анализ влияющих факторов: анализ влияния размера набора данных и гарантий дифференциальной конфиденциальности на различия в оценке рисков

Подробное описание методов

Определение задачи

Для целевой записи x, алгоритма обучения A(·) и атаки ϕ(·) целью является точная оценка риска конфиденциальности записи x в конкретном наборе данных D. Риск конфиденциальности измеряется через коэффициент успеха атаки вывода членства.

Традиционная игра конфиденциальности (Traditional Privacy Game)

Определение 2: Для целевой записи x, размера набора данных n, алгоритма обучения A(·) и атаки ϕ(·):

  1. Оппонент выбирает набор данных D̄ ∼ D^n из распределения
  2. Оппонент случайно выбирает секретный бит b ∈ {0,1}
  3. Если b=1, оппонент добавляет целевую запись x к D̄, формируя D = D̄ ∪ {x}, иначе D = D̄
  4. Оппонент обучает целевую модель θ ← A(D) на наборе данных D
  5. Атакующий выводит предположение b̂ = ϕ(θ)

Игра конфиденциальности с фиксированным семенем модели (Model-Seeded Privacy Game)

Определение 3: Для целевой записи x, частичного набора данных D̄, алгоритма обучения A(·) и атаки ϕ(·):

  1. Оппонент случайно выбирает секретный бит b ∈ {0,1}
  2. Если b=1, оппонент добавляет целевую запись x к D̄, формируя D = D̄ ∪ {x}, иначе D = D̄
  3. Оппонент обучает целевую модель θ ← A(D) на наборе данных D с новым случайным семенем
  4. Атакующий выводит предположение b̂ = ϕ(θ)

Технические инновации

  1. Фиксированный набор данных: в отличие от традиционной игры, игра с фиксированным семенем модели фиксирует целевой набор данных и использует только семя модели в качестве источника случайности
  2. Теоретические гарантии: доказано, что игра с фиксированным семенем модели сходится к риску DPD, тогда как традиционная игра сходится к усредненному по наборам данных риску
  3. Практичность: обеспечивает оценку рисков конфиденциальности, согласованную с дифференциальной конфиденциальностью

Теоретический анализ

Предложение 1 (Игра с фиксированным семенем модели сходится к риску DPD): Для любой фиксированной целевой записи x, частичного набора данных D̄, алгоритма обучения T(·) и атаки ϕ(·) в игре с фиксированным семенем модели:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

Предложение 2 (Традиционная игра сходится к усредненному риску конфиденциальности): Эмпирический коэффициент ошибок в традиционной игре конфиденциальности сходится к среднему значению по независимо и одинаково распределенной переборке наборов данных:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

Экспериментальная установка

Наборы данных

  • Набор данных Adult: данные переписи населения, содержащие категориальные и непрерывные демографические признаки
  • Набор данных UK Census: данные переписи населения Великобритании
  • Разделение данных: D_aux используется для разработки MIA, D_eval используется для оценки, |D| = 1000

Целевые модели

  • Synthpop: статистический генератор синтетических данных
  • Baynet: генератор байесовской сети
  • PrivBayes: версия Baynet с дифференциальной конфиденциальностью

Методы MIA

Использование атаки TAPAS, которая является современным методом атак на основе запросов против генераторов синтетических данных. TAPAS работает при черном ящике доступа к модели с вспомогательными данными, но без доступа к обучающим данным целевой модели.

Метрики оценки

  • Miss Rate (MR): доля записей, классифицированных как высокорисковые в настройке с фиксированным семенем модели, но как низкорисковые в традиционной настройке
  • Root Mean Squared Deviation (RMSD): среднеквадратичное отклонение между двумя оценками рисков
  • AUC ROC: сводная метрика для рисков конфиденциальности

Результаты экспериментов

Основные результаты

Эксперименты на наборе данных Adult и генераторе Synthpop показывают:

  • 94% высокорисковых записей неправильно классифицированы традиционной игрой как низкорисковые (порог t=0,8)
  • Диапазон RMSD от 0,04 до 0,11, что представляет значительную ошибку в оценке рисков с использованием AUC
  • Диапазон Miss Rate от 0,73 до 0,94, что указывает на постоянную неправильную идентификацию высокорисковых записей в традиционной настройке

Влияние различных порогов

Для всех порогов высокого риска Miss Rate остается значительным:

  • При t=0,6 Miss Rate превышает 20% во всех настройках
  • При t=0,9 Miss Rate достигает 80%
  • Miss Rate увеличивается с увеличением порога t

Влияние размера набора данных

  • Малые наборы данных (n<10 000): большие различия между двумя оценками рисков
  • Большие наборы данных: различия уменьшаются, но остаются значительными
  • Даже в больших наборах данных с |D|=10 000 RMSD остается значительным

Влияние дифференциальной конфиденциальности

При обучении PrivBayes с строгими значениями ε:

  • Производительность MIA снижается с уменьшением ε, сходясь к базовому уровню случайного угадывания (AUC 0,5)
  • По мере того как оценки концентрируются около 0,5, различия между двумя оценками также уменьшаются
  • Однако при проверке гарантий DP использование настройки с фиксированным семенем модели остается важным

Анализ конкретного случая

Оценка рисков для отдельной целевой записи в 15 случайно выбранных наборах данных показывает:

  • Риск с фиксированным семенем модели R_MS варьируется от примерно 0,5 (случайное угадывание) до 0,8 (высокий риск)
  • Традиционный риск R_T = 0,62, в худшем случае занижает риск DPD на 0,2

Связанные работы

Развитие атак вывода членства

  • Shokri и др. (2017): первая работа, предложившая MIA против моделей МО
  • Техника теневого моделирования: обучение нескольких моделей с включением/исключением целевой записи для приближения ее влияния
  • Синтетические табличные данные: методы атак, специально разработанные для генераторов синтетических данных

Модели угроз

  • Уровень данных: степень доступа атакующего к реальным данным
  • Уровень модели: доступ атакующего к обученной модели (черный ящик vs белый ящик)
  • Реалистичные предположения: атакующий имеет доступ к вспомогательному набору данных

Оценка MIA

  • Игра для конкретной модели: оценка способности атакующего различать модели, обученные с включением/исключением записи
  • Игра для конкретной записи: оценка способности атакующего различать модели, обученные с включением/исключением целевой записи

Выводы и обсуждение

Основные выводы

  1. Ограничения традиционной игры конфиденциальности: усреднение рисков по выборкам наборов данных приводит к вводящим в заблуждение оценкам рисков
  2. Преимущества игры с фиксированным семенем модели: обеспечивает точную оценку рисков конфиденциальности для записей в конкретном наборе данных, согласованную с дифференциальной конфиденциальностью
  3. Практическое воздействие: традиционный метод может упустить большое количество высокорисковых записей, влияя на решения по защите конфиденциальности

Ограничения

  1. Зависимость от набора данных: точная зависимость уязвимости записи от набора данных остается открытым вопросом
  2. Масштаб экспериментов: основное внимание уделяется табличным синтетическим данным, применимость к другим типам данных требует дальнейшей проверки
  3. Вычислительные затраты: игра с фиксированным семенем модели может требовать больше вычислительных ресурсов

Направления будущих исследований

  1. Теоретический анализ: глубокое понимание механизмов влияния набора данных на уязвимость записей
  2. Расширение приложений: распространение метода на другие типы моделей машинного обучения и данных
  3. Практические инструменты: разработка практических инструментов для оценки рисков конфиденциальности

Глубокая оценка

Преимущества

  1. Теоретический вклад: обеспечивает строгий теоретический анализ, доказывающий свойства сходимости двух игр конфиденциальности
  2. Практическая ценность: решает важную проблему в оценке рисков конфиденциальности на практике
  3. Полнота экспериментов: комплексная экспериментальная верификация на нескольких наборах данных и моделях
  4. Ясность изложения: четкая структура статьи, точное описание технических деталей

Недостатки

  1. Масштаб экспериментов: основное внимание уделяется табличным данным, применимость к другим типам данных ограничена
  2. Сложность вычислений: отсутствует подробный анализ различий в вычислительной сложности между двумя методами
  3. Практическое развертывание: отсутствуют тематические исследования развертывания в реальных системах

Влияние

  1. Академический вклад: обеспечивает важный теоретический и практический вклад в область оценки рисков конфиденциальности
  2. Практическая ценность: имеет важное значение для организаций, работающих с конфиденциальными данными
  3. Воспроизводимость: предоставляет подробное описание экспериментальной установки и алгоритмов

Применимые сценарии

  1. Выпуск синтетических данных: оценка рисков конфиденциальности наборов синтетических данных
  2. Аудит моделей: проведение аудита конфиденциальности моделей машинного обучения
  3. Соответствие нормативным требованиям: удовлетворение требований нормативных актов по оценке рисков
  4. Проверка дифференциальной конфиденциальности: проверка эффективности реализации дифференциальной конфиденциальности

Библиография

Статья цитирует важные работы в области защиты конфиденциальности в машинном обучении, включая:

  • Пионерские работы Shokri и др. об атаках вывода членства
  • Классическую теорию дифференциальной конфиденциальности Dwork и Roth
  • Недавние исследования по конфиденциальности синтетических данных

Резюме: Данная работа посредством теоретического анализа и экспериментальной верификации выявляет недостатки традиционных методов оценки рисков конфиденциальности и предлагает более точную игру конфиденциальности с фиксированным семенем модели. Исследование имеет важное теоретическое и практическое значение для области защиты конфиденциальности в машинном обучении, особенно в отношении генерации синтетических данных и оценки рисков конфиденциальности.