2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

Verloren in den Durchschnitten: Neubewertung der Evaluierung datensatzspezifischer Datenschutzrisiken

Grundinformationen

  • Papier-ID: 2405.15423
  • Titel: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • Autoren: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • Institutionen: Imperial College London, Universitätsspital Lausanne (CHUV)
  • Klassifizierung: cs.LG, cs.CR
  • Veröffentlichungszeitpunkt/Konferenz: Data Privacy Management (DPM) Workshop bei ESORICS 2025
  • Papierlink: https://arxiv.org/abs/2405.15423v2

Zusammenfassung

Dieses Papier untersucht die Bewertung von Datenschutzrisiken bei Generatoren synthetischer Daten und Modellen des maschinellen Lernens. Generatoren synthetischer Daten und ML-Modelle können ihre Trainingsdaten memorieren, was Datenschutzbedenken aufwirft. Membership Inference Attacks (MIAs) sind eine Standardmethode zur Bewertung der Datenschutzrisiken dieser Systeme. Die Autoren analysieren traditionelle Methoden zur Bewertung datensatzspezifischer Datenschutzspiele unter realistischen Annahmen über Angreifer und stellen fest, dass diese die Datenschutzrisiken von Datensätzen über verschiedene Datensätze hinweg mitteln. Die Forschung schlägt ein neues modellgestütztes Datenschutzspiel vor, das genaue Schätzungen der Datenschutzrisiken von Datensätzen in einem bestimmten Datensatz ermöglicht. Experimente zeigen, dass traditionelle Spiele bis zu 94 % der Datensätze mit hohem Risiko übersehen können.

Forschungshintergrund und Motivation

1. Problemdefinition

Mit der weit verbreiteten Anwendung von Modellen des maschinellen Lernens und Generatoren synthetischer Daten in sensiblen Bereichen wie Medizin, Recht und Finanzen wird das Problem der Memorierung von Trainingsdaten durch diese Modelle zunehmend akut. Angreifer können durch Membership Inference Attacks feststellen, ob bestimmte Datensätze zum Training verwendet wurden, oder sogar vollständige Trainingsmuster rekonstruieren.

2. Bedeutung des Problems

  • Datenschutzlecks: Modellmemorierung kann zur Offenlegung sensibler persönlicher Informationen führen
  • Behördliche Compliance: Genaue Bewertung von Datenschutzrisiken zur Erfüllung gesetzlicher Anforderungen erforderlich
  • Praktische Bereitstellung: Bei der Veröffentlichung bestimmter Modelle oder synthetischer Datensätze ist eine genaue Risikobewertung erforderlich

3. Einschränkungen bestehender Methoden

Traditionelle datensatzspezifische Datenschutzspiele verwenden Datensatzstichproben als Quelle der Zufälligkeit und gehen implizit davon aus, dass die Datenschutzrisiken eines Datensatzes unabhängig von seinem Zugehörigkeitsdatensatz sind. Diese Annahme trifft in praktischen Szenarien nicht zu, was zu möglicherweise irreführenden Risikobewertungen führt.

4. Forschungsmotivation

Die Autoren stellen fest, dass traditionelle Datenschutzspiele die Risiken von Datensätzen über verschiedene Datensätze hinweg mitteln, während praktische Anwendungen eine Bewertung von Datenschutzrisiken in einem bestimmten Datensatz erfordern. Daher schlagen sie das modellgestützte Spiel vor, um dieses Problem zu lösen.

Kernbeiträge

  1. Theoretische Analyse: Formale Analyse traditioneller datensatzspezifischer Datenschutzspiele mit dem Nachweis, dass diese Datenschutzrisiken mitteln, die über Datensätze hinweg berechnet werden
  2. Neue Methode: Vorschlag und Formalisierung eines modellgestützten Datenschutzspiels, das zu einem Differential Privacy Distinguisher (DPD)-Risiko für den Datensatz konvergiert
  3. Experimentelle Validierung: Validierung der Unterschiede zwischen den beiden Datenschutzspielen auf mehreren Datensätzen und Modellen, wobei festgestellt wird, dass traditionelle Spiele bis zu 94 % der Datensätze mit hohem Risiko übersehen können
  4. Analyse von Einflussfaktoren: Analyse der Auswirkungen von Datensatzgröße und Differential Privacy-Garantien auf Unterschiede in Risikobewertungen

Methodische Details

Aufgabendefinition

Gegeben ein Zieldatensatz x, ein Trainingsalgorithmus A(·) und ein Angriff ϕ(·), besteht das Ziel darin, das Datenschutzrisiko des Datensatzes x in einem bestimmten Datensatz D genau zu schätzen. Das Datenschutzrisiko wird durch die Erfolgsquote von Membership Inference Attacks gemessen.

Traditionelles Datenschutzspiel (Traditional Privacy Game)

Definition 2: Für einen Zieldatensatz x, eine Datensatzgröße n, einen Trainingsalgorithmus A(·) und einen Angriff ϕ(·):

  1. Der Herausforderer nimmt einen Datensatz D̄ ∼ D^n aus der Verteilung
  2. Der Herausforderer wählt zufällig ein Geheimbit b ∈ {0,1}
  3. Wenn b=1, wird der Zieldatensatz x zu D̄ hinzugefügt, um D = D̄ ∪ {x} zu bilden, andernfalls D = D̄
  4. Der Herausforderer trainiert das Zielmodell auf dem Datensatz D: θ ← A(D)
  5. Der Angreifer gibt eine Vermutung aus: b̂ = ϕ(θ)

Modellgestütztes Datenschutzspiel (Model-Seeded Privacy Game)

Definition 3: Für einen Zieldatensatz x, einen Teildatensatz D̄, einen Trainingsalgorithmus A(·) und einen Angriff ϕ(·):

  1. Der Herausforderer wählt zufällig ein Geheimbit b ∈ {0,1}
  2. Wenn b=1, wird der Zieldatensatz x zu D̄ hinzugefügt, um D = D̄ ∪ {x} zu bilden, andernfalls D = D̄
  3. Der Herausforderer trainiert das Zielmodell auf dem Datensatz D mit einem neuen Zufallssamen: θ ← A(D)
  4. Der Angreifer gibt eine Vermutung aus: b̂ = ϕ(θ)

Technische Innovationen

  1. Fester Datensatz: Im Gegensatz zum traditionellen Spiel fixiert das modellgestützte Spiel den Zieldatensatz und verwendet nur den Modellsamen als Quelle der Zufälligkeit
  2. Theoretische Garantien: Nachweis, dass das modellgestützte Spiel zu DPD-Risiken konvergiert, während das traditionelle Spiel zu datensatzgemittelten Risiken konvergiert
  3. Praktikabilität: Bietet Datenschutzrisikobewertungen, die mit Differential Privacy konsistent sind

Theoretische Analyse

Proposition 1 (Modellgestütztes Spiel konvergiert zu DPD-Risiko): Für jeden festen Zieldatensatz x, Teildatensatz D̄, Trainingsalgorithmus T(·) und Angriff ϕ(·) im modellgestützten Spiel:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

Proposition 2 (Traditionelles Spiel konvergiert zu gemitteltem Datenschutzrisiko): Die empirische Fehlerquote des traditionellen Datenschutzspiels konvergiert zum Durchschnittswert über i.i.d. Datensatzneustichproben:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

Experimentelle Einrichtung

Datensätze

  • Adult-Datensatz: Volkszählungsdaten mit kategorialen und kontinuierlichen demografischen Merkmalen
  • UK Census-Datensatz: Britische Volkszählungsdaten
  • Datensatzaufteilung: D_aux für MIA-Entwicklung, D_eval für Evaluierung, |D| = 1000

Zielmodelle

  • Synthpop: Statistischer Generator für synthetische Daten
  • Baynet: Bayesian Network Generator
  • PrivBayes: Differential Privacy-Version von Baynet

MIA-Methoden

Verwendung des TAPAS-Angriffs, eine hochmoderne abfragebasierte Angriffsmethode gegen Generatoren synthetischer Daten. TAPAS läuft unter Black-Box-Modellzugriff mit Hilfsdaten, aber ohne Zugriff auf die Trainingsdaten des Zielmodells.

Bewertungsmetriken

  • Miss Rate (MR): Anteil der Datensätze, die in der modellgestützten Einstellung als hohes Risiko klassifiziert, aber in der traditionellen Einstellung als niedriges Risiko klassifiziert werden
  • Root Mean Squared Deviation (RMSD): Quadratische Abweichung zwischen den beiden Risikobewertungen
  • AUC ROC: Als zusammenfassende Metrik für Datenschutzrisiken

Experimentelle Ergebnisse

Hauptergebnisse

Experimente auf dem Adult-Datensatz und dem Synthpop-Generator zeigen:

  • 94 % der Datensätze mit hohem Risiko werden vom traditionellen Spiel fälschlicherweise als niedriges Risiko klassifiziert (Schwellenwert t=0,8)
  • RMSD-Bereich von 0,04 bis 0,11, was einen signifikanten Fehler in der mit AUC bewerteten Risiken darstellt
  • Miss Rate-Bereich von 0,73 bis 0,94, was darauf hindeutet, dass die traditionelle Einstellung kontinuierlich Datensätze mit hohem Risiko falsch identifiziert

Auswirkungen verschiedener Schwellenwerte

Für alle Schwellenwerte für hohes Risiko ist die Miss Rate signifikant:

  • Bei t=0,6 übersteigt die Miss Rate in allen Einstellungen 20 %
  • Bei t=0,9 erreicht die Miss Rate bis zu 80 %
  • Die Miss Rate nimmt mit zunehmendem Schwellenwert t zu

Auswirkungen der Datensatzgröße

  • Kleine Datensätze (n<10.000): Größere Unterschiede zwischen den beiden Risikobewertungen
  • Große Datensätze: Unterschiede nehmen ab, bleiben aber signifikant
  • Auch bei |D|=10.000 großen Datensätzen bleibt der RMSD signifikant

Auswirkungen von Differential Privacy

Bei der Schulung von PrivBayes mit strikten ε-Werten:

  • Die MIA-Leistung nimmt mit sinkendem ε ab und konvergiert zur Zufallsbaseline (AUC 0,5)
  • Mit Schätzungen, die sich um 0,5 konzentrieren, nimmt auch der Unterschied zwischen den beiden Schätzungen ab
  • Bei der Validierung von DP-Garantien ist die Verwendung der modellgestützten Einstellung jedoch weiterhin wichtig

Fallstudie

Die Bewertung des Risikos für einen einzelnen Zieldatensatz über 15 zufällig ausgewählte Datensätze zeigt:

  • Das modellgestützte Risiko R_MS variiert von etwa 0,5 (Zufallsrate) bis 0,8 (hohes Risiko)
  • Das traditionelle Risiko R_T = 0,62, unterschätzt das DPD-Risiko im schlimmsten Fall um 0,2

Verwandte Arbeiten

Entwicklung von Membership Inference Attacks

  • Shokri et al. (2017): Erste Einführung von MIA gegen ML-Modelle
  • Shadow Modeling-Techniken: Training mehrerer Modelle mit/ohne Zieldatensatz zur Approximation seiner Auswirkungen
  • Tabellarische synthetische Daten: Spezialisierte Angriffsmethoden gegen Generatoren synthetischer Daten

Bedrohungsmodelle

  • Datensatzebene: Umfang des Zugriffs des Angreifers auf echte Daten
  • Modellebene: Zugriff des Angreifers auf das Trainingsmodell (Black-Box vs. White-Box)
  • Realistische Annahmen: Angreifer haben Zugriff auf Hilfsdatensätze

MIA-Bewertung

  • Modellspezifisches Spiel: Bewertung der Fähigkeit des Angreifers, zwischen Trainingsdaten mit/ohne Datensatz zu unterscheiden
  • Datensatzspezifisches Spiel: Bewertung der Fähigkeit des Angreifers, zwischen Modellen mit/ohne Training auf dem Zieldatensatz zu unterscheiden

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Einschränkungen traditioneller Datenschutzspiele: Durch Datensatzstichproben werden Risiken gemittelt, was zu irreführenden Risikobewertungen führt
  2. Vorteile des modellgestützten Spiels: Bietet genaue Risikobewertungen für Datensätze in einem bestimmten Datensatz, konsistent mit Differential Privacy
  3. Praktische Auswirkungen: Traditionelle Methoden können große Mengen an Datensätzen mit hohem Risiko übersehen, was sich auf Datenschutzschutzbeschlüsse auswirkt

Einschränkungen

  1. Datensatzabhängigkeit: Die genaue Abhängigkeit der Datensatzanfälligkeit vom Datensatz bleibt eine offene Frage
  2. Experimenteller Umfang: Konzentriert sich hauptsächlich auf tabellarische synthetische Daten; die Anwendbarkeit auf andere Datentypen erfordert weitere Überprüfung
  3. Rechenkosten: Das modellgestützte Spiel erfordert möglicherweise mehr Rechenressourcen

Zukünftige Richtungen

  1. Theoretische Analyse: Tieferes Verständnis der Mechanismen, wie Datensätze die Datensatzanfälligkeit beeinflussen
  2. Erweiterte Anwendung: Erweiterung der Methode auf andere Arten von Modellen des maschinellen Lernens und Daten
  3. Praktische Werkzeuge: Entwicklung praktischer Werkzeuge zur Bewertung von Datenschutzrisiken

Tiefgreifende Bewertung

Stärken

  1. Theoretischer Beitrag: Bietet strenge theoretische Analyse mit Nachweis der Konvergenzeigenschaften der beiden Datenschutzspiele
  2. Praktischer Wert: Löst wichtige Probleme bei der Bewertung von Datenschutzrisiken in der Praxis
  3. Umfassende Experimente: Umfassende experimentelle Validierung auf mehreren Datensätzen und Modellen
  4. Klare Darstellung: Klare Papierstruktur mit genauen technischen Details

Schwächen

  1. Experimenteller Umfang: Konzentriert sich hauptsächlich auf tabellarische Daten; begrenzte Anwendbarkeit auf andere Datentypen
  2. Rechenkomplexität: Keine detaillierte Analyse der Unterschiede in der Rechenkomplexität zwischen den beiden Methoden
  3. Praktische Bereitstellung: Mangel an Fallstudien zur Bereitstellung in echten Systemen

Einfluss

  1. Akademischer Beitrag: Bietet wichtige theoretische und praktische Beiträge zum Bereich der Datenschutzrisikobewertung
  2. Praktischer Wert: Wichtige Orientierung für Organisationen, die mit sensiblen Daten arbeiten
  3. Reproduzierbarkeit: Detaillierte experimentelle Einrichtung und Algorithmusbeschreibung

Anwendungsszenarien

  1. Veröffentlichung synthetischer Daten: Bewertung von Datenschutzrisiken synthetischer Datensätze
  2. Modellaudit: Datenschutzaudit von Modellen des maschinellen Lernens
  3. Behördliche Compliance: Erfüllung von Datenschutzbestimmungen durch Risikobewertung
  4. Differential Privacy-Validierung: Validierung der Wirksamkeit von Differential Privacy-Implementierungen

Literaturverzeichnis

Das Papier zitiert wichtige Literatur im Bereich des datenschutzschützenden maschinellen Lernens, darunter:

  • Bahnbrechende Arbeiten von Shokri et al. zu Membership Inference Attacks
  • Klassische Theorie von Dwork und Roth zu Differential Privacy
  • Aktuelle Forschung zur Privatsphäre synthetischer Daten

Zusammenfassung: Dieses Papier offenbart durch theoretische Analyse und experimentelle Validierung die Mängel traditioneller Datenschutzrisikobewertungsmethoden und schlägt ein genaueres modellgestütztes Datenschutzspiel vor. Die Forschung hat wichtige theoretische und praktische Bedeutung für das Gebiet des datenschutzschützenden maschinellen Lernens, insbesondere bei der Generierung synthetischer Daten und der Bewertung von Datenschutzrisiken.