2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

Persi nelle Medie: Rivalutazione della Valutazione del Rischio di Privacy Specifico per Record

Informazioni Fondamentali

  • ID Articolo: 2405.15423
  • Titolo: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • Autori: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • Istituzioni: Imperial College London, Lausanne University Hospital (CHUV)
  • Classificazione: cs.LG, cs.CR
  • Data di Pubblicazione/Conferenza: Data Privacy Management (DPM) workshop presso ESORICS 2025
  • Link Articolo: https://arxiv.org/abs/2405.15423v2

Riassunto

Questo articolo esamina la valutazione del rischio di privacy per generatori di dati sintetici e modelli di apprendimento automatico. I generatori di dati sintetici e i modelli ML possono memorizzare i loro dati di addestramento, sollevando preoccupazioni sulla privacy. Gli attacchi di inferenza di appartenenza (MIAs) sono il metodo standard per valutare i rischi di privacy di questi sistemi. Gli autori analizzano i metodi tradizionali utilizzati per valutare i giochi di privacy specifici per record secondo ipotesi di attaccanti realistici, scoprendo che mediavano i rischi di privacy dei record su diversi set di dati. Lo studio propone un nuovo gioco di privacy con seed di modello che fornisce stime accurate del rischio di privacy per i record in un set di dati specifico. Gli esperimenti dimostrano che il gioco tradizionale potrebbe trascurare fino al 94% dei record ad alto rischio.

Contesto di Ricerca e Motivazione

1. Definizione del Problema

Con l'ampia applicazione di modelli di apprendimento automatico e generatori di dati sintetici in settori sensibili come la sanità, il diritto e la finanza, il problema della memorizzazione dei dati di addestramento da parte di questi modelli sta diventando sempre più prominente. Gli attaccanti potrebbero determinare se record specifici sono stati utilizzati per l'addestramento attraverso attacchi di inferenza di appartenenza, o addirittura ricostruire campioni di addestramento completi.

2. Importanza del Problema

  • Rischio di Divulgazione della Privacy: La memorizzazione del modello potrebbe portare alla divulgazione di informazioni personali sensibili
  • Conformità Normativa: È necessaria una valutazione accurata del rischio di privacy per soddisfare i requisiti normativi
  • Distribuzione Pratica: Quando viene rilasciato un modello specifico o un set di dati sintetici, è necessaria una valutazione accurata del rischio

3. Limitazioni dei Metodi Esistenti

Il gioco di privacy tradizionale specifico per record utilizza il campionamento del set di dati come fonte di casualità, presupponendo implicitamente che il rischio di privacy di un record sia indipendente dal set di dati a cui appartiene. Questo presupposto non è valido negli scenari reali, portando a valutazioni del rischio potenzialmente fuorvianti.

4. Motivazione della Ricerca

Gli autori hanno scoperto che il gioco di privacy tradizionale media i rischi su diversi set di dati, mentre le applicazioni pratiche richiedono la valutazione del rischio di un record in un set di dati specifico. Di conseguenza, propongono il gioco con seed di modello per affrontare questo problema.

Contributi Principali

  1. Analisi Teorica: Formalizzazione e analisi del gioco di privacy tradizionale specifico per record, provando che calcola il rischio di privacy mediato su set di dati
  2. Proposta di Nuovo Metodo: Proposta e formalizzazione del gioco di privacy con seed di modello, che converge al rischio del discriminatore di privacy differenziale (DPD) del record
  3. Verifica Sperimentale: Verifica delle differenze tra i due giochi di privacy su più set di dati e modelli, scoprendo che il gioco tradizionale potrebbe trascurare fino al 94% dei record ad alto rischio
  4. Analisi dei Fattori di Influenza: Analisi dell'impatto della dimensione del set di dati e delle garanzie di privacy differenziale sulle differenze nelle stime del rischio

Spiegazione Dettagliata del Metodo

Definizione del Compito

Dato un record target x, un algoritmo di addestramento A(·) e un attacco ϕ(·), l'obiettivo è stimare accuratamente il rischio di privacy del record x in un set di dati specifico D. Il rischio di privacy è misurato dal tasso di successo dell'attacco di inferenza di appartenenza.

Gioco di Privacy Tradizionale (Traditional Privacy Game)

Definizione 2: Per un record target x, dimensione del set di dati n, algoritmo di addestramento A(·) e attacco ϕ(·):

  1. L'avversario campiona un set di dati D̄ ∼ D^n dalla distribuzione
  2. L'avversario estrae casualmente il bit segreto b ∈ {0,1}
  3. Se b=1, aggiunge il record target x a D̄ formando D = D̄ ∪ {x}, altrimenti D = D̄
  4. L'avversario addestra il modello target sul set di dati D: θ ← A(D)
  5. L'attaccante produce la stima b̂ = ϕ(θ)

Gioco di Privacy con Seed di Modello (Model-Seeded Privacy Game)

Definizione 3: Per un record target x, set di dati parziale D̄, algoritmo di addestramento A(·) e attacco ϕ(·):

  1. L'avversario estrae casualmente il bit segreto b ∈ {0,1}
  2. Se b=1, aggiunge il record target x a D̄ formando D = D̄ ∪ {x}, altrimenti D = D̄
  3. L'avversario addestra il modello target sul set di dati D con un nuovo seed casuale: θ ← A(D)
  4. L'attaccante produce la stima b̂ = ϕ(θ)

Punti di Innovazione Tecnica

  1. Set di Dati Fisso: A differenza del gioco tradizionale, il gioco con seed di modello fissa il set di dati target, utilizzando solo il seed del modello come fonte di casualità
  2. Garanzie Teoriche: Prova che il gioco con seed di modello converge al rischio DPD, mentre il gioco tradizionale converge al rischio medio su set di dati
  3. Praticità: Fornisce stime del rischio di privacy coerenti con la privacy differenziale

Analisi Teorica

Proposizione 1 (Convergenza del Gioco con Seed di Modello al Rischio DPD): Per qualsiasi record target fisso x, set di dati parziale D̄, algoritmo di addestramento T(·) e attacco ϕ(·), nel gioco con seed di modello:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

Proposizione 2 (Convergenza del Gioco Tradizionale al Rischio di Privacy Medio): Il tasso di errore empirico del gioco di privacy tradizionale converge al valore medio su ricampionamenti di set di dati i.i.d.:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

Configurazione Sperimentale

Set di Dati

  • Set di Dati Adult: Dati di censimento, contenenti caratteristiche demografiche categoriche e continue
  • Set di Dati UK Census: Dati di censimento britannico
  • Partizione dei Dati: D_aux utilizzato per lo sviluppo di MIA, D_eval per la valutazione, |D| = 1000

Modelli Target

  • Synthpop: Generatore di dati sintetici statistico
  • Baynet: Generatore di rete bayesiana
  • PrivBayes: Versione con privacy differenziale di Baynet

Metodo MIA

Utilizzo dell'attacco TAPAS, il metodo di attacco basato su query all'avanguardia per generatori di dati sintetici. TAPAS funziona con accesso al modello in scatola nera, con dati ausiliari ma senza accesso ai dati di addestramento del modello target.

Metriche di Valutazione

  • Miss Rate (MR): Proporzione di record classificati come ad alto rischio nell'impostazione con seed di modello ma come a basso rischio nell'impostazione tradizionale
  • Root Mean Squared Deviation (RMSD): Deviazione quadratica media tra le due stime del rischio
  • AUC ROC: Come metrica di riepilogo del rischio di privacy

Risultati Sperimentali

Risultati Principali

Gli esperimenti sul set di dati Adult e sul generatore Synthpop mostrano:

  • 94% dei record ad alto rischio sono erroneamente classificati come a basso rischio dal gioco tradizionale (soglia t=0.8)
  • Intervallo RMSD da 0.04 a 0.11, rappresentando un errore significativo nei rischi valutati utilizzando AUC
  • Intervallo Miss Rate da 0.73 a 0.94, indicando che l'impostazione tradizionale identifica erroneamente continuamente i record ad alto rischio

Impatto di Diverse Soglie

Per tutte le soglie di rischio elevato, il miss rate è significativo:

  • Con t=0.6, il miss rate supera il 20% in tutte le impostazioni
  • Con t=0.9, il miss rate raggiunge l'80%
  • Il miss rate aumenta con l'aumentare della soglia t

Impatto della Dimensione del Set di Dati

  • Set di Dati Piccoli (n<10.000): Differenze maggiori tra le due stime del rischio
  • Set di Dati Grandi: Le differenze diminuiscono ma rimangono significative
  • Anche con |D|=10.000 in set di dati grandi, l'RMSD rimane significativo

Impatto della Privacy Differenziale

Quando si addestra PrivBayes con valori ε ristretti:

  • Le prestazioni di MIA diminuiscono con la diminuzione di ε, convergendo al baseline di indovinare casualmente (AUC 0.5)
  • Con le stime concentrate intorno a 0.5, anche le differenze tra le due stime diminuiscono
  • Tuttavia, quando si verificano le garanzie DP, l'utilizzo dell'impostazione con seed di modello rimane importante

Analisi di Caso

La valutazione del rischio di un singolo record target su 15 set di dati selezionati casualmente mostra:

  • Il rischio con seed di modello R_MS varia da circa 0.5 (indovinare casualmente) a 0.8 (alto rischio)
  • Il rischio tradizionale R_T = 0.62, sottostimando il rischio DPD nel caso peggiore di 0.2

Lavori Correlati

Sviluppo degli Attacchi di Inferenza di Appartenenza

  • Shokri et al. (2017): Primo lavoro che propone MIA per modelli ML
  • Tecnica di Shadow Modeling: Addestramento di più modelli con/senza il record target per approssimare il suo impatto
  • Dati Sintetici Tabulari: Metodi di attacco specializzati per generatori di dati sintetici

Modelli di Minaccia

  • Livello Dati: Grado di accesso dell'attaccante ai dati reali
  • Livello Modello: Accesso dell'attaccante al modello di addestramento (scatola nera vs scatola bianca)
  • Ipotesi Realistiche: L'attaccante ha accesso a un set di dati ausiliario

Valutazione di MIA

  • Gioco Specifico per Modello: Valutazione della capacità dell'attaccante di distinguere l'inclusione/esclusione dei dati di addestramento
  • Gioco Specifico per Record: Valutazione della capacità dell'attaccante di distinguere modelli addestrati/non addestrati sul record target

Conclusioni e Discussione

Conclusioni Principali

  1. Limitazioni del Gioco di Privacy Tradizionale: Media il rischio attraverso il campionamento del set di dati, fornendo valutazioni del rischio fuorvianti
  2. Vantaggi del Gioco con Seed di Modello: Fornisce stime accurate del rischio di privacy per i record in un set di dati specifico, coerenti con la privacy differenziale
  3. Impatto Pratico: Il metodo tradizionale potrebbe trascurare un gran numero di record ad alto rischio, influenzando le decisioni di protezione della privacy

Limitazioni

  1. Dipendenza dal Set di Dati: La dipendenza esatta della vulnerabilità del record dal set di dati rimane una questione aperta
  2. Portata Sperimentale: Focalizzato principalmente su dati sintetici tabulari, l'applicabilità ad altri tipi di dati richiede ulteriore verifica
  3. Costo Computazionale: Il gioco con seed di modello potrebbe richiedere più risorse computazionali

Direzioni Future

  1. Analisi Teorica: Comprensione più profonda dei meccanismi di come il set di dati influisce sulla vulnerabilità del record
  2. Estensione dell'Applicazione: Estensione del metodo ad altri tipi di modelli di apprendimento automatico e dati
  3. Strumenti Pratici: Sviluppo di strumenti pratici per la valutazione del rischio di privacy

Valutazione Approfondita

Punti di Forza

  1. Contributo Teorico: Fornisce un'analisi teorica rigorosa, provando le proprietà di convergenza dei due giochi di privacy
  2. Valore Pratico: Affronta un problema importante nella valutazione pratica del rischio di privacy
  3. Esperimenti Completi: Verifica sperimentale completa su più set di dati e modelli
  4. Scrittura Chiara: Struttura dell'articolo chiara, descrizione accurata dei dettagli tecnici

Punti Deboli

  1. Portata Sperimentale: Focalizzato principalmente su dati tabulari, applicabilità limitata ad altri tipi di dati
  2. Complessità Computazionale: Manca un'analisi dettagliata delle differenze di complessità computazionale tra i due metodi
  3. Distribuzione Pratica: Mancanza di studi di caso sulla distribuzione in sistemi reali

Impatto

  1. Contributo Accademico: Fornisce importanti contributi teorici e pratici al campo della valutazione del rischio di privacy
  2. Valore Pratico: Ha importanti implicazioni guida per le organizzazioni che gestiscono dati sensibili
  3. Riproducibilità: Fornisce configurazioni sperimentali dettagliate e descrizioni di algoritmi

Scenari Applicabili

  1. Rilascio di Dati Sintetici: Valutazione del rischio di privacy dei set di dati sintetici
  2. Audit di Modelli: Audit di privacy per modelli di apprendimento automatico
  3. Conformità Normativa: Valutazione del rischio per soddisfare i requisiti normativi sulla privacy
  4. Verifica della Privacy Differenziale: Verifica dell'efficacia dell'implementazione della privacy differenziale

Riferimenti Bibliografici

L'articolo cita importanti letteratura nel campo dell'apprendimento automatico con protezione della privacy, inclusi:

  • Lavori pioneristici di Shokri et al. sugli attacchi di inferenza di appartenenza
  • Teoria classica di Dwork e Roth sulla privacy differenziale
  • Ricerche recenti correlate sulla privacy dei dati sintetici

Riepilogo: Attraverso l'analisi teorica e la verifica sperimentale, questo articolo rivela i difetti dei metodi tradizionali di valutazione del rischio di privacy e propone il gioco di privacy con seed di modello più accurato. La ricerca ha importante valore teorico e pratico per il campo dell'apprendimento automatico con protezione della privacy, in particolare nella generazione di dati sintetici e nella valutazione del rischio di privacy.