2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

Perdu dans les Moyennes : Réévaluation de l'Évaluation des Risques de Confidentialité Spécifiques aux Enregistrements

Informations de Base

  • ID de l'article: 2405.15423
  • Titre: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • Auteurs: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • Institutions: Imperial College London, Hôpital Universitaire de Lausanne (CHUV)
  • Classification: cs.LG, cs.CR
  • Date de publication/Conférence: Atelier Data Privacy Management (DPM) à ESORICS 2025
  • Lien de l'article: https://arxiv.org/abs/2405.15423v2

Résumé

Cet article examine l'évaluation des risques de confidentialité des générateurs de données synthétiques et des modèles d'apprentissage automatique. Les générateurs de données synthétiques et les modèles d'apprentissage automatique peuvent mémoriser leurs données d'entraînement, soulevant des préoccupations en matière de confidentialité. Les attaques par inférence d'appartenance (MIAs) constituent une méthode standard pour évaluer les risques de confidentialité de ces systèmes. Les auteurs analysent les méthodes traditionnelles utilisées pour évaluer les jeux de confidentialité spécifiques aux enregistrements sous des hypothèses d'attaquants réalistes, découvrant qu'elles font la moyenne des risques de confidentialité des enregistrements sur différents ensembles de données. L'étude propose un nouveau jeu de confidentialité avec graine de modèle, capable de fournir des estimations précises des risques de confidentialité des enregistrements dans un ensemble de données spécifique. Les expériences montrent que le jeu traditionnel peut ignorer jusqu'à 94 % des enregistrements à haut risque.

Contexte et Motivation de la Recherche

1. Définition du Problème

Avec l'application généralisée des modèles d'apprentissage automatique et des générateurs de données synthétiques dans des domaines sensibles tels que la santé, le droit et la finance, le problème de la mémorisation des données d'entraînement par ces modèles devient de plus en plus préoccupant. Les attaquants pourraient déterminer si un enregistrement spécifique a été utilisé pour l'entraînement par des attaques par inférence d'appartenance, voire reconstruire des échantillons d'entraînement complets.

2. Importance du Problème

  • Risques de fuite de confidentialité: La mémorisation des modèles peut entraîner la divulgation d'informations personnelles sensibles
  • Conformité réglementaire: Nécessité d'évaluer précisément les risques de confidentialité pour satisfaire aux exigences réglementaires
  • Déploiement pratique: Lors de la publication d'un modèle spécifique ou d'un ensemble de données synthétiques, une évaluation précise des risques est requise

3. Limitations des Méthodes Existantes

Le jeu de confidentialité spécifique aux enregistrements traditionnel utilise l'échantillonnage d'ensembles de données comme source d'aléatoire, en supposant implicitement que le risque de confidentialité d'un enregistrement est indépendant de l'ensemble de données auquel il appartient. Cette hypothèse ne tient pas dans les scénarios réels, ce qui peut conduire à des évaluations de risques trompeuses.

4. Motivation de la Recherche

Les auteurs découvrent que le jeu de confidentialité traditionnel fait la moyenne des risques des enregistrements sur différents ensembles de données, alors que les applications pratiques nécessitent d'évaluer le risque d'un enregistrement dans un ensemble de données spécifique. Par conséquent, ils proposent le jeu avec graine de modèle pour résoudre ce problème.

Contributions Principales

  1. Analyse théorique: Formalisation et analyse du jeu de confidentialité spécifique aux enregistrements traditionnel, prouvant qu'il calcule le risque de confidentialité moyenné sur les ensembles de données
  2. Proposition d'une nouvelle méthode: Proposition et formalisation du jeu de confidentialité avec graine de modèle, qui converge vers le risque du discriminateur de confidentialité différentielle (DPD) de l'enregistrement
  3. Validation expérimentale: Vérification des différences entre les deux jeux de confidentialité sur plusieurs ensembles de données et modèles, découvrant que le jeu traditionnel peut ignorer jusqu'à 94 % des enregistrements à haut risque
  4. Analyse des facteurs d'influence: Analyse de l'impact de la taille de l'ensemble de données et des garanties de confidentialité différentielle sur les différences d'estimation des risques

Détails de la Méthode

Définition de la Tâche

Étant donné un enregistrement cible x, un algorithme d'entraînement A(·) et une attaque ϕ(·), l'objectif est d'estimer précisément le risque de confidentialité de l'enregistrement x dans un ensemble de données spécifique D. Le risque de confidentialité est mesuré par le taux de réussite de l'attaque par inférence d'appartenance.

Jeu de Confidentialité Traditionnel (Traditional Privacy Game)

Définition 2: Pour un enregistrement cible x, une taille d'ensemble de données n, un algorithme d'entraînement A(·) et une attaque ϕ(·):

  1. Le challenger échantillonne un ensemble de données D̄ ∼ D^n à partir de la distribution
  2. Le challenger tire aléatoirement un bit secret b ∈ {0,1}
  3. Si b=1, le challenger ajoute l'enregistrement cible x à D̄ pour former D = D̄ ∪ {x}, sinon D = D̄
  4. Le challenger entraîne le modèle cible sur l'ensemble de données D : θ ← A(D)
  5. L'attaquant produit une estimation b̂ = ϕ(θ)

Jeu de Confidentialité avec Graine de Modèle (Model-Seeded Privacy Game)

Définition 3: Pour un enregistrement cible x, un ensemble de données partiel D̄, un algorithme d'entraînement A(·) et une attaque ϕ(·):

  1. Le challenger tire aléatoirement un bit secret b ∈ {0,1}
  2. Si b=1, le challenger ajoute l'enregistrement cible x à D̄ pour former D = D̄ ∪ {x}, sinon D = D̄
  3. Le challenger entraîne le modèle cible sur l'ensemble de données D avec une nouvelle graine aléatoire : θ ← A(D)
  4. L'attaquant produit une estimation b̂ = ϕ(θ)

Points d'Innovation Technique

  1. Ensemble de données fixe: Contrairement au jeu traditionnel, le jeu avec graine de modèle fixe l'ensemble de données cible, utilisant uniquement la graine du modèle comme source d'aléatoire
  2. Garanties théoriques: Preuve que le jeu avec graine de modèle converge vers le risque DPD, tandis que le jeu traditionnel converge vers le risque moyen sur les ensembles de données
  3. Praticité: Fournit une estimation des risques de confidentialité cohérente avec la confidentialité différentielle

Analyse Théorique

Proposition 1 (Le jeu avec graine de modèle converge vers le risque DPD): Pour tout enregistrement cible fixe x, ensemble de données partiel D̄, algorithme d'entraînement T(·) et attaque ϕ(·), dans le jeu avec graine de modèle:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

Proposition 2 (Le jeu traditionnel converge vers le risque de confidentialité moyen): Le taux d'erreur empirique du jeu de confidentialité traditionnel converge vers la moyenne sur les rééchantillonnages d'ensembles de données i.i.d.:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

Configuration Expérimentale

Ensembles de Données

  • Ensemble de données Adult: Données de recensement contenant des caractéristiques démographiques catégoriques et continues
  • Ensemble de données UK Census: Données de recensement britannique
  • Partitionnement des données: D_aux pour le développement de MIA, D_eval pour l'évaluation, |D| = 1000

Modèles Cibles

  • Synthpop: Générateur de données synthétiques statistiques
  • Baynet: Générateur de réseau bayésien
  • PrivBayes: Version à confidentialité différentielle de Baynet

Méthodes MIA

Utilisation de l'attaque TAPAS, une méthode d'attaque basée sur les requêtes de pointe contre les générateurs de données synthétiques. TAPAS fonctionne avec un accès au modèle en boîte noire, disposant de données auxiliaires mais sans accès aux données d'entraînement du modèle cible.

Indicateurs d'Évaluation

  • Taux d'Omission (MR): Proportion d'enregistrements classés comme à haut risque dans le cadre avec graine de modèle mais comme à faible risque dans le cadre traditionnel
  • Écart Quadratique Moyen (RMSD): Racine carrée de la moyenne des écarts au carré entre les deux estimations de risque
  • AUC ROC: En tant qu'indicateur récapitulatif du risque de confidentialité

Résultats Expérimentaux

Résultats Principaux

Les expériences sur l'ensemble de données Adult et le générateur Synthpop montrent:

  • 94 % des enregistrements à haut risque sont mal classifiés comme à faible risque par le jeu traditionnel (seuil t=0,8)
  • Plage RMSD de 0,04 à 0,11, représentant une erreur significative dans les risques évalués par AUC
  • Plage du taux d'omission de 0,73 à 0,94, indiquant que le cadre traditionnel identifie systématiquement mal les enregistrements à haut risque

Impact de Différents Seuils

Pour tous les seuils de haut risque, le taux d'omission est significatif:

  • À t=0,6, le taux d'omission dépasse 20 % dans tous les cadres
  • À t=0,9, le taux d'omission atteint 80 %
  • Le taux d'omission augmente avec le seuil t

Impact de la Taille de l'Ensemble de Données

  • Petits ensembles de données (n<10 000): Différences plus importantes entre les deux estimations de risque
  • Grands ensembles de données: Les différences diminuent mais restent significatives
  • Même dans les grands ensembles de données (|D|=10 000), le RMSD reste significatif

Impact de la Confidentialité Différentielle

Lors de l'entraînement de PrivBayes avec des valeurs ε strictes:

  • Les performances de MIA diminuent à mesure que ε diminue, convergeant vers la ligne de base de devinage aléatoire (AUC 0,5)
  • À mesure que les estimations se concentrent autour de 0,5, les différences entre les deux estimations diminuent également
  • Cependant, lors de la vérification des garanties DP, l'utilisation du cadre avec graine de modèle reste importante

Étude de Cas

L'évaluation du risque d'un enregistrement cible unique sur 15 ensembles de données sélectionnés aléatoirement montre:

  • Le risque avec graine de modèle R_MS varie d'environ 0,5 (devinage aléatoire) à 0,8 (haut risque)
  • Le risque traditionnel R_T = 0,62, sous-estimant le risque DPD jusqu'à 0,2 dans le pire des cas

Travaux Connexes

Évolution des Attaques par Inférence d'Appartenance

  • Shokri et al. (2017): Première proposition d'attaques MIA contre les modèles d'apprentissage automatique
  • Technique de modélisation fantôme: Entraînement de plusieurs modèles avec/sans l'enregistrement cible pour approximer son impact
  • Données synthétiques tabulaires: Méthodes d'attaque spécialisées contre les générateurs de données synthétiques

Modèles de Menace

  • Niveau données: Degré d'accès de l'attaquant aux données réelles
  • Niveau modèle: Accès de l'attaquant au modèle d'entraînement (boîte noire vs boîte blanche)
  • Hypothèses réalistes: L'attaquant dispose d'un accès à un ensemble de données auxiliaires

Évaluation MIA

  • Jeu spécifique au modèle: Évaluation de la capacité de l'attaquant à distinguer l'inclusion/exclusion d'enregistrements dans les données d'entraînement
  • Jeu spécifique à l'enregistrement: Évaluation de la capacité de l'attaquant à distinguer les modèles entraînés/non entraînés sur l'enregistrement cible

Conclusions et Discussion

Conclusions Principales

  1. Limitations du jeu de confidentialité traditionnel: Fait la moyenne des risques par échantillonnage d'ensembles de données, fournissant une évaluation des risques trompeuse
  2. Avantages du jeu avec graine de modèle: Fournit une estimation précise des risques de confidentialité des enregistrements dans un ensemble de données spécifique, cohérente avec la confidentialité différentielle
  3. Impact pratique: La méthode traditionnelle peut ignorer un grand nombre d'enregistrements à haut risque, affectant les décisions de protection de la confidentialité

Limitations

  1. Dépendance à l'ensemble de données: La dépendance exacte de la vulnérabilité des enregistrements à l'ensemble de données reste une question ouverte
  2. Portée expérimentale: Principalement axée sur les données synthétiques tabulaires, l'applicabilité à d'autres types de données nécessite une vérification supplémentaire
  3. Coût computationnel: Le jeu avec graine de modèle peut nécessiter plus de ressources informatiques

Directions Futures

  1. Analyse théorique: Compréhension approfondie des mécanismes d'influence de l'ensemble de données sur la vulnérabilité des enregistrements
  2. Extension d'application: Extension de la méthode à d'autres types de modèles d'apprentissage automatique et de données
  3. Outils pratiques: Développement d'outils pratiques d'évaluation des risques de confidentialité

Évaluation Approfondie

Points Forts

  1. Contribution théorique: Fournit une analyse théorique rigoureuse, prouvant les propriétés de convergence des deux jeux de confidentialité
  2. Valeur pratique: Résout un problème important dans l'évaluation pratique des risques de confidentialité
  3. Expériences complètes: Validation expérimentale complète sur plusieurs ensembles de données et modèles
  4. Rédaction claire: Structure de l'article claire, description précise des détails techniques

Insuffisances

  1. Portée expérimentale: Principalement axée sur les données tabulaires, applicabilité limitée à d'autres types de données
  2. Complexité computationnelle: Pas d'analyse détaillée des différences de complexité computationnelle entre les deux méthodes
  3. Déploiement pratique: Manque d'études de cas sur le déploiement dans des systèmes réels

Impact

  1. Contribution académique: Apporte des contributions théoriques et pratiques importantes au domaine de l'évaluation des risques de confidentialité
  2. Valeur pratique: Offre des orientations importantes pour les organisations traitant des données sensibles
  3. Reproductibilité: Fournit des descriptions détaillées de la configuration expérimentale et des algorithmes

Scénarios d'Application

  1. Publication de données synthétiques: Évaluation des risques de confidentialité des ensembles de données synthétiques
  2. Audit de modèles: Audit de confidentialité des modèles d'apprentissage automatique
  3. Conformité réglementaire: Satisfaction des exigences d'évaluation des risques des réglementations de confidentialité
  4. Vérification de la confidentialité différentielle: Vérification de l'efficacité des implémentations de confidentialité différentielle

Références

L'article cite des travaux importants dans le domaine de l'apprentissage automatique préservant la confidentialité, notamment:

  • Les travaux fondateurs de Shokri et al. sur les attaques par inférence d'appartenance
  • La théorie classique de Dwork et Roth sur la confidentialité différentielle
  • Les recherches récentes connexes sur la confidentialité des données synthétiques

Résumé: Cet article, par l'analyse théorique et la validation expérimentale, révèle les défauts des méthodes traditionnelles d'évaluation des risques de confidentialité et propose un jeu de confidentialité avec graine de modèle plus précis. La recherche possède une valeur théorique et pratique importante pour le domaine de l'apprentissage automatique préservant la confidentialité, en particulier dans les domaines de la génération de données synthétiques et de l'évaluation des risques de confidentialité.