2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

KrÄo, GuÃ©pin, Meeus et al.

Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.

academic

平均値に埋もれて：記録特定プライバシーリスク評価の再評価

基本情報

論文ID: 2405.15423
タイトル: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
著者: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
機関: Imperial College London, Lausanne University Hospital (CHUV)
分類: cs.LG, cs.CR
発表時期/会議: Data Privacy Management (DPM) workshop at ESORICS 2025
論文リンク: https://arxiv.org/abs/2405.15423v2

要約

本論文は、合成データ生成器および機械学習モデルのプライバシーリスク評価の問題を研究している。合成データ生成器とMLモデルは訓練データを記憶する可能性があり、プライバシーの懸念を引き起こす。メンバーシップ推論攻撃(MIAs)は、これらのシステムのプライバシーリスクを評価するための標準的な方法である。著者らは、現実的な攻撃者の仮定の下で記録特定プライバシーゲームを評価するための従来の方法を分析し、異なるデータセット間での記録のプライバシーリスクを平均化していることを発見した。本研究は、新しいモデルシード型プライバシーゲームを提案し、特定のデータセット内の記録の正確なプライバシーリスク推定を提供できる。実験により、従来のゲームは高リスク記録の最大94%を見落とす可能性があることが示された。

研究背景と動機

1. 問題定義

機械学習モデルと合成データ生成器が医療、法律、金融などの機密性の高い分野で広く応用されるにつれて、これらのモデルが訓練データを記憶する可能性の問題がますます顕著になっている。攻撃者は、メンバーシップ推論攻撃を通じて、特定の記録が訓練に使用されたかどうかを判定したり、完全な訓練サンプルを再構成したりする可能性がある。

2. 問題の重要性

プライバシー漏洩リスク: モデルの記憶により、機密個人情報が漏洩する可能性がある
規制遵守: 規制要件を満たすためにプライバシーリスクを正確に評価する必要がある
実際の展開: 特定のモデルまたは合成データセットがリリースされる場合、正確なリスク評価が必要である

3. 既存方法の限界

従来の記録特定プライバシーゲームは、データセットサンプリングをランダム性の源として使用し、記録のプライバシーリスクがそれが属するデータセットと無関係であることを暗黙的に仮定している。この仮定は実際のシナリオでは成立せず、リスク評価が誤解を招く可能性がある。

4. 研究の動機

著者らは、従来のプライバシーゲームが異なるデータセット間での記録のリスクを平均化しているのに対し、実際の応用では特定のデータセット内の記録のリスクを評価する必要があることを発見した。したがって、この問題を解決するためにモデルシード型ゲームを提案した。

核心的貢献

理論分析: 従来の記録特定プライバシーゲームを形式的に分析し、データセット間で平均化されたプライバシーリスクを計算していることを証明した
新手法の提案: モデルシード型プライバシーゲームを提案および形式化し、この手法が記録の差分プライバシー識別器(DPD)リスクに収束することを示した
実験検証: 複数のデータセットとモデルで2つのプライバシーゲームの差異を検証し、従来のゲームが高リスク記録の最大94%を見落とす可能性があることを発見した
影響要因分析: データセットサイズと差分プライバシー保証がリスク推定の差異に与える影響を分析した