2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

औसत में खोया हुआ: रिकॉर्ड-विशिष्ट गोपनीयता जोखिम मूल्यांकन का पुनर्मूल्यांकन

बुनियादी जानकारी

  • पेपर ID: 2405.15423
  • शीर्षक: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • लेखक: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • संस्थान: Imperial College London, Lausanne University Hospital (CHUV)
  • वर्गीकरण: cs.LG, cs.CR
  • प्रकाशन समय/सम्मेलन: Data Privacy Management (DPM) कार्यशाला, ESORICS 2025
  • पेपर लिंक: https://arxiv.org/abs/2405.15423v2

सारांश

यह पेपर संश्लेषित डेटा जनरेटर और मशीन लर्निंग मॉडल की गोपनीयता जोखिम मूल्यांकन समस्या का अध्ययन करता है। संश्लेषित डेटा जनरेटर और ML मॉडल अपने प्रशिक्षण डेटा को याद रख सकते हैं, जिससे गोपनीयता संबंधी चिंताएं उत्पन्न होती हैं। सदस्यता अनुमान हमले (MIAs) इन प्रणालियों के गोपनीयता जोखिम का मूल्यांकन करने का मानक तरीका हैं। लेखकों ने वास्तविक हमलावर की धारणा के तहत रिकॉर्ड-विशिष्ट गोपनीयता गेम का मूल्यांकन करने के लिए पारंपरिक विधि का विश्लेषण किया, और पाया कि यह विभिन्न डेटासेट पर रिकॉर्ड के गोपनीयता जोखिम को औसत करता है। अनुसंधान एक नया मॉडल-सीडेड गोपनीयता गेम प्रस्तावित करता है, जो विशिष्ट डेटासेट में रिकॉर्ड के सटीक गोपनीयता जोखिम अनुमान प्रदान कर सकता है। प्रयोग दर्शाते हैं कि पारंपरिक गेम 94% तक उच्च-जोखिम वाले रिकॉर्ड को छोड़ सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

1. समस्या परिभाषा

चिकित्सा, कानूनी, वित्तीय और अन्य संवेदनशील क्षेत्रों में मशीन लर्निंग मॉडल और संश्लेषित डेटा जनरेटर के व्यापक अनुप्रयोग के साथ, ये मॉडल प्रशिक्षण डेटा को याद रखने की समस्या तेजी से उभर रही है। हमलावर सदस्यता अनुमान हमले के माध्यम से यह निर्धारित कर सकते हैं कि क्या कोई विशेष रिकॉर्ड प्रशिक्षण के लिए उपयोग किया गया था, और यहां तक कि पूर्ण प्रशिक्षण नमूने का पुनर्निर्माण भी कर सकते हैं।

2. समस्या की महत्ता

  • गोपनीयता रिसाव जोखिम: मॉडल स्मृति संवेदनशील व्यक्तिगत जानकारी के रिसाव का कारण बन सकती है
  • नियामक अनुपालन: कानूनी आवश्यकताओं को पूरा करने के लिए गोपनीयता जोखिम का सटीक मूल्यांकन आवश्यक है
  • व्यावहारिक तैनाती: जब विशिष्ट मॉडल या संश्लेषित डेटासेट जारी किए जाते हैं, तो सटीक जोखिम मूल्यांकन की आवश्यकता होती है

3. मौजूदा विधि की सीमाएं

पारंपरिक रिकॉर्ड-विशिष्ट गोपनीयता गेम डेटासेट नमूनाकरण को यादृच्छिकता के स्रोत के रूप में उपयोग करते हैं, जो निहित रूप से मानते हैं कि रिकॉर्ड का गोपनीयता जोखिम उसके संबंधित डेटासेट से स्वतंत्र है। यह धारणा वास्तविक परिदृश्यों में सत्य नहीं है, जिससे जोखिम मूल्यांकन भ्रामक हो सकता है।

4. अनुसंधान प्रेरणा

लेखकों ने पाया कि पारंपरिक गोपनीयता गेम विभिन्न डेटासेट पर रिकॉर्ड के जोखिम को औसत करते हैं, जबकि वास्तविक अनुप्रयोगों में विशिष्ट डेटासेट में रिकॉर्ड के जोखिम का मूल्यांकन करने की आवश्यकता होती है। इसलिए उन्होंने इस समस्या को हल करने के लिए मॉडल-सीडेड गेम प्रस्तावित किया।

मुख्य योगदान

  1. सैद्धांतिक विश्लेषण: पारंपरिक रिकॉर्ड-विशिष्ट गोपनीयता गेम का औपचारिक विश्लेषण, यह साबित करते हुए कि यह डेटासेट भर में औसत गोपनीयता जोखिम की गणना करता है
  2. नई विधि प्रस्ताव: मॉडल-सीडेड गोपनीयता गेम को प्रस्तावित और औपचारिक रूप दिया, जो रिकॉर्ड के विभेदक गोपनीयता विभेदक (DPD) जोखिम में परिवर्तित होता है
  3. प्रायोगिक सत्यापन: कई डेटासेट और मॉडल पर दोनों गोपनीयता गेम के अंतर को सत्यापित किया, पाया कि पारंपरिक गेम 94% तक उच्च-जोखिम वाले रिकॉर्ड को छोड़ सकता है
  4. प्रभाव कारक विश्लेषण: डेटासेट आकार और विभेदक गोपनीयता गारंटी का जोखिम अनुमान अंतर पर विश्लेषण

विधि विवरण

कार्य परिभाषा

लक्ष्य रिकॉर्ड x, प्रशिक्षण एल्गोरिथ्म A(·) और हमला ϕ(·) दिया गया है, लक्ष्य विशिष्ट डेटासेट D में रिकॉर्ड x के गोपनीयता जोखिम का सटीक अनुमान लगाना है। गोपनीयता जोखिम को सदस्यता अनुमान हमले की सफलता दर के माध्यम से मापा जाता है।

पारंपरिक गोपनीयता गेम (Traditional Privacy Game)

परिभाषा 2: लक्ष्य रिकॉर्ड x, डेटासेट आकार n, प्रशिक्षण एल्गोरिथ्म A(·) और हमला ϕ(·) के लिए:

  1. चुनौती देने वाला वितरण से डेटासेट नमूना लेता है D̄ ∼ D^n
  2. चुनौती देने वाला यादृच्छिक रूप से गुप्त बिट b ∈ {0,1} निकालता है
  3. यदि b=1, तो लक्ष्य रिकॉर्ड x को D̄ में जोड़कर D = D̄ ∪ {x} बनाता है, अन्यथा D = D̄
  4. चुनौती देने वाला डेटासेट D पर लक्ष्य मॉडल प्रशिक्षित करता है θ ← A(D)
  5. हमलावर अनुमान b̂ = ϕ(θ) आउटपुट करता है

मॉडल-सीडेड गोपनीयता गेम (Model-Seeded Privacy Game)

परिभाषा 3: लक्ष्य रिकॉर्ड x, आंशिक डेटासेट D̄, प्रशिक्षण एल्गोरिथ्म A(·) और हमला ϕ(·) के लिए:

  1. चुनौती देने वाला यादृच्छिक रूप से गुप्त बिट b ∈ {0,1} निकालता है
  2. यदि b=1, तो लक्ष्य रिकॉर्ड x को D̄ में जोड़कर D = D̄ ∪ {x} बनाता है, अन्यथा D = D̄
  3. चुनौती देने वाला डेटासेट D पर नए यादृच्छिक सीड के साथ लक्ष्य मॉडल प्रशिक्षित करता है θ ← A(D)
  4. हमलावर अनुमान b̂ = ϕ(θ) आउटपुट करता है

तकनीकी नवाचार

  1. निश्चित डेटासेट: पारंपरिक गेम के विपरीत, मॉडल-सीडेड गेम लक्ष्य डेटासेट को निश्चित करता है, केवल मॉडल सीड को यादृच्छिकता के स्रोत के रूप में उपयोग करता है
  2. सैद्धांतिक गारंटी: साबित किया कि मॉडल-सीडेड गेम DPD जोखिम में परिवर्तित होता है, जबकि पारंपरिक गेम डेटासेट औसत जोखिम में परिवर्तित होता है
  3. व्यावहारिकता: विभेदक गोपनीयता के साथ सुसंगत गोपनीयता जोखिम अनुमान प्रदान करता है

सैद्धांतिक विश्लेषण

प्रस्ताव 1 (मॉडल-सीडेड गेम DPD जोखिम में परिवर्तित होता है): किसी भी निश्चित लक्ष्य रिकॉर्ड x, आंशिक डेटासेट D̄, प्रशिक्षण एल्गोरिथ्म T(·) और हमला ϕ(·) के लिए, मॉडल-सीडेड गेम में:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

प्रस्ताव 2 (पारंपरिक गेम औसत गोपनीयता जोखिम में परिवर्तित होता है): पारंपरिक गोपनीयता गेम की अनुभवजन्य त्रुटि दर i.i.d. डेटासेट पुनः नमूनाकरण के औसत में परिवर्तित होती है:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

प्रयोगात्मक सेटअप

डेटासेट

  • Adult डेटासेट: जनगणना डेटा, वर्गीकृत और निरंतर जनसांख्यिकीय विशेषताएं शामिल
  • UK Census डेटासेट: ब्रिटिश जनगणना डेटा
  • डेटासेट विभाजन: D_aux को MIA विकास के लिए, D_eval को मूल्यांकन के लिए, |D| = 1000

लक्ष्य मॉडल

  • Synthpop: सांख्यिकीय संश्लेषित डेटा जनरेटर
  • Baynet: बेयेसियन नेटवर्क जनरेटर
  • PrivBayes: Baynet का विभेदक गोपनीयता संस्करण

MIA विधि

TAPAS हमला उपयोग करता है, जो संश्लेषित डेटा जनरेटर के लिए अत्याधुनिक क्वेरी-आधारित हमला विधि है। TAPAS ब्लैक-बॉक्स मॉडल एक्सेस के तहत चलता है, सहायक डेटा के साथ लेकिन लक्ष्य मॉडल के प्रशिक्षण डेटा तक पहुंच के बिना।

मूल्यांकन मेट्रिक्स

  • Miss Rate (MR): मॉडल-सीडेड सेटिंग में उच्च जोखिम के रूप में वर्गीकृत लेकिन पारंपरिक सेटिंग में निम्न जोखिम के रूप में वर्गीकृत रिकॉर्ड का अनुपात
  • Root Mean Squared Deviation (RMSD): दोनों जोखिम अनुमानों के बीच वर्ग माध्य मूल विचलन
  • AUC ROC: गोपनीयता जोखिम के सारांश संकेतक के रूप में

प्रायोगिक परिणाम

मुख्य परिणाम

Adult डेटासेट और Synthpop जनरेटर पर प्रयोग दिखाते हैं:

  • 94% उच्च-जोखिम वाले रिकॉर्ड पारंपरिक गेम द्वारा गलत तरीके से निम्न जोखिम के रूप में वर्गीकृत (threshold t=0.8)
  • RMSD श्रेणी 0.04 से 0.11 तक, AUC का उपयोग करके मूल्यांकन किए गए जोखिम में महत्वपूर्ण त्रुटि का प्रतिनिधित्व करता है
  • Miss Rate श्रेणी 0.73 से 0.94 तक, पारंपरिक सेटिंग में लगातार उच्च-जोखिम वाले रिकॉर्ड की गलत पहचान दर्शाता है

विभिन्न थ्रेसहोल्ड का प्रभाव

सभी उच्च-जोखिम थ्रेसहोल्ड के लिए, miss rate महत्वपूर्ण है:

  • t=0.6 पर, सभी सेटिंग में miss rate 20% से अधिक है
  • t=0.9 पर, miss rate 80% तक पहुंचता है
  • miss rate threshold t के साथ बढ़ता है

डेटासेट आकार का प्रभाव

  • छोटे डेटासेट (n<10,000): दोनों जोखिम अनुमानों में बड़ा अंतर
  • बड़े डेटासेट: अंतर कम होता है लेकिन अभी भी महत्वपूर्ण है
  • |D|=10,000 के बड़े डेटासेट में भी, RMSD महत्वपूर्ण रहता है

विभेदक गोपनीयता का प्रभाव

कठोर ε मान के साथ PrivBayes को प्रशिक्षित करते समय:

  • MIA प्रदर्शन ε के घटने के साथ घटता है, यादृच्छिक अनुमान आधारभूत (AUC 0.5) में परिवर्तित होता है
  • अनुमान 0.5 के पास केंद्रित होने के साथ, दोनों अनुमानों के बीच अंतर भी कम होता है
  • लेकिन DP गारंटी को सत्यापित करते समय, मॉडल-सीडेड सेटिंग का उपयोग करना अभी भी महत्वपूर्ण है

केस विश्लेषण

15 यादृच्छिक रूप से चुने गए डेटासेट में एकल लक्ष्य रिकॉर्ड के जोखिम मूल्यांकन से पता चलता है:

  • मॉडल-सीडेड जोखिम R_MS लगभग 0.5 (यादृच्छिक अनुमान) से 0.8 (उच्च जोखिम) तक भिन्न होता है
  • पारंपरिक जोखिम R_T = 0.62, सबसे खराब स्थिति में DPD जोखिम को 0.2 तक कम आंकता है

संबंधित कार्य

सदस्यता अनुमान हमले का विकास

  • Shokri et al. (2017): ML मॉडल के लिए MIA का पहला प्रस्ताव
  • छाया मॉडलिंग तकनीक: लक्ष्य रिकॉर्ड को शामिल/बाहर करने वाले कई मॉडल को प्रशिक्षित करना
  • तालिका संश्लेषित डेटा: संश्लेषित डेटा जनरेटर के लिए विशेष हमले विधि

खतरे का मॉडल

  • डेटा स्तर: हमलावर के वास्तविक डेटा तक पहुंच की डिग्री
  • मॉडल स्तर: हमलावर की प्रशिक्षण मॉडल तक पहुंच (ब्लैक-बॉक्स बनाम व्हाइट-बॉक्स)
  • वास्तविक धारणा: हमलावर के पास सहायक डेटासेट एक्सेस अनुमति है

MIA मूल्यांकन

  • मॉडल-विशिष्ट गेम: हमलावर की प्रशिक्षण डेटा में शामिल/बाहर किए गए रिकॉर्ड को अलग करने की क्षमता का मूल्यांकन
  • रिकॉर्ड-विशिष्ट गेम: हमलावर की लक्ष्य रिकॉर्ड पर प्रशिक्षित/अप्रशिक्षित मॉडल को अलग करने की क्षमता का मूल्यांकन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. पारंपरिक गोपनीयता गेम की सीमाएं: डेटासेट नमूनाकरण के माध्यम से जोखिम को औसत करता है, भ्रामक जोखिम मूल्यांकन प्रदान करता है
  2. मॉडल-सीडेड गेम के लाभ: विशिष्ट डेटासेट में रिकॉर्ड के सटीक जोखिम अनुमान प्रदान करता है, विभेदक गोपनीयता के साथ सुसंगत
  3. व्यावहारिक प्रभाव: पारंपरिक विधि बड़ी संख्या में उच्च-जोखिम वाले रिकॉर्ड को छोड़ सकती है, गोपनीयता सुरक्षा निर्णयों को प्रभावित करती है

सीमाएं

  1. डेटासेट निर्भरता: रिकॉर्ड कमजोरी पर डेटासेट के सटीक प्रभाव अभी भी एक खुली समस्या है
  2. प्रयोगात्मक श्रेणी: मुख्य रूप से तालिका संश्लेषित डेटा पर केंद्रित, अन्य डेटा प्रकारों पर लागू क्षमता को आगे सत्यापन की आवश्यकता है
  3. कम्प्यूटेशनल लागत: मॉडल-सीडेड गेम को अधिक कम्प्यूटेशनल संसाधनों की आवश्यकता हो सकती है

भविष्य की दिशाएं

  1. सैद्धांतिक विश्लेषण: डेटासेट के रिकॉर्ड कमजोरी पर प्रभाव तंत्र को गहराई से समझना
  2. विस्तारित अनुप्रयोग: विधि को अन्य प्रकार के मशीन लर्निंग मॉडल और डेटा तक विस्तारित करना
  3. व्यावहारिक उपकरण: व्यावहारिक गोपनीयता जोखिम मूल्यांकन उपकरण विकसित करना

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक योगदान: कठोर सैद्धांतिक विश्लेषण प्रदान करता है, दोनों गोपनीयता गेम के अभिसरण गुणों को साबित करता है
  2. व्यावहारिक मूल्य: वास्तविक गोपनीयता जोखिम मूल्यांकन में महत्वपूर्ण समस्या को हल करता है
  3. पर्याप्त प्रयोग: कई डेटासेट और मॉडल पर व्यापक प्रयोगात्मक सत्यापन
  4. स्पष्ट लेखन: पेपर संरचना स्पष्ट है, तकनीकी विवरण सटीक रूप से वर्णित हैं

कमियां

  1. प्रयोगात्मक श्रेणी: मुख्य रूप से तालिका डेटा पर केंद्रित, अन्य डेटा प्रकारों पर लागू क्षमता सीमित है
  2. कम्प्यूटेशनल जटिलता: दोनों विधियों के कम्प्यूटेशनल जटिलता अंतर का विस्तृत विश्लेषण नहीं
  3. व्यावहारिक तैनाती: वास्तविक प्रणालियों में तैनाती के केस अध्ययन की कमी

प्रभाव

  1. शैक्षणिक योगदान: गोपनीयता जोखिम मूल्यांकन क्षेत्र में महत्वपूर्ण सैद्धांतिक और व्यावहारिक योगदान
  2. व्यावहारिक मूल्य: संवेदनशील डेटा के साथ काम करने वाले संगठनों के लिए महत्वपूर्ण मार्गदर्शन
  3. पुनरुत्पादनीयता: विस्तृत प्रयोगात्मक सेटअप और एल्गोरिथ्म विवरण प्रदान करता है

लागू परिदृश्य

  1. संश्लेषित डेटा प्रकाशन: संश्लेषित डेटासेट के गोपनीयता जोखिम का मूल्यांकन
  2. मॉडल ऑडिट: मशीन लर्निंग मॉडल का गोपनीयता ऑडिट
  3. नियामक अनुपालन: गोपनीयता कानून की आवश्यकताओं को पूरा करने के लिए जोखिम मूल्यांकन
  4. विभेदक गोपनीयता सत्यापन: विभेदक गोपनीयता कार्यान्वयन की प्रभावशीलता को सत्यापित करना

संदर्भ

पेपर गोपनीयता-संरक्षण मशीन लर्निंग क्षेत्र के महत्वपूर्ण साहित्य का उद्धरण करता है, जिसमें शामिल हैं:

  • सदस्यता अनुमान हमले पर Shokri et al. का अग्रणी कार्य
  • विभेदक गोपनीयता पर Dwork और Roth का शास्त्रीय सिद्धांत
  • संश्लेषित डेटा गोपनीयता पर हाल के संबंधित अनुसंधान

सारांश: यह पेपर सैद्धांतिक विश्लेषण और प्रयोगात्मक सत्यापन के माध्यम से पारंपरिक गोपनीयता जोखिम मूल्यांकन विधि की कमियों को उजागर करता है, और अधिक सटीक मॉडल-सीडेड गोपनीयता गेम प्रस्तावित करता है। अनुसंधान गोपनीयता-संरक्षण मशीन लर्निंग क्षेत्र के लिए महत्वपूर्ण सैद्धांतिक और व्यावहारिक मूल्य रखता है, विशेष रूप से संश्लेषित डेटा जनरेशन और गोपनीयता जोखिम मूल्यांकन के क्षेत्र में।