2025-11-14T06:52:14.468604

Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models

Krčo, Guépin, Meeus et al.
Synthetic data generators and machine learning models can memorize their training data, posing privacy concerns. Membership inference attacks (MIAs) are a standard method of estimating the privacy risk of these systems. The risk of individual records is typically computed by evaluating MIAs in a record-specific privacy game. We analyze the record-specific privacy game commonly used for evaluating attackers under realistic assumptions (the \textit{traditional} game) -- particularly for synthetic tabular data -- and show that it averages a record's privacy risk across datasets. We show this implicitly assumes the dataset a record is part of has no impact on the record's risk, providing a misleading risk estimate when a specific model or synthetic dataset is released. Instead, we propose a novel use of the leave-one-out game, used in existing work exclusively to audit differential privacy guarantees, and call this the \textit{model-seeded} game. We formalize it and show that it provides an accurate estimate of the privacy risk posed by a given adversary for a record in its specific dataset. We instantiate and evaluate the state-of-the-art MIA for synthetic data generators in the traditional and model-seeded privacy games, and show across multiple datasets and models that the two privacy games indeed result in different risk scores, with up to 94\% of high-risk records being overlooked by the traditional game. We further show that records in smaller datasets and models not protected by strong differential privacy guarantees tend to have a larger gap between risk estimates. Taken together, our results show that the model-seeded setup yields a risk estimate specific to a certain model or synthetic dataset released and in line with the standard notion of privacy leakage from prior work, meaningfully different from the dataset-averaged risk provided by the traditional privacy game.
academic

ضائع في المتوسطات: إعادة تقييم تقييم مخاطر الخصوصية الخاصة بالسجل

المعلومات الأساسية

  • معرّف الورقة: 2405.15423
  • العنوان: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
  • المؤلفون: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
  • المؤسسات: Imperial College London, Lausanne University Hospital (CHUV)
  • التصنيف: cs.LG, cs.CR
  • وقت النشر/المؤتمر: Data Privacy Management (DPM) workshop at ESORICS 2025
  • رابط الورقة: https://arxiv.org/abs/2405.15423v2

الملخص

تبحث هذه الورقة في مشكلة تقييم مخاطر الخصوصية لمولدات البيانات الاصطناعية وأنماط التعلم الآلي. قد تحتفظ مولدات البيانات الاصطناعية وأنماط التعلم الآلي ببيانات التدريب في الذاكرة، مما يثير مخاوف تتعلق بالخصوصية. تعتبر هجمات الاستدلال على العضوية (MIAs) الطريقة المعيارية لتقييم مخاطر الخصوصية في هذه الأنظمة. يحلل المؤلفون الطرق التقليدية المستخدمة لتقييم لعبات الخصوصية الخاصة بالسجل تحت افتراضات المهاجم الواقعي، ويكتشفون أنها تحسب متوسط مخاطر الخصوصية للسجل عبر مجموعات بيانات مختلفة. تقترح الدراسة لعبة خصوصية جديدة بذرة النموذج توفر تقديرات دقيقة لمخاطر الخصوصية للسجلات في مجموعة بيانات محددة. تُظهر التجارب أن اللعبة التقليدية قد تتجاهل ما يصل إلى 94% من السجلات عالية المخاطر.

الخلفية البحثية والدافع

1. تعريف المشكلة

مع الاستخدام الواسع لأنماط التعلم الآلي ومولدات البيانات الاصطناعية في المجالات الحساسة مثل الطب والقانون والمالية، تزداد مشكلة احتمال احتفاظ هذه الأنماط ببيانات التدريب. قد يحاول المهاجمون من خلال هجمات الاستدلال على العضوية تحديد ما إذا كان سجل معين قد استُخدم في التدريب، أو حتى إعادة بناء عينات التدريب الكاملة.

2. أهمية المشكلة

  • مخاطر تسرب الخصوصية: قد يؤدي احتفاظ النموذج بالبيانات إلى تسرب المعلومات الشخصية الحساسة
  • الامتثال التنظيمي: الحاجة إلى تقييم دقيق لمخاطر الخصوصية للامتثال للمتطلبات التنظيمية
  • النشر العملي: عند نشر نموذج معين أو مجموعة بيانات اصطناعية، يلزم تقييم دقيق للمخاطر

3. قيود الطرق الموجودة

تفترض لعبات الخصوصية التقليدية الخاصة بالسجل ضمنياً أن مخاطر الخصوصية للسجل لا تتعلق بمجموعة البيانات التي ينتمي إليها، باستخدام أخذ العينات من مجموعة البيانات كمصدر للعشوائية. هذا الافتراض لا ينطبق في السيناريوهات الفعلية، مما قد يؤدي إلى تقييمات مخاطر مضللة.

4. الدافع البحثي

اكتشف المؤلفون أن لعبات الخصوصية التقليدية تحسب متوسط المخاطر عبر مجموعات بيانات مختلفة، بينما تتطلب التطبيقات الفعلية تقييم المخاطر للسجل في مجموعة بيانات محددة. لذلك اقترحوا لعبة بذرة النموذج لحل هذه المشكلة.

المساهمات الأساسية

  1. التحليل النظري: تحليل رسمي لعبات الخصوصية التقليدية الخاصة بالسجل، مع إثبات أنها تحسب مخاطر الخصوصية المتوسطة عبر مجموعات البيانات
  2. اقتراح طريقة جديدة: اقتراح وتشكيل رسمي لعبة خصوصية بذرة النموذج، التي تتقارب إلى مخاطر مميز الخصوصية التفاضلية (DPD) للسجل
  3. التحقق التجريبي: التحقق من الفروقات بين نوعي لعبات الخصوصية على مجموعات بيانات وأنماط متعددة، مع اكتشاف أن اللعبة التقليدية قد تتجاهل ما يصل إلى 94% من السجلات عالية المخاطر
  4. تحليل العوامل المؤثرة: تحليل تأثير حجم مجموعة البيانات وضمانات الخصوصية التفاضلية على الفروقات في تقدير المخاطر

شرح الطريقة

تعريف المهمة

بالنظر إلى سجل الهدف x، خوارزمية التدريب A(·) والهجوم ϕ(·)، الهدف هو تقدير دقيق لمخاطر الخصوصية للسجل x في مجموعة بيانات محددة D. يتم قياس مخاطر الخصوصية من خلال معدل نجاح هجوم الاستدلال على العضوية.

لعبة الخصوصية التقليدية (Traditional Privacy Game)

التعريف 2: بالنسبة لسجل الهدف x، حجم مجموعة البيانات n، خوارزمية التدريب A(·) والهجوم ϕ(·):

  1. يأخذ المتحدي عينة من مجموعة بيانات D̄ ∼ D^n من التوزيع
  2. يختار المتحدي عشوائياً البت السري b ∈ {0,1}
  3. إذا كان b=1، يضيف المتحدي سجل الهدف x إلى D̄ ليشكل D = D̄ ∪ {x}، وإلا D = D̄
  4. يدرب المتحدي النموذج الهدف على مجموعة البيانات D: θ ← A(D)
  5. يُخرج المهاجم التخمين b̂ = ϕ(θ)

لعبة الخصوصية بذرة النموذج (Model-Seeded Privacy Game)

التعريف 3: بالنسبة لسجل الهدف x، مجموعة البيانات الجزئية D̄، خوارزمية التدريب A(·) والهجوم ϕ(·):

  1. يختار المتحدي عشوائياً البت السري b ∈ {0,1}
  2. إذا كان b=1، يضيف المتحدي سجل الهدف x إلى D̄ ليشكل D = D̄ ∪ {x}، وإلا D = D̄
  3. يدرب المتحدي النموذج الهدف على مجموعة البيانات D بذرة عشوائية جديدة: θ ← A(D)
  4. يُخرج المهاجم التخمين b̂ = ϕ(θ)

نقاط الابتكار التقني

  1. تثبيت مجموعة البيانات: بخلاف اللعبة التقليدية، تثبت لعبة بذرة النموذج مجموعة البيانات الهدف، وتستخدم فقط بذرة النموذج كمصدر للعشوائية
  2. الضمانات النظرية: إثبات أن لعبة بذرة النموذج تتقارب إلى مخاطر DPD، بينما تتقارب اللعبة التقليدية إلى متوسط مخاطر مجموعة البيانات
  3. الفائدة العملية: توفير تقديرات مخاطر الخصوصية المتسقة مع الخصوصية التفاضلية

التحليل النظري

القضية 1 (تقارب لعبة بذرة النموذج إلى مخاطر DPD): بالنسبة لأي سجل هدف ثابت x، مجموعة بيانات جزئية D̄، خوارزمية تدريب T(·) وهجوم ϕ(·)، في لعبة بذرة النموذج:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

القضية 2 (تقارب اللعبة التقليدية إلى متوسط مخاطر الخصوصية): يتقارب معدل الخطأ التجريبي في لعبة الخصوصية التقليدية إلى المتوسط عبر إعادة أخذ عينات مجموعة البيانات المستقلة والموزعة بشكل متطابق:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

إعداد التجارب

مجموعات البيانات

  • مجموعة بيانات Adult: بيانات التعداد السكاني، تحتوي على ميزات ديموغرافية فئوية ومستمرة
  • مجموعة بيانات تعداد المملكة المتحدة: بيانات التعداد السكاني البريطاني
  • تقسيم البيانات: D_aux للتطوير، D_eval للتقييم، |D| = 1000

النماذج الهدف

  • Synthpop: مولد بيانات اصطناعية إحصائي
  • Baynet: مولد شبكة بايزية
  • PrivBayes: نسخة الخصوصية التفاضلية من Baynet

طرق الهجوم

استخدام هجوم TAPAS، وهو أحدث طريقة هجوم قائمة على الاستعلام ضد مولدات البيانات الاصطناعية. يعمل TAPAS تحت الوصول إلى النموذج الأسود، مع وجود بيانات مساعدة لكن بدون الوصول إلى بيانات تدريب النموذج الهدف.

مقاييس التقييم

  • معدل الفقد (MR): نسبة السجلات المصنفة كعالية المخاطر في إعداد بذرة النموذج والمصنفة كمنخفضة المخاطر في الإعداد التقليدي
  • الانحراف الجذري للمتوسط المربع (RMSD): الجذر التربيعي لمتوسط الفرق بين تقديري المخاطر
  • AUC ROC: كمؤشر ملخص لمخاطر الخصوصية

نتائج التجارب

النتائج الرئيسية

أظهرت التجارب على مجموعة بيانات Adult ومولد Synthpop:

  • 94% من السجلات عالية المخاطر تم تصنيفها بشكل خاطئ كمنخفضة المخاطر من قبل اللعبة التقليدية (الحد الأدنى t=0.8)
  • نطاق RMSD من 0.04 إلى 0.11، يمثل خطأ كبير في المخاطر المقيمة باستخدام AUC
  • نطاق معدل الفقد من 0.73 إلى 0.94، مما يشير إلى أن الإعداد التقليدي يفشل باستمرار في تحديد السجلات عالية المخاطر

تأثير الحدود المختلفة

بالنسبة لجميع حدود المخاطر العالية، معدل الفقد كبير:

  • عند t=0.6، معدل الفقد يتجاوز 20% في جميع الإعدادات
  • عند t=0.9، معدل الفقد يصل إلى 80%
  • يزداد معدل الفقد مع زيادة الحد t

تأثير حجم مجموعة البيانات

  • مجموعات البيانات الصغيرة (n<10,000): الفروقات بين تقديري المخاطر أكبر
  • مجموعات البيانات الكبيرة: الفروقات تقل لكن تبقى كبيرة
  • حتى في مجموعات البيانات الكبيرة (|D|=10,000)، RMSD لا يزال كبيراً

تأثير الخصوصية التفاضلية

عند تدريب PrivBayes بقيم ε صارمة:

  • يقل أداء الهجوم مع تقليل ε، متقاربة إلى خط الأساس العشوائي (AUC 0.5)
  • مع تركيز التقديرات حول 0.5، تقل الفروقات بين نوعي التقديرات
  • لكن عند التحقق من ضمانات الخصوصية التفاضلية، لا يزال استخدام إعداد بذرة النموذج مهماً

دراسة حالة

يُظهر تقييم مخاطر سجل هدف واحد عبر 15 مجموعة بيانات مختارة عشوائياً:

  • تتراوح مخاطر بذرة النموذج R_MS من حوالي 0.5 (تخمين عشوائي) إلى 0.8 (عالية المخاطر)
  • المخاطر التقليدية R_T = 0.62، مما يقلل من مخاطر DPD في أسوأ الحالات بمقدار 0.2

الأعمال ذات الصلة

تطور هجمات الاستدلال على العضوية

  • Shokri وآخرون (2017): أول من اقترح هجمات الاستدلال على العضوية ضد أنماط التعلم الآلي
  • تقنية النمذجة الظلية: تدريب أنماط متعددة تتضمن/لا تتضمن سجل الهدف لتقريب تأثيره
  • البيانات الجدولية الاصطناعية: طرق هجوم متخصصة ضد مولدات البيانات الاصطناعية

نماذج التهديد

  • مستوى البيانات: درجة وصول المهاجم إلى البيانات الحقيقية
  • مستوى النموذج: وصول المهاجم إلى النموذج المدرب (أسود مقابل أبيض)
  • الافتراضات الواقعية: المهاجم لديه وصول إلى مجموعة بيانات مساعدة

تقييم الهجمات

  • لعبات خاصة بالنموذج: تقييم قدرة المهاجم على التمييز بين تضمين/استبعاد السجل من بيانات التدريب
  • لعبات خاصة بالسجل: تقييم قدرة المهاجم على التمييز بين أنماط مدربة/غير مدربة على سجل الهدف

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. قيود لعبة الخصوصية التقليدية: تحسب متوسط المخاطر عبر أخذ عينات من مجموعة البيانات، مما يوفر تقييمات مخاطر مضللة
  2. مزايا لعبة بذرة النموذج: توفر تقديرات دقيقة لمخاطر الخصوصية للسجلات في مجموعة بيانات محددة، متسقة مع الخصوصية التفاضلية
  3. التأثير العملي: قد تتجاهل الطريقة التقليدية عدداً كبيراً من السجلات عالية المخاطر، مما يؤثر على قرارات حماية الخصوصية

القيود

  1. الاعتماد على مجموعة البيانات: الاعتماد الدقيق لضعف السجل على مجموعة البيانات لا يزال سؤالاً مفتوحاً
  2. نطاق التجارب: تركز بشكل أساسي على البيانات الجدولية، وتطبيقيتها على أنواع بيانات أخرى تحتاج إلى التحقق
  3. التكلفة الحسابية: لم يتم تحليل الفروقات في التعقيد الحسابي بين الطريقتين بالتفصيل

الاتجاهات المستقبلية

  1. التحليل النظري: فهم أعمق لآليات تأثير مجموعة البيانات على ضعف السجل
  2. توسيع التطبيقات: توسيع الطريقة لتشمل أنواع أخرى من أنماط التعلم الآلي والبيانات
  3. الأدوات العملية: تطوير أدوات عملية لتقييم مخاطر الخصوصية

التقييم المتعمق

المزايا

  1. المساهمة النظرية: توفير تحليل نظري صارم، مع إثبات خصائص التقارب لنوعي لعبات الخصوصية
  2. القيمة العملية: حل مشكلة مهمة في تقييم مخاطر الخصوصية الفعلي
  3. التجارب الشاملة: التحقق التجريبي الشامل على مجموعات بيانات وأنماط متعددة
  4. الكتابة الواضحة: هيكل الورقة واضح، والتفاصيل التقنية موصوفة بدقة

أوجه القصور

  1. نطاق التجارب: التركيز الأساسي على البيانات الجدولية، مع تطبيقية محدودة على أنواع بيانات أخرى
  2. التعقيد الحسابي: عدم وجود تحليل تفصيلي للفروقات في التعقيد الحسابي بين الطريقتين
  3. النشر العملي: نقص دراسات الحالات في الأنظمة الحقيقية

التأثير

  1. المساهمة الأكاديمية: توفير مساهمات نظرية وعملية مهمة لمجال تقييم مخاطر الخصوصية
  2. القيمة العملية: ذات أهمية كبيرة للمنظمات التي تتعامل مع البيانات الحساسة
  3. القابلية للتكرار: توفير إعدادات تجريبية وأوصاف خوارزمية مفصلة

السيناريوهات القابلة للتطبيق

  1. نشر البيانات الاصطناعية: تقييم مخاطر الخصوصية لمجموعات البيانات الاصطناعية
  2. تدقيق النموذج: إجراء تدقيق الخصوصية لأنماط التعلم الآلي
  3. الامتثال التنظيمي: الوفاء بمتطلبات تقييم المخاطر في اللوائح الخصوصية
  4. التحقق من الخصوصية التفاضلية: التحقق من فعالية تطبيقات الخصوصية التفاضلية

المراجع

تستشهد الورقة بالأدبيات المهمة في مجال التعلم الآلي الحافظ على الخصوصية، بما في ذلك:

  • الأعمال الرائدة لـ Shokri وآخرين حول هجمات الاستدلال على العضوية
  • النظرية الكلاسيكية لـ Dwork و Roth حول الخصوصية التفاضلية
  • الأبحاث الحديثة ذات الصلة حول خصوصية البيانات الاصطناعية

الملخص: من خلال التحليل النظري والتحقق التجريبي، تكشف هذه الورقة عن عيوب طرق تقييم مخاطر الخصوصية التقليدية، وتقترح لعبة خصوصية بذرة النموذج الأكثر دقة. يتمتع البحث بقيمة نظرية وعملية مهمة لمجال التعلم الآلي الحافظ على الخصوصية، خاصة في مجالات توليد البيانات الاصطناعية وتقييم مخاطر الخصوصية.