2025-11-20T13:58:15.370121
Personal Attribute Leakage in Federated Speech Models
Al-Ali, Ghavamipour, Caselli et al.
Federated learning is a common method for privacy-preserving training of machine learning models. In this paper, we analyze the vulnerability of ASR models to attribute inference attacks in the federated setting. We test a non-parametric white-box attack method under a passive threat model on three ASR models: Wav2Vec2, HuBERT, and Whisper. The attack operates solely on weight differentials without access to raw speech from target speakers. We demonstrate attack feasibility on sensitive demographic and clinical attributes: gender, age, accent, emotion, and dysarthria. Our findings indicate that attributes that are underrepresented or absent in the pre-training data are more vulnerable to such inference attacks. In particular, information about accents can be reliably inferred from all models. Our findings expose previously undocumented vulnerabilities in federated ASR models and offer insights towards improved security.
academicتسرب السمات الشخصية في نماذج الكلام الموزعة
المعلومات الأساسية
- معرّف الورقة: 2510.13357
- العنوان: تسرب السمات الشخصية في نماذج الكلام الموزعة
- المؤلفون: حمدان العلي، علي رضا غوامي بور، توماسو كاسيلي، فاتح تركمن، زيراك تلعت، حنان الدرمكي
- التصنيف: cs.CL cs.AI
- تاريخ النشر: 15 أكتوبر 2025 (نسخة أولية من arXiv)
- رابط الورقة: https://arxiv.org/abs/2510.13357v1
الملخص
يعتبر التعلم الموزع طريقة شائعة لحماية الخصوصية في تدريب نماذج التعلم الآلي. تحلل هذه الورقة ضعف نماذج التعرف على الكلام (ASR) في البيئات الموزعة تجاه هجمات استدلال السمات. اختبر الباحثون طرق هجوم صندوق أبيض غير معاملي تحت نموذج تهديد سلبي على ثلاثة نماذج ASR (Wav2Vec2 و HuBERT و Whisper). يعمل الهجوم فقط على أساس الفروقات في الأوزان، دون الحاجة إلى الوصول إلى الكلام الأصلي للمتحدث المستهدف. تثبت الدراسة جدوى الهجمات على السمات الديموغرافية والسريرية الحساسة (الجنس والعمر واللهجة والعاطفة واضطراب النطق). تكتشف الدراسة أن السمات الممثلة بشكل ناقص أو الغائبة في بيانات التدريب المسبق أكثر عرضة لهذه الهجمات الاستدلالية. وبشكل خاص، يمكن استدلال معلومات اللهجة بشكل موثوق من جميع النماذج.
خلفية البحث والدافع
تعريف المشكلة
- المشكلة الأساسية: هل نماذج ASR في البيئات التعلم الموزع تسرب السمات الشخصية الحساسة للمستخدمين من خلال تحديثات أوزان النموذج؟
- تهديدات الخصوصية: تحتوي بيانات الكلام على معلومات شخصية غنية، بما في ذلك الخصائص الديموغرافية (الجنس والعمر واللهجة) والحالات السريرية (اضطرابات النطق) وحالات العاطفة
تحليل الأهمية
- الامتثال القانوني: قد يؤدي تسرب السمات إلى انتهاك اللائحة العامة لحماية البيانات (GDPR) و HIPAA وقوانين مكافحة التمييز الأمريكية والأوروبية
- حماية الخصوصية: تحمي قانون الأمريكيين ذوي الإعاقة (ADA) الأشخاص ذوي الإعاقة من التمييز، وتسرب معلومات اضطرابات الكلام له عواقب وخيمة
- التهديد العملي: حتى بدون تسرب الهوية، فإن تسرب السمات وحده مثل اللهجة أو الحالة العاطفية يشكل انتهاكاً خطيراً للخصوصية
قيود الطرق الموجودة
- افتراضات التعلم الموزع: على الرغم من أن التعلم الموزع يحسن الخصوصية بالحفاظ على الصوت الأصلي على الجهاز، فإن تحديثات النموذج قد تسرب معلومات حساسة
- الفجوة البحثية: ركزت الأعمال السابقة بشكل أساسي على إعادة تحديد المتحدثين وهجمات استدلال العضوية، لكن نطاق تسرب السمات لم يتم استكشافه بشكل كافٍ
- نموذج التهديد: نقص الدراسات المنهجية حول استدلال السمات من خلال تحديثات الأوزان فقط
المساهمات الأساسية
- أول دراسة منهجية شاملة: أول تحليل شامل لضعف تسرب السمات الشخصية في نماذج ASR الموزعة
- تقييم متعدد السمات: تقييم ثلاثة نماذج ASR رائدة على خمس سمات حساسة (الجنس والعمر واللهجة والعاطفة واضطراب النطق)
- طريقة الهجوم: تقديم طريقة هجوم صندوق أبيض غير معاملي قائمة على الفروقات في الأوزان، بدون الحاجة إلى الوصول إلى بيانات الكلام الأصلية
- النتائج الرئيسية: اكتشاف أن السمات الممثلة بشكل ناقص في بيانات التدريب المسبق أكثر عرضة للتسرب، خاصة معلومات اللهجة
- رؤى الحماية: توفير أدلة تجريبية على تخفيف تسرب السمات من خلال تنويع بيانات التدريب المسبق
شرح الطريقة
نموذج التهديد
تعتمد الدراسة على نموذج مهاجم جانب الخادم السلبي:
- قدرات المهاجم: يمكن الوصول إلى النموذج العام Wg ونموذج التدريب المحلي للمتحدث المستهدف Ws
- قيود الهجوم: لا يمكن الوصول إلى الصوت الأصلي أو النصوص المكتوبة أو البيانات الوصفية
- هدف الهجوم: استدلال السمات الشخصية المحمية من خلال الفروقات في الأوزان فقط
- افتراض التدريب: يتم ضبط كل نموذج على جملة واحدة من متحدث واحد
خوارزمية هجوم استدلال السمات
1. بناء نماذج الظل
محاكاة عملية الضبط باستخدام مجموعات بيانات عامة:
لكل عينة (xi, yi), i = 1,...,n:
1. ضبط النموذج العام Wg على العينة xi
2. الحصول على نموذج الظل Wi
3. بناء مجموعة بيانات معنونة {(Wi, yi)}
2. استخراج الميزات
استخراج ملخصات إحصائية من كل موتر معاملات p ∈ Wi:
zi = concat([μp, σp, min(p), max(p)] for each p ∈ Wi)
حيث zi ∈ Rd متجه ميزة بطول ثابت.
3. حساب مركز الفئة
حساب مركز الفئة لكل فئة:
z̄c = (1/Nc) ∑(i=1 to Nc) zi, where zi ∈ class c
4. استدلال السمة
بالنسبة للنموذج المستهدف Ws، استخراج متجه الميزة zs والتصنيف باستخدام المسافة الإقليدية المعايرة:
ĉ = argmin_c (||zs - z̄c||2 / (||zs||2 · ||z̄c||2))
نقاط الابتكار التقني
- الطريقة غير المعاملية: لا تتطلب تدريب مصنفات معقدة، تستخدم فقط الملخصات الإحصائية ومقاييس المسافة
- تحليل الفروقات في الأوزان: استخراج معلومات السمات مباشرة من التغييرات في معاملات النموذج
- قابلية التوسع: تتسع الطريقة بشكل طبيعي إلى إعدادات متعددة الفئات
- الجدوى العملية: الهجوم يتطلب موارد حسابية وكمية بيانات نسبية قليلة
إعداد التجارب
مجموعات البيانات
| السمة | مجموعة البيانات | عدد العينات | الوصف |
|---|---|---|---|
| الجنس والعمر واللهجة | Speech Accent Archive (SAA) | 200 | تسجيلات مضبوطة، نص موحد |
| اضطراب النطق | TORGO | 15 متحدثاً | 8 مع اضطراب، 7 طبيعيون |
| العاطفة | RAVDESS | 24 متحدثاً | كلام عاطفي من ممثلين محترفين |
إعداد مهام التجارب
- كشف الجنس: 200 متحدث باللغة الإنجليزية الأم، 100 ذكر و 100 أنثى، تقسيم 75/25 للتدريب والاختبار
- كشف العمر: 18-24 سنة مقابل 35-44 سنة، 70 متحدثاً ذكراً، التحقق المتقاطع بـ 5 طيات
- كشف اللهجة: 200 متحدث، متحدثو اللغة الإنجليزية الأم مقابل غير الأم
- كشف العاطفة: ثلاث مهام تصنيف ثنائية (هادئ مقابل غاضب، سعيد مقابل حزين، هادئ مقابل خائف)
- كشف اضطراب النطق: التحقق المتقاطع بترك متحدث واحد
نماذج ASR
- Wav2Vec2-Base: 95 مليون معامل، تدريب مسبق على LibriSpeech
- HuBERT-Large: 300 مليون معامل، تدريب على LibriSpeech
- Whisper-Small: 244 مليون معامل، تدريب على 680 ألف ساعة بيانات متعددة اللغات
نتائج التجارب
معدلات نجاح الهجوم الرئيسية
| المهمة | Wav2Vec2 | HuBERT | Whisper |
|---|---|---|---|
| كشف الجنس | 64% | 63% | 46% |
| كشف العمر | 100% | 97% | 94% |
| كشف اللهجة | 100% | 80% | 93% |
| اضطراب النطق | 59% | 76% | 81% |
| العاطفة: هادئ مقابل غاضب | 52% | 67% | 83% |
| العاطفة: سعيد مقابل حزين | 50% | 54% | 75% |
| العاطفة: هادئ مقابل خائف | 46% | 48% | 73% |
النتائج التجريبية الرئيسية
- اختلافات السمات كبيرة: يظهر العمر واللهجة أقوى تسرب (دقة 80-100%)، بينما الجنس الأصعب في التنبؤ (46-64%)
- اختلافات النموذج: يظهر Whisper تسرباً >70% على جميع السمات باستثناء الجنس
- الدلالة الإحصائية: تحقق نتائج كشف العمر دلالة إحصائية على جميع النماذج (فترة ثقة 95%)
نتائج التحليل الطبقي
من خلال التحليل الطبقي لـ Wav2Vec2:
- معلومات العمر: تحافظ على معدل كشف عالي متسق عبر جميع الطبقات
- العاطفة واضطراب النطق: تظهر تبايناً أكبر في الطبقات الوسطى والعليا
- التخصص الطبقي: قد تتجاوز أداء بعض الطبقات المحددة الاستدلال على النموذج الكامل
تصنيف اللهجة الدقيق
تجارب التصنيف متعدد الفئات على 10 لهجات الأكثر شيوعاً:
- قبل الهجوم: تحقيق دقة ≥90% على جميع لهجات الاختبار
- بعد الحماية: انخفاض معدل نجاح الهجوم إلى <20% بعد الضبط على بيانات لهجات متنوعة
- القدرة على التعميم: الحفاظ على معدل نجاح هجوم عالي على لهجات غير مرئية (يابانية وإيطالية وألمانية وبولندية ومقدونية)
الأعمال ذات الصلة
هجمات الخصوصية في التعلم الموزع
- هجمات استدلال العضوية: قدم شوكري وآخرون أول هجمات استدلال عضوية ضد نماذج التعلم الآلي
- تسرب التعلم التعاوني: درس ميليس وآخرون تسرب الميزات غير المقصود في التعلم التعاوني
- هجمات مجال الكلام: ركزت الأعمال السابقة بشكل أساسي على إعادة تحديد المتحدثين واستدلال العضوية
استدلال السمات في الكلام
- الطرق التقليدية: التعرف على السمات بناءً على إشارات الكلام الأصلية
- حماية الخصوصية: حساسية بيانات الكلام واحتياجات حماية الخصوصية
- مساهمة هذه الورقة: أول تركيز على استدلال السمات من خلال أوزان النموذج فقط
الاستنتاجات والمناقشة
الاستنتاجات الرئيسية
- تأكيد الضعف: نماذج ASR الموزعة تحتوي فعلاً على خطر تسرب السمات الشخصية من خلال تحديثات الأوزان
- الارتباط بالسمات: يرتبط مستوى التسرب ارتباطاً وثيقاً بتمثيل السمة في بيانات التدريب المسبق
- استراتيجيات الحماية: يمكن لتنويع بيانات التدريب المسبق تخفيف مخاطر تسرب السمات المعروفة بشكل فعال
القيود
- حجم التجارب: حجم العينة في بعض المهام أصغر، قد يؤثر على قابلية التعميم
- قيود اللغة: التركيز الأساسي على الكلام الإنجليزي، يحتاج إلى مزيد من البحث في البيئات متعددة اللغات
- نموذج الهجوم: يأخذ في الاعتبار فقط المهاجمين السلبيين، قد تنتج الهجمات النشطة تسريباً أكثر خطورة
- القيود الواقعية: قد لا يتطابق افتراض الضبط على جملة واحدة تماماً مع سيناريوهات التعلم الموزع الفعلية
الاتجاهات المستقبلية
- آليات الحماية: تطوير تقنيات حماية خصوصية أكثر فعالية، مثل الخصوصية التفاضلية والتجميع الآمن
- البحث متعدد اللغات: التوسع إلى السيناريوهات متعددة اللغات والعابرة للغات
- الحماية الديناميكية: البحث عن طرق للكشف والحماية من تسرب السمات في الوقت الفعلي
- التحليل النظري: تحليل الأسباب الجذرية لتسرب السمات من منظور نظري
التقييم المتعمق
المميزات
- أهمية البحث كبيرة: أول كشف منهجي لضعف تسرب السمات في نماذج ASR الموزعة، بأهمية كبيرة لحماية الخصوصية
- تصميم الطريقة معقول: طريقة هجوم بسيطة وفعالة، نموذج تهديد واقعي وموثوق
- التجارب شاملة: تغطي سمات متعددة ونماذج متعددة وتجارب تحليلية مفصلة
- الرؤى عميقة: اكتشاف الارتباط المهم بين تنوع بيانات التدريب المسبق وحماية الخصوصية
- القيمة العملية: توفير إرشادات مهمة لحماية الخصوصية في أنظمة التعلم الموزع
أوجه القصور
- قيود مجموعة البيانات: حجم مجموعات البيانات المستخدمة في بعض التجارب صغير نسبياً، قد يؤثر على الموثوقية الإحصائية
- افتراضات الهجوم: افتراض الضبط على جملة واحدة مبسط جداً، عادة ما يستخدم المزيد من البيانات في التطبيقات الفعلية
- تقييم الحماية: التقييم النسبي محدود لطرق الحماية، يحتاج إلى تحليل أمان أكثر شمولاً
- التعقيد الحسابي: لم يتم تحليل تكاليف الهجوم الحسابية والجدوى بالتفصيل
التأثير
- المساهمة الأكاديمية: فتح اتجاه جديد لبحث خصوصية التعلم الموزع، من المتوقع أن يثير المزيد من الأبحاث ذات الصلة
- الإرشادات العملية: توفير اعتبارات أمان مهمة لنشر أنظمة ASR الموزعة في الصناعة
- التأثير على السياسة: قد تؤثر نتائج البحث على صياغة وتنفيذ لوائح حماية الخصوصية ذات الصلة
- دفع التكنولوجيا: تعزيز تطوير خوارزميات التعلم الموزع الأكثر أماناً وتقنيات حماية الخصوصية
السيناريوهات المعمول بها
- أنظمة ASR الموزعة: تطبيق مباشر لتقييم الأمان في تطبيقات التعرف على الكلام الموزعة المختلفة
- تدقيق الخصوصية: يمكن استخدامه كأداة تدقيق أمان لأنظمة حماية الخصوصية
- تصميم النموذج: توفير مراجع مهمة لتصميم نماذج كلام أكثر أماناً
- الامتثال التنظيمي: مساعدة المنظمات على تقييم وضمان امتثال أنظمة الكلام الذكية
المراجع
- Baevski et al. "wav2vec 2.0: إطار عمل للتعلم الذاتي الإشراف لتمثيلات الكلام." NeurIPS 2020.
- Hsu et al. "HuBERT: تعلم تمثيل الكلام الذاتي الإشراف من خلال التنبؤ المقنع بالوحدات المخفية." IEEE/ACM TASLP 2021.
- Radford et al. "التعرف على الكلام القوي عبر الإشراف الضعيف على نطاق واسع." ICML 2023.
- Shokri et al. "هجمات استدلال العضوية ضد نماذج التعلم الآلي." IEEE S&P 2017.
- Melis et al. "استغلال تسرب الميزات غير المقصود في التعلم التعاوني." IEEE S&P 2019.
تكشف هذه الورقة عن مخاطر خصوصية مهمة في التعلم الموزع في مجال الكلام، وتوفر رؤى وإرشادات قيمة لبناء أنظمة ذكية للكلام أكثر أماناً. يتمتع البحث ليس فقط بقيمة أكاديمية مهمة، بل له أيضاً تأثير عميق على التطبيقات العملية.