2025-11-13T21:49:11.069891

SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness

Kodge, Ravikumar, Saha et al.

Label corruption, where training samples are mislabeled due to non-expert annotation or adversarial attacks, significantly degrades model performance. Acquiring large, perfectly labeled datasets is costly, and retraining models from scratch is computationally expensive. To address this, we introduce Scaled Activation Projection (SAP), a novel SVD (Singular Value Decomposition)-based corrective machine unlearning algorithm. SAP mitigates label noise by identifying a small subset of trusted samples using cross-entropy loss and projecting model weights onto a clean activation space estimated using SVD on these trusted samples. This process suppresses the noise introduced in activations due to the mislabeled samples. In our experiments, we demonstrate SAP's effectiveness on synthetic noise with different settings and real-world label noise. SAP applied to the CIFAR dataset with 25% synthetic corruption show upto 6% generalization improvements. Additionally, SAP can improve the generalization over noise robust training approaches on CIFAR dataset by ~3.2% on average. Further, we observe generalization improvements of 2.31% for a Vision Transformer model trained on naturally corrupted Clothing1M.

academic

SAP: تصحيح إلغاء التعلم الآلي مع إسقاط التفعيل المقياس لقوة تحمل ضوضاء التسميات

المعلومات الأساسية

معرّف الورقة: 2403.08618
العنوان: SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness
المؤلفون: Sangamesh Kodge, Deepak Ravikumar, Gobinda Saha, Kaushik Roy (جامعة بوردو)
التصنيف: cs.LG cs.AI stat.ML
تاريخ النشر: 2 يناير 2025 (arXiv v2)
رابط الورقة: https://arxiv.org/abs/2403.08618
رابط الكود: https://github.com/sangamesh-kodge/SAP.git

الملخص

تعتبر تلف التسميات مشكلة حرجة في التعلم العميق، حيث يؤدي التسميات الخاطئة للعينات التدريبية الناجمة عن التعليق غير المتخصص أو الهجمات الخصومة إلى تدهور كبير في أداء النموذج. يتطلب الحصول على مجموعات بيانات كاملة التسميات على نطاق واسع تكاليف باهظة، وإعادة تدريب النموذج من الصفر تتطلب نفقات حسابية ضخمة. لهذا الغرض، تقترح هذه الورقة إسقاط التفعيل المقياس (SAP)، وهي خوارزمية إلغاء تعلم آلي تصحيحية قائمة على تحليل القيم الذاتية (SVD). يخفف SAP من ضوضاء التسميات من خلال استخدام خسارة الإنتروبيا المتقاطعة لتحديد عدد قليل من العينات الموثوقة، وإسقاط أوزان النموذج إلى فضاء التفعيل النظيف المقدر باستخدام SVD بناءً على هذه العينات الموثوقة. تظهر التجارب أن SAP يمكن أن يحقق تحسناً في التعميم يصل إلى 6% في ظل تلف اصطناعي بنسبة 25% على مجموعات بيانات CIFAR، مع تحسن متوسط قدره حوالي 3.2% على أساس طرق التدريب القوية للضوضاء، وتحسن في التعميم بنسبة 2.31% على نموذج Vision Transformer على مجموعة بيانات Clothing1M المتضررة بشكل طبيعي.

خلفية البحث والدافع

تعريف المشكلة

مشكلة ضوضاء التسميات:
- أخطاء التسميات اليدوية
- أخطاء الأنظمة المؤتمتة (مثل نماذج اللغة الكبيرة)
- هجمات تسميم البيانات الخبيثة
قيود الحلول الموجودة:
- طرق تنظيف البيانات: تتطلب إعادة تدريب النموذج بتكلفة حسابية عالية
- التدريب القوي للضوضاء: يحسن المتانة لكن لا يزيل الفجوة في الأداء بالكامل
- إلغاء التعلم التقليدي: يتطلب التمييز الصريح بين التسميات الخاطئة والعينات الصعبة التعلم، مما يصعب التطبيق العملي
دافع البحث:
- تجنب التكاليف الحسابية العالية لإعادة التدريب من الصفر
- عدم الحاجة إلى تحديد صريح للعينات الخاطئة
- تحقيق تخفيف الضوضاء الفعال من خلال تحديث وزن واحد

المساهمات الأساسية

اقتراح خوارزمية SAP: خوارزمية إلغاء تعلم تصحيحية قائمة على SVD تخفف من تأثير ضوضاء التسميات من خلال إسقاط التفعيل
اختيار عينات موثوقة مؤتمت: استخدام خسارة الإنتروبيا المتقاطعة لتحديد العينات الموثوقة تلقائياً، مما يتجنب التعليق اليدوي
تحديث الأوزان في خطوة واحدة: تحقيق تصحيح النموذج الفعال من خلال حساب SVD واحد وإسقاط الأوزان
التحقق التجريبي الواسع: التحقق من الفعالية في سيناريوهات الضوضاء الاصطناعية والحقيقية، مع دعم معماريات نماذج متعددة

شرح الطريقة

تعريف المهمة

بالنظر إلى مجموعة بيانات تدريب تحتوي على ضوضاء تسميات $D_{Tr}$ ، الهدف هو تصحيح معاملات النموذج المدرب $θ^*$ بحيث تكون أداء التعميم على مجموعة الاختبار قريبة من النموذج المدرب على بيانات نظيفة، دون الحاجة إلى إعادة التدريب.

معمارية النموذج

1. آلية تحديث الأوزان

بالنسبة للطبقة الخطية $a_{out} = a_{in}W^T$ ، يقوم SAP بإسقاط التفعيلات المدخلة من خلال مصفوفة محاذاة التفعيل $W_p$ :

$\hat{a}_{out} = (a_{in}W_p)W^T = a_{in}(WW_p^T)^T = a_{in}\hat{W}^T$

قاعدة تحديث الأوزان: $\hat{W} = WW_p^T$

2. تقدير البيانات الموثوقة

استخدام خسارة الإنتروبيا المتقاطعة لاختيار $N_{Trust}$ عينة بأقل خسارة كمجموعة موثوقة:

$D_{Trust} = \arg\min_S \sum_{(x_i,y_i) \in S} L(θ^*, x_i, y_i)$

حيث $S = \{S_i \subseteq D_{Tr} | |S_i| = N_{Trust}\}$

3. بناء مصفوفة التمثيل

الطبقات الخطية: $R_{linear} = [(a_i^{in})_{i=1}^{N_{Trust}}]$
الطبقات الالتفافية: تحويل الالتفاف إلى ضرب مصفوفة من خلال عملية unfold، $R_{conv} = [(unfold(a_i^{in})^T)_{i=1}^{N_{Trust}}]$

4. تحليل SVD والقياس بناءً على الأهمية

إجراء تحليل SVD على مصفوفة التمثيل: $R^l = U^l Σ^l V^{lT}$

حساب أوزان الأهمية: $λ_i = \frac{α\tilde{σ}_i}{(α-1)\tilde{σ}_i + 1}$

حيث $\tilde{σ}_i = σ_i^2 / \sum_{j=1}^d σ_j^2$ هي القيم الذاتية المعايرة، و $α$ هو معامل القياس.

5. مصفوفة محاذاة التفعيل

بناء مصفوفة الإسقاط: $W_p = UΛU^T$ ، حيث $Λ = diag(λ_1, λ_2, ..., λ_d)$

نقاط الابتكار التقني

المعالجة المؤتمتة: عدم الحاجة إلى تحديد يدوي للعينات الخاطئة، مع اختيار العينات الموثوقة تلقائياً من خلال دالة الخسارة
التحديث الفعال: إكمال تحديث الأوزان من خلال حساب SVD واحد وضرب المصفوفات، مما يتجنب التحسين التكراري
إسقاط فضاء التفعيل: قمع تأثير التفعيلات الضوضائية من خلال الإسقاط إلى فضاء التفعيل النظيف
عدم الاعتماد على المعمارية: ينطبق على الطبقات الخطية والالتفافية، مع دعم معماريات شبكة متعددة

إعداد التجارب

مجموعات البيانات

مجموعات البيانات ذات الضوضاء الاصطناعية:
- CIFAR-10/CIFAR-100
- ثلاثة أنواع من الضوضاء: ضوضاء متماثلة، ضوضاء غير متماثلة، ضوضاء هرمية
- مستويات الضوضاء: 10% و 25%
مجموعات البيانات ذات الضوضاء الحقيقية:
- Mini-WebVision
- Clothing1M

مقاييس التقييم

دقة مجموعة الاختبار
مقارنة الأداء مع طرق الأساس
حجم تحسن التعميم

طرق المقارنة

Retrain: النموذج المثالي المعاد تدريبه على بيانات نظيفة
Vanilla: النموذج الأساسي المدرب على بيانات ضوضائية
Finetune: الضبط الدقيق على كمية صغيرة من البيانات النظيفة
SSD: خوارزمية إلغاء التعلم القائمة على الكبت الانتقائي للمشابك
SCRUB: خوارزمية إلغاء التعلم الحديثة

تفاصيل التنفيذ

عدد العينات الموثوقة: 1000 عينة
نطاق البحث عن معامل القياس α: 2000, 300000
معماريات النماذج: VGG11، ResNet18، ResNet50، ViT-B/16
المحسّن: SGD، معدل التعلم 0.01، تحلل الأوزان 5×10^-4

نتائج التجارب

النتائج الرئيسية

تجارب الضوضاء الاصطناعية

تظهر النتائج على مجموعات بيانات CIFAR-10 و CIFAR-100:

مجموعة البيانات	مستوى الضوضاء	Vanilla	SAP	حجم التحسن
CIFAR-10	25%	76.68±0.48	82.27±0.15	+5.59%
CIFAR-100	25%	50.64±0.60	53.31±0.78	+2.67%

يتفوق SAP على جميع طرق إلغاء التعلم الأخرى في جميع إعدادات الضوضاء، بمتوسط تحسن 1.36% (CIFAR-10) و 0.39% (CIFAR-100).

تعزيز التدريب القوي للضوضاء

يمكن لـ SAP تحسين أداء طرق الضوضاء القوية الموجودة بشكل إضافي:

الطريقة	خط الأساس CIFAR-10	SAP المحسّن	حجم التحسن
MixUp	83.12±0.44	86.45±0.52	+3.33%
SAM	83.29±0.28	87.29±0.08	+4.0%
المتوسط	83.69	87.14	+3.45%

الضوضاء الحقيقية

النتائج على مجموعات البيانات ذات الضوضاء الحقيقية:

مجموعة البيانات	النموذج	Vanilla	SAP	حجم التحسن
Clothing1M	ResNet50	67.48±0.64	69.64±0.57	+2.16%
Clothing1M	ViT-B/16	69.12±0.45	71.43±0.60	+2.31%

التجارب الاستئصالية

تأثير عدد العينات الموثوقة

تظهر التجارب أن الفوائد تتناقص بعد زيادة عدد العينات الموثوقة إلى 1000 عينة، لذلك تم اختيار 1000 عينة لموازنة الأداء والكفاءة الحسابية.

تأثير معامل القياس α

يظهر α=30000 أفضل أداء عبر إعدادات الضوضاء الاصطناعية المختلفة، حيث تؤدي قيم α الأكبر أو الأصغر إلى تقليل الأداء.

النتائج التجريبية

الكفاءة الحسابية: يتطلب SAP فقط 16 عملية بحث عن المعاملات الفائقة، بينما يتطلب SCRUB 675 عملية
المتانة: تظهر أداء مستقرة عبر أنواع وشدات ضوضاء مختلفة
قابلية التوسع: تطبيق ناجح على مجموعات بيانات كبيرة ونماذج Transformer
تحسين حدود القرار: تظهر التجارب البصرية أن SAP يمكنه تنعيم حدود القرار وتقليل الإفراط في التدريب

الأعمال ذات الصلة

تصنيف طرق معالجة ضوضاء التسميات

طرق تنظيف البيانات:
- تصفية البيانات: إزالة العينات المسماة بشكل خاطئ
- اختيار العينات: اختيار ديناميكي لعينات التدريب
- تصحيح التسميات: تصحيح التسميات الخاطئة
التدريب القوي للضوضاء:
- تقنيات التنظيم: Dropout، تنعيم التسميات
- دوال الخسارة القوية: الإنتروبيا المتقاطعة المتماثلة، MAE
- تعزيز البيانات: MixUp، MentorMix
إلغاء التعلم التصحيحي:
- يركز إلغاء التعلم التقليدي على حماية الخصوصية
- يركز إلغاء التعلم التصحيحي على تحسين أداء التعميم

مزايا هذه الورقة

مقارنة بالطرق الموجودة، يتمتع SAP بالمزايا التالية:

عدم الحاجة إلى تحديد صريح للعينات الخاطئة
تحديث واحد يتجنب عدم استقرار التحسين التكراري
تعديل معاملات فائقة بسيط وكفاءة حسابية عالية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

التحقق من الفعالية: يحسن SAP بشكل كبير أداء تعميم النموذج في سيناريوهات الضوضاء الاصطناعية والحقيقية
مزايا الكفاءة: تحديث الأوزان في خطوة واحدة وتعديل المعاملات الفائقة البسيط يمنح SAP مزايا حسابية كبيرة
قابلية التطبيق الواسعة: دعم معماريات شبكة متعددة وأحجام مجموعات بيانات مختلفة
القيمة العملية: يمكن دمجه مع طرق الضوضاء القوية الموجودة لتحسين الأداء بشكل إضافي

القيود

افتراض العينات الموثوقة: يعتمد على افتراض أن العينات ذات الخسارة المنخفضة هي بالفعل مسماة بشكل صحيح
حساسية المعاملات الفائقة: يؤثر اختيار معامل القياس α بشكل كبير على الأداء
قيود نوع الضوضاء: يركز بشكل أساسي على ضوضاء التسميات، مع قدرة محدودة على التعامل مع أنواع ضوضاء أخرى
نقص التحليل النظري: افتقار إلى الضمانات النظرية لفعالية الطريقة

الاتجاهات المستقبلية

التحليل النظري: بناء أساس نظري لفعالية SAP
اختيار المعاملات التكيفية: تطوير طرق لاختيار α الأمثل تلقائياً
التطبيقات الموسعة: استكشاف التطبيقات في أنواع ضوضاء أخرى والمهام المختلفة
الدمج مع تقنيات أخرى: دراسة الدمج مع تعزيز البيانات والتدريب الخصومة

التقييم المتعمق

المزايا

ابتكار الطريقة:
- أول تطبيق لـ SVD في إلغاء التعلم التصحيحي
- فكرة إسقاط التفعيل جديدة وفعالة
- اختيار العينات الموثوقة المؤتمت يتجنب التدخل اليدوي
كفاية التجارب:
- تغطية أنواع ضوضاء وعينات بيانات متعددة
- مقارنة مع طرق أساس متعددة
- تضمين تجارب استئصالية وتحليل حساسية المعاملات
القيمة العملية:
- كفاءة حسابية عالية وسهولة النشر
- يمكن دمجه مع الطرق الموجودة
- دعم معماريات شبكة متعددة
قوة النتائج:
- تحسن متسق في الأداء
- التحقق من الدلالة الإحصائية
- التحليل البصري يعزز الفهم

أوجه القصور

ضعف الأساس النظري:
- افتقار إلى التحليل النظري لفعالية الطريقة
- عدم شرح السبب في أن إسقاط SVD يمكنه قمع الضوضاء بفعالية
قيود الافتراضات:
- افتراض أن العينات ذات الخسارة المنخفضة مسماة بشكل صحيح قد لا يكون صحيحاً دائماً
- افتراضات قوية حول توزيع الضوضاء
تعديل المعاملات:
- اختيار α يفتقر إلى التوجيه النظري
- قد تتطلب مجموعات بيانات مختلفة قيم α مختلفة
حدود المقارنة:
- المقارنة مع أحدث طرق الضوضاء القوية غير كافية
- نقص المقارنة المباشرة مع طرق تنظيف البيانات

التأثير

المساهمة الأكاديمية:
- توفير اتجاه بحثي جديد لمجال إلغاء التعلم
- قد تلهم فكرة إسقاط التفعيل تطبيقات أخرى
التطبيق العملي:
- توفير أداة عملية للتعامل مع ضوضاء التسميات في العالم الحقيقي
- يمكن دمجها في عمليات التدريب الموجودة
قابلية إعادة الإنتاج:
- توفير تنفيذ كود كامل
- وصف تفصيلي لإعدادات التجارب

السيناريوهات المناسبة

سيناريوهات جودة التسميات المنخفضة لمجموعات البيانات
الحالات التي لا يمكن فيها إعادة تسميات البيانات
التطبيقات التي تتطلب تصحيح سريع للنماذج المدربة
البيئات ذات الموارد الحسابية المحدودة

المراجع

تستشهد الورقة بالأعمال المهمة في المجالات ذات الصلة، بما في ذلك:

إلغاء التعلم: طرق SCRUB و SSD وغيرها
معالجة ضوضاء التسميات: MixUp و MentorMix و SAM وغيرها
تنظيف البيانات: Confident Learning وغيرها
النظرية الأساسية: تحليل SVD وتحليل التفعيل وغيرها

التقييم الإجمالي: تتمتع طريقة SAP المقترحة في هذه الورقة بقيمة مهمة في معالجة ضوضاء التسميات، حيث تحقق تصحيح نموذج فعال من خلال تصميم إسقاط تفعيل ذكي. على الرغم من وجود نقص في التحليل النظري، فإن التحقق التجريبي كافٍ والقيمة العملية كبيرة، مما يوفر مساهمة قيمة للمجالات ذات الصلة.