تقييم موثوقية التفسيرات في مجموعات البيانات غير المتوازنة: دراسة حالة حول حدوث أحداث الصقيع

المعلومات الأساسية

• معرّف الورقة: 2507.09545
• العنوان: تقييم موثوقية التفسيرات في مجموعات البيانات غير المتوازنة: دراسة حالة حول حدوث أحداث الصقيع
• المؤلفون: Ilaria Vascotto, Valentina Blasone, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi
• التصنيف: cs.LG (التعلم الآلي)
• وقت النشر/المؤتمر: عمل متأخر، المؤتمر العالمي الثالث للذكاء الاصطناعي القابل للتفسير (9-11 يوليو 2025، إسطنبول، تركيا)
• رابط الورقة: https://arxiv.org/abs/2507.09545

الملخص

أصبح استخدام طرق الذكاء الاصطناعي القابل للتفسير (XAI) حاسماً في التطبيقات العملية، وذلك بفضل النشر المتزايد لنماذج الذكاء الاصطناعي والمتطلبات التشريعية المقترحة في السنوات الأخيرة. تعتبر قوة التفسيرات جانباً أساسياً لكن غالباً ما يتم التقليل من شأنه، وهي خاصية رئيسية يجب أن تفي بها التفسيرات الموثوقة. تقدم هذه الدراسة رؤى أولية حول تقييم موثوقية التفسيرات في الحالة المحددة لمجموعات البيانات غير المتوازنة. تعتبر مجموعات البيانات غير المتوازنة شائعة جداً في حالات الاستخدام عالية المخاطر، لكنها تشكل في الوقت ذاته تحديات كبيرة لنماذج الذكاء الاصطناعي وطرق XAI. نقترح طريقة تقييم بسيطة تركز على الفئة الأقلية (أي الفئات ذات التكرار المنخفض)، والتي تستخدم توليد الجيران على المتشعبات والتجميع التفسيري وقياس اختبار اتساق التفسيرات. قدمنا عرضاً توضيحياً بناءً على مجموعة بيانات جدولية للميزات الرقمية، مع استخدام حدوث أحداث الصقيع كحالة استخدام.

السياق البحثي والدافع

تعريف المشكلة

المشكلة الأساسية التي تسعى هذه الدراسة إلى حلها هي: كيفية تقييم موثوقية تفسيرات XAI في مجموعات البيانات غير المتوازنة. بشكل محدد، عندما تكون عينات الفئة الأقلية نادرة جداً في مجموعة البيانات، قد تنتج الطرق التفسيرية التقليدية نتائج غير موثوقة.

تحليل الأهمية

1. المتطلبات التشريعية: تفرض اللوائح مثل GDPR وقانون الذكاء الاصطناعي متطلبات الشفافية للتطبيقات عالية المخاطر
2. الاحتياجات العملية: تواجه المجالات عالية المخاطر مثل الطب والمناخ والكشف عن الاحتيال مشاكل عدم التوازن بشكل متكرر
3. أزمة الثقة: في مجموعات البيانات غير المتوازنة، حتى لو حقق النموذج دقة 99%، قد يكون ذلك مجرد تنبؤ بسيط للفئة الأكثر

حدود الطرق الموجودة

1. تظهر طرق LIME و SHAP قوة رديئة في مجموعات البيانات غير المتوازنة
2. نقص التقييم الموجه: تركز الطرق الموجودة بشكل أساسي على الأداء الكلي، متجاهلة الخصوصية الفئة الأقلية
3. عدم استقرار التفسيرات: قد تنتج المدخلات المتشابهة تفسيرات مختلفة تماماً

دافع البحث

يعتقد المؤلفون أن تقييم موثوقية التفسيرات للفئة الأقلية في مجموعات البيانات غير المتوازنة مهم بشكل خاص لأن:

• التنبؤ الدقيق بالأحداث النادرة حاسم في التطبيقات عالية المخاطر
• الفئة الأكثر سهلة التنبؤ بها، وتفسيراتها قد لا تكون موثوقة بالضرورة
• هناك حاجة إلى طرق متخصصة لتقييم قوة تفسيرات الفئة الأقلية

المساهمات الأساسية

1. اقتراح إطار عمل لتقييم موثوقية التفسيرات في مجموعات البيانات غير المتوازنة، مع التركيز على عينات الفئة الأقلية
2. تصميم طريقة توليد جيران قائمة على المتشعبات، مما يضمن أن العينات المشوشة تقع على متشعب البيانات
3. إدخال قياس الاتساق، من خلال مقارنة التفسير الأصلي مع متوسط التفسير المرجح محلياً لتقييم الموثوقية
4. التحقق من فعالية الطريقة على مهمة التنبؤ بالصقيع الحقيقية، وهي مهمة غير متوازنة بشدة (99:1)

شرح الطريقة

تعريف المهمة

بالنظر إلى مجموعة بيانات غير متوازنة $\mathcal{D} = (X,y)$، حيث $P(y=0) \gg P(y=1)$ (0 للفئة الأكثر، 1 للفئة الأقلية)، تدريب شبكة عصبية $f(\cdot)$، والهدف هو تقييم موثوقية طريقة التفسير $e$ على عينات الفئة الأقلية.

معمارية النموذج

1. توليد الجيران (Neighbourhood Generation)

استخدام توليد جيران على المتشعبات بناءً على تجميع k-medoids:

الخطوات:

• تطبيق تجميع k-medoids على مجموعة التحقق، للحصول على $k_{medoids}$ مجموعة
• متوسط حجم كل مجموعة $n_k = 10$
• استخراج medoid لكل مجموعة كنقطة تمثيلية
• بالنسبة لعينة الاختبار، البحث عن medoid المقابل لها و $k_{nn}=5$ أقرب جيران

صيغة التشويش: $\tilde{x}_j = (1-\bar{\lambda}) \cdot x_j + \bar{\lambda} \cdot x_{M_j}$ حيث $\bar{\lambda} \sim Beta(\lambda \cdot 100, (1-\lambda) \cdot 100)$

2. المتوسط المحلي (Local Averaging)

حساب متوسط التفسير المرجح للفئة الأقلية: $\bar{e}(x) = \frac{\sum_{\tilde{x} \in \mathcal{N}} e(\tilde{x}) \cdot \pi(x,\tilde{x})}{\sum_{\tilde{x} \in \mathcal{N}} \pi(x,\tilde{x})}$ حيث الوزن $\pi(x,\tilde{x}) = \frac{1}{dist(x,\tilde{x})}$

3. تقييم الموثوقية

تعريف مؤشري تقييم:

القوة المحلية: $\hat{\mathcal{R}}(x) = \frac{1}{|\mathcal{N}|} \sum_{\tilde{x} \in \mathcal{N}} \rho(e(x), e(\tilde{x}))$

الاتساق: $\hat{\mathcal{C}}(x) = \rho(e(x), \bar{e}(x))$ حيث $\rho$ هو معامل ارتباط رتبة Spearman

نقاط الابتكار التقني

1. توليد جيران يدرك المتشعبات: مقارنة بالضوضاء الغاوسية العشوائية، تستطيع الطريقة القائمة على medoid توليد جيران أكثر توافقاً مع توزيع البيانات
2. تقييم متخصص للفئة الأقلية: التركيز على عينات الفئة الأقلية الأكثر أهمية لكن الأكثر هشاشة
3. إدخال قياس الاتساق: تقييم الاتساق المحلي من خلال مقارنة التفسير الأصلي مع التفسير المجمع
4. تجميع التفسيرات المرجح بالمسافة: حساب متوسط التفسيرات مرجحاً بناءً على المسافة بين العينات

إعداد التجربة

مجموعة البيانات

مجموعة بيانات التنبؤ بالصقيع:

• المصدر: بيانات إعادة التحليل ERA5 (ECMWF) + بيانات شركة التأمين الملكية
• الفترة الزمنية: 2009-2024 (15 سنة)
• النطاق الجغرافي: جميع أنحاء بولندا
• الميزات: 8 متغيرات جوية رقمية (معالجة معيارية)
• الهدف: تصنيف ثنائي (حدوث الصقيع أم لا)
• درجة عدم التوازن: 99% مقابل 1% (غير متوازن بشدة)
• تقسيم البيانات: مجموعة التدريب 75%، مجموعة التحقق 15%، مجموعة الاختبار 10% (تقسيم طبقي حسب المنطقة)

مؤشرات التقييم

• أداء النموذج: F1-score (مناسب لمجموعات البيانات غير المتوازنة)
• موثوقية التفسير: القوة المحلية $\hat{\mathcal{R}}(x)$ والاتساق $\hat{\mathcal{C}}(x)$
• قياس الارتباط: معامل ارتباط رتبة Spearman

طرق المقارنة

طرق التفسير:

1. Integrated Gradients: طريقة إسناد قائمة على تكامل التدرج
2. DeepLIFT: طريقة قائمة على نشر الفروقات في التفعيل
3. Layer-wise Relevance Propagation (LRP): نشر الملاءمة على مستوى الطبقة
4. طريقة المجموعة: مزيج مرجح من الطرق الثلاث أعلاه

مقارنة توليد الجيران:

• توليد ضوضاء غاوسية عشوائية مقابل توليد متشعب قائم على medoid

تفاصيل التنفيذ

• معمارية النموذج: شبكة عصبية متصلة بالكامل من 5 طبقات، تفعيل ReLU، إخراج sigmoid
• دالة الخسارة: Focal Loss ($\gamma=2.5, \alpha=0.75$)
• محسّن: RAdam، معدل التعلم 0.0001
• إعدادات التدريب: 100 حقبة، حجم الدفعة 256
• معاملات الجيران: $k_{nn}=5, \lambda=0.05$، حجم الجيران $n=100$

نتائج التجربة

النتائج الرئيسية

أداء النموذج

مقارنة أداء طرق التفسير

الاكتشافات الرئيسية

1. أهمية طريقة توليد الجيران: تظهر الطريقة القائمة على medoid أداءً أفضل بشكل ملحوظ على الفئة الأقلية مقارنة بالضوضاء العشوائية
2. أداء DeepLIFT الأمثل: حققت أعلى درجات وأقل انحراف معياري في كلا المؤشرين
3. عدم استقرار LRP: بسبب مشكلة اختفاء التدرج، تظهر LRP أقل استقراراً
4. هشاشة الفئة الأقلية: تفسيرات الفئة الأقلية أكثر عرضة للتأثر بطريقة توليد الجيران

تجارب الاستبدال

من خلال مقارنة توليد الجيران العشوائي وتوليد الجيران القائم على medoid، تم إثبات:

• تنتج الطريقة العشوائية تحولاً توزيعياً أكبر على الفئة الأقلية
• تستطيع الطريقة القائمة على medoid الحفاظ بشكل أفضل على هيكل متشعب البيانات
• الفئة الأقلية أكثر حساسية لاختيار طريقة توليد الجيران

الأعمال ذات الصلة

أبحاث قوة XAI

• حدود LIME و SHAP: أظهرت الأبحاث السابقة أن هذه الطرق تؤدي أداءً سيئاً تحت الهجمات العدائية
• استقرار التفسيرات: يركز العمل الموجود بشكل أساسي على استقرار التفسيرات في الحالات العامة، مع نقص الأبحاث المتخصصة حول البيانات غير المتوازنة

التعلم غير المتوازن

• الطرق التقليدية: إعادة العينات، التعلم الحساس للتكلفة، وغيرها
• طرق التعلم العميق: Focal Loss وغيرها من دوال الخسارة المتخصصة في معالجة عدم التوازن
• تحديات التقييم: تفشل مؤشرات التقييم التقليدية على البيانات غير المتوازنة بشدة

مساهمة هذه الورقة

بالمقارنة مع الأعمال الموجودة، تدرس هذه الورقة لأول مرة بشكل منهجي مشكلة موثوقية طرق XAI في مجموعات البيانات غير المتوازنة، وتقترح إطار عمل تقييم متخصص.

الخلاصة والنقاش

الاستنتاجات الرئيسية

1. موثوقية التفسيرات في مجموعات البيانات غير المتوازنة مشكلة مهمة لكن مهملة
2. تحتاج تفسيرات الفئة الأقلية إلى طرق تقييم خاصة، قد تنتج الطرق التقليدية نتائج مضللة
3. يستطيع توليد الجيران القائم على المتشعبات تحسين موثوقية التقييم بشكل ملحوظ
4. يظهر DeepLIFT أداءً أفضل في مهمة التنبؤ بالصقيع، مع قوة واتساق عاليين

القيود

1. الطريقة لا تزال في مرحلة أولية: تحتاج إلى التحقق على مجموعات بيانات وسيناريوهات أكثر
2. تقتصر على البيانات الجدولية: لم تتناول أنواع بيانات أخرى مثل الصور والنصوص
3. قيود مؤشرات التقييم: قد لا تتمكن المؤشرات الحالية من التقاط جودة التفسير بالكامل
4. التكلفة الحسابية: يزيد توليد عدد كبير من الجيران لكل عينة من التكلفة الحسابية

الاتجاهات المستقبلية

1. التوسع إلى نسب عدم توازن مختلفة: دراسة أداء الطريقة عند درجات عدم توازن مختلفة
2. البيانات متعددة الأنماط: توسيع الطريقة إلى أنواع بيانات مثل الصور والنصوص
3. تحليل عدم اليقين: دمج تقدير عدم اليقين لتحسين تقييم الفئة الأقلية
4. البيانات الزمكانية: الأخذ في الاعتبار الخصائص الخاصة للأبعاد الزمانية والمكانية

التقييم المتعمق

المميزات

1. أهمية المشكلة: تركز على مشكلة مهمة لكن مهملة في مجال XAI
2. ابتكار الطريقة: تقترح إطار عمل تقييم موجه بأساس نظري
3. كفاية التجارب: التحقق في سيناريو حقيقي، ذو قيمة تطبيقية عملية
4. وضوح الكتابة: هيكل الورقة واضح، وصف الطريقة مفصل

أوجه القصور

1. نطاق التجارب محدود: تم التحقق على مجموعة بيانات واحدة فقط، افتقار إلى إثبات الشمولية
2. نقص التحليل النظري: افتقار إلى تحليل عميق للخصائص النظرية للطريقة
3. قيود طرق الأساس: عدم المقارنة مع طرق XAI متخصصة أخرى في معالجة البيانات غير المتوازنة
4. وحدة مؤشرات التقييم: الاعتماد الأساسي على مؤشرات الارتباط، قد لا تعكس جودة التفسير بشكل شامل

التأثير

1. المساهمة الأكاديمية: توفير أفكار جديدة لتطبيق XAI على البيانات غير المتوازنة
2. القيمة العملية: توجيه لنشر XAI في التطبيقات عالية المخاطر
3. قابلية إعادة الإنتاج: تم نشر الكود مفتوح المصدر، مما يسهل إعادة الإنتاج والتوسع

السيناريوهات المناسبة

• التطبيقات عالية المخاطر: التشخيص الطبي، التحكم في المخاطر المالية، التنبيهات الأرصادية، وغيرها
• البيانات غير المتوازنة بشدة: الكشف عن الاحتيال، الكشف عن الشذوذ، التنبؤ بالأحداث النادرة
• المجالات ذات المتطلبات التنظيمية الصارمة: الصناعات التي تتطلب ذكاءً اصطناعياً قابلاً للتفسير

المراجع

استشهدت الورقة بأعمال مهمة في مجال XAI، بما في ذلك:

• الطرق الكلاسيكية LIME 3 و SHAP 4
• طرق تفسير الشبكات العصبية Integrated Gradients 11 و DeepLIFT 12 و LRP 13
• تقنيات التعلم غير المتوازن مثل Focal Loss 7
• أعمال تحليل القوة ذات الصلة 5, 9, 10

التقييم الشامل: هذه ورقة بحثية أولية تركز على مشكلة عملية مهمة. على الرغم من وجود مجال للتحسين في نطاق التجارب والعمق النظري، فإنها تفتح اتجاهاً بحثياً جديداً لتقييم موثوقية XAI في مجموعات البيانات غير المتوازنة، وتتمتع بآفاق تطبيقية جيدة.