2025-11-21T08:58:16.449112

The Interpretable and Effective Graph Neural Additive Networks

Bechler-Speicher, Globerson, Gilad-Bachrach
Graph Neural Networks (GNNs) have emerged as the predominant approach for learning over graph-structured data. However, most GNNs operate as black-box models and require post-hoc explanations, which may not suffice in high-stakes scenarios where transparency is crucial. In this paper, we present a GNN that is interpretable by design. Our model, Graph Neural Additive Network (GNAN), is a novel extension of the interpretable class of Generalized Additive Models, and can be visualized and fully understood by humans. GNAN is designed to be fully interpretable, offering both global and local explanations at the feature and graph levels through direct visualization of the model. These visualizations describe exactly how the model uses the relationships between the target variable, the features, and the graph. We demonstrate the intelligibility of GNANs in a series of examples on different tasks and datasets. In addition, we show that the accuracy of GNAN is on par with black-box GNNs, making it suitable for critical applications where transparency is essential, alongside high accuracy.
academic

الشبكات العصبية الرسومية الإضافية القابلة للتفسير والفعالة

المعلومات الأساسية

  • معرّف الورقة: 2406.01317
  • العنوان: الشبكات العصبية الرسومية الإضافية القابلة للتفسير والفعالة
  • المؤلفون: Maya Bechler-Speicher, Amir Globerson, Ran Gilad-Bachrach
  • التصنيف: cs.LG cs.AI
  • المؤتمر المنشور: NeurIPS 2024 (المؤتمر الثامن والثلاثون لأنظمة معالجة المعلومات العصبية)
  • رابط الورقة: https://arxiv.org/abs/2406.01317

الملخص

أصبحت الشبكات العصبية الرسومية (GNNs) الطريقة السائدة لتعلم البيانات ذات البنية الرسومية، لكن معظم GNNs تعمل كنماذج صندوق أسود تتطلب تفسيرات لاحقة، وهذا قد لا يكون كافياً في السيناريوهات عالية المخاطر التي تتطلب الشفافية. تقترح هذه الورقة نموذج GNN قابل للتفسير بالتصميم - الشبكات العصبية الرسومية الإضافية (GNAN)، وهي امتداد جديد لفئة النماذج الإضافية المعممة القابلة للتفسير، والتي يمكن تصورها وفهمها بالكامل من قبل البشر. توفر GNAN تفسيرات عامة وموضعية على مستوى الميزات والرسم البياني، وتصف كيفية استخدام النموذج للمتغير المستهدف والعلاقات بين الميزات والرسم البياني من خلال التصور المباشر للنموذج. تُظهر التجارب أن دقة GNAN مماثلة لـ GNNs ذات الصندوق الأسود، مما يجعلها مناسبة للتطبيقات الحرجة التي تتطلب الشفافية والدقة العالية.

خلفية البحث والدافع

تعريف المشكلة

  1. المشكلة الأساسية: تفتقر GNNs الحالية إلى القابلية للتفسير، مما يحد من تطبيقاتها في المجالات عالية المخاطر مثل الطب والتمويل والعدالة الجنائية
  2. متطلبات الشفافية: تتطلب اللوائح مثل GDPR الأوروبي وقانون الذكاء الاصطناعي شفافية أنظمة الذكاء الاصطناعي عالية المخاطر
  3. قيود طرق التفسير الحالية:
    • تفتقر طرق التفسير اللاحقة (مثل SHAP و LIME) إلى ضمانات الصحة
    • قد تكون التفسيرات الموضعية والعامة غير متسقة
    • لا يمكن توفير وصف كامل للنموذج

دافع البحث

  • القابلية للتفسير مقابل الدقة: يعتقد الرأي التقليدي أن النماذج القابلة للتفسير عادة ما تتمتع بدقة أقل، وتطعن هذه الورقة في هذا الرأي
  • القابلية للتفسير بالتصميم: النماذج القابلة للتفسير بالتصميم أكثر موثوقية من التفسيرات اللاحقة
  • الامتثال التنظيمي: الامتثال للوائح الذكاء الاصطناعي الشفافة المتزايدة صرامة

المساهمات الأساسية

  1. المساهمة النظرية: توسيع النماذج الإضافية المعممة (GAMs) إلى البيانات الرسومية، واقتراح معمارية GNAN
  2. المساهمة المنهجية: تصميم نموذج تنبؤ رسومي قابل للتفسير بالكامل، مع توفير قدرات التفسير العام والموضعي
  3. المساهمة التجريبية: إثبات أن أداء GNAN مماثلة لـ GNNs ذات الصندوق الأسود على عدة مجموعات بيانات حقيقية
  4. المساهمة العملية: توفير قدرات تصحيح وتحقق من النموذج قابلة للتصور المباشر

شرح الطريقة

تعريف المهمة

  • الإدخال: رسم بياني G يحتوي على N عقدة، كل عقدة i مرتبطة بمتجه ميزة ذو d بُعد xi ∈ ℝd
  • الإخراج: تنبؤ على مستوى العقدة أو على مستوى الرسم البياني
  • تعريف المسافة: dist(j,i) هي عدد الحواف في أقصر مسار من العقدة j إلى العقدة i

معمارية النموذج

فكرة التصميم الأساسية

تولد GNAN تمثيلات العقد من خلال تعلم دالة المسافة ρ(x;θ): ℝ → ℝ ودوال الشكل للميزات {fk}^d_, fk(x;θk): ℝ → ℝ.

حساب تمثيل العقدة

يتم حساب تمثيل الميزة k للعقدة i على النحو التالي:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) · fk([xj]k)

حيث:

  • #disti(j,i): عدد العقد على مسافة dist(j,i) من العقدة i
  • ρ(1/(1+dist(j,i))): دالة وزن المسافة
  • fk([xj]k): دالة الشكل للميزة k

حساب التنبؤ

  • التنبؤ على مستوى العقدة: σ(Σ(k=1 to d)[hi]k)
  • التنبؤ على مستوى الرسم البياني: يتم الحصول أولاً على تمثيل الرسم البياني h = Σ(i=1 to N)hi من خلال تجميع الجمع، ثم حساب σ(Σ(k=1 to d)[h]k)

توسيع التصنيف متعدد الفئات

بالنسبة لتصنيف C فئة، تُخرج دوال الميزات ودوال المسافة متجهات ذات C بُعد، مع استخدام الضرب على مستوى العناصر للدمج:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) ⊙ fk([xj]k)

نقاط الابتكار التقني

  1. البنية الإضافية: تجنب الضرب المتقاطع بين الميزات وطوبولوجيا الرسم البياني، مع الحفاظ على القابلية للتفسير
  2. نمذجة المسافة: نمذجة صريحة لتأثير المسافة بين العقد على التنبؤ
  3. تدفق المعلومات العام: تجميع كل عقدة للمعلومات من الرسم البياني بأكمله، مما يتجنب اختناق نقل الرسائل
  4. التصور الكامل: يمكن وصف النموذج بالكامل من خلال عدد قليل من رسوم الدوال

إعداد التجارب

مجموعات البيانات

مهام تصنيف العقد

  • شبكات الاستشهادات: Cora, Citeseer, PubMed, ogb-arxiv
  • البيانات غير المتجانسة: Cornell, Tolokers

مهام تصنيف الرسم البياني

  • الجزيئات الكيميائية: NCI1, Proteins, Mutagen, PTC
  • خصائص الجزيئات طويلة المدى: μ, α, αHOMO (مجموعة بيانات QM9)

مؤشرات التقييم

  • مهام التصنيف: الدقة (Accuracy)
  • مهام الانحدار: متوسط الخطأ المطلق (MAE)
  • التصنيف الثنائي: ROC-AUC

طرق المقارنة

  • GraphConv, GraphSAGE, GIN
  • GATv2, Graph Transformer
  • FSGNN (نموذج فك الاقتران بين الميزات والرسم البياني)

تفاصيل التنفيذ

  • المحسّن: Adam
  • عدد الحقب التدريبية: 1000 epoch
  • التوقف المبكر: عدم تحسن خسارة التحقق لمدة 100 خطوة
  • البنية الشبكية: شبكات متعددة الطبقات (MLP) بـ 3-5 طبقات، تفعيل ReLU
  • البُعد المخفي: 32-64

نتائج التجارب

النتائج الرئيسية

في 13 مهمة، حققت GNAN أفضل أو ثاني أفضل أداء في 9 مهام:

نوع المهمةمجموعة البياناتأداء GNANأفضل خط أساس
تصنيف العقدCornell85.7±4.8%FSGNN: 86.0±4.1%
تصنيف العقدTolokers84.5±0.9%GATv2: 83.8±1.1%
تصنيف الرسم البيانيMutagen72.2±1.0%GTransformer: 73.1±0.9%
انحدار طويل المدىμ2.55±0.1GIN: 2.60±0.1
انحدار طويل المدىα4.28±0.9GTransformer: 4.30±0.5

الاكتشافات الرئيسية

  1. ميزة المهام طويلة المدى: تتفوق GNAN في مهام التنبؤ بخصائص الجزيئات طويلة المدى، مما يتحقق من مزايا تدفق المعلومات العام
  2. الحفاظ على الأداء: على الرغم من القيود على السعة، تتطابق أداء GNAN مع GNNs الأكثر تعقيداً
  3. الكفاءة الحسابية: تجنب نقل الرسائل التكراري، مما يقلل من اختناقات الحوسبة

عرض القابلية للتفسير

التفسير العام

وصف النموذج بالكامل من خلال تصور دالة المسافة ρ ودوال الشكل {fk}:

  1. مجموعة بيانات Mutagenicity:
    • تُظهر دالة المسافة تناقص تأثير الذرات البعيدة
    • تكشف دوال الشكل أن ذرات Ca و Na و Li تزيد من الطفرية
    • تتمتع ذرات N و P بتأثير حماية طفيف
  2. مجموعة بيانات PubMed:
    • تختلف دوال المسافة بشكل واضح لثلاث فئات من السكري
    • تعرض دوال الشكل علاقات معقدة غير رتيبة
    • يؤثر تكرار كلمة "insulin" بشكل مختلف على أنواع السكري المختلفة

التفسير الموضعي

تصور أهمية العقدة للجزيئات المحددة:

  • تتمتع هياكل الكربون الحلقية بأهمية عالية في الجزيئات الطافرة
  • يتم تحديد مجموعة NO2 بشكل صحيح كعامل طفري

القدرة على التصحيح

  • التحقق من ما إذا كان النموذج يتعلم بما يتوافق مع المعرفة المسبقة
  • تحديد الانحيازات المحتملة والمخاطر الأمنية
  • دعم اختيار النموذج والتحسين

الأعمال ذات الصلة

النماذج الإضافية المعممة

  • تستخدم GAMs التقليدية دوال ملساء مثل الشرائح
  • تستخدم Neural Additive Models شبكات عصبية لتعلم دوال الشكل
  • GNAN هو أول امتداد لـ GAMs على البيانات الرسومية

قابلية تفسير GNN

  • تركز الطرق الحالية بشكل أساسي على توفير تفسيرات رسوم بيانية لاحقة
  • تفتقر إلى نماذج GNN قابلة للتفسير بالتصميم
  • توفر GNAN وصفاً كاملاً للنموذج بدلاً من تفسيرات بديلة

GNNs غير المستندة إلى نقل الرسائل

  • تفك طرق مثل FSGNN الاقتران بين الميزات وبنية الرسم البياني
  • تقلل من الإفراط في التدريب والتعقيد الحسابي
  • تحقق GNAN قابلية التفسير الكاملة بشكل إضافي

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. لا يجب أن تأتي القابلية للتفسير على حساب الدقة
  2. القابلية للتفسير بالتصميم أكثر موثوقية من التفسيرات اللاحقة
  3. العديد من مشاكل الرسم البياني الحقيقية أبسط مما هو متوقع، ولا تتطلب نماذج معقدة

القيود

  1. قيود السعة: تحد البنية الإضافية من قدرة النموذج على التعبير
  2. تفاعلات الميزات: لا يمكن نمذجة التفاعلات المعقدة بين الميزات
  3. بنية الرسم البياني: قد لا تكون حساسة بدرجة كافية للأنماط الرسومية المعقدة جداً
  4. تعقيد التصور: يصعب التصور عند التعامل مع ميزات عالية الأبعاد

الاتجاهات المستقبلية

  1. التحسينات التقنية:
    • دمج شبكات Kolmogorov-Arnold لتحقيق دوال ملساء
    • تعلم دوال مسافة مستقلة لكل ميزة
    • استكشاف التنظيم لتقليل استخدام الميزات
  2. توسيع التطبيقات:
    • تطبيقات مجموعات البيانات البيولوجية
    • شبكات التفاعل بين البروتينات
    • أدوات دعم الاكتشاف العلمي

التقييم المتعمق

المزايا

  1. ابتكار قوي: أول امتداد لـ GAMs على البيانات الرسومية، يملأ فجوة مهمة
  2. أساس نظري متين: مبني على نظرية GAMs الناضجة، مع تصميم معقول
  3. قيمة عملية عالية: يلبي مباشرة متطلبات القابلية للتفسير للتطبيقات عالية المخاطر
  4. تجارب شاملة: تغطي أنواع مهام ومجموعات بيانات متعددة، مع مقارنات شاملة
  5. تصور ممتاز: يوفر تفسيرات نموذجية بديهية وكاملة

أوجه القصور

  1. قيود الطريقة: الافتراض الإضافي قوي جداً، قد يفقد التفاعلات المهمة بين الميزات
  2. نطاق التطبيق: قد تكون الأداء أقل في المهام التي تتطلب تفاعلات ميزات معقدة
  3. التحليل النظري: يفتقر إلى التحليل النظري لقدرة التعبير
  4. قابلية التوسع: مشاكل القابلية للتفسير والكفاءة الحسابية عند التعامل مع ميزات عالية الأبعاد

التأثير

  1. المساهمة الأكاديمية: تفتح اتجاهاً جديداً لـ GNNs القابلة للتفسير
  2. القيمة العملية: توفر حلاً عملياً لتطبيقات الذكاء الاصطناعي عالية المخاطر
  3. الأهمية السياسية: تتوافق مع اتجاهات تنظيم الذكاء الاصطناعي، ذات أهمية واقعية مهمة
  4. قابلية إعادة الإنتاج: الكود مفتوح المصدر، مما يسهل الأبحاث اللاحقة

السيناريوهات المناسبة

  1. التطبيقات عالية المخاطر: التشخيص الطبي، التحكم في المخاطر المالية، اتخاذ القرارات القضائية
  2. البحث العلمي: التنبؤ بخصائص الجزيئات، اكتشاف الأدوية
  3. الامتثال التنظيمي: التطبيقات التجارية التي تتطلب الامتثال لمتطلبات القابلية للتفسير
  4. التعليم والتدريب: تدريس مبادئ GNN والفهم

المراجع

الأعمال ذات الصلة الرئيسية:

  1. Hastie & Tibshirani (1986): النظرية الأساسية للنماذج الإضافية المعممة
  2. Agarwal et al. (2021): النماذج الإضافية العصبية
  3. Ying et al. (2019): GNNExplainer - طريقة التفسير اللاحقة لـ GNN
  4. Rudin (2019): النقاش حول النماذج القابلة للتفسير مقابل تفسيرات الصندوق الأسود

الملخص: تمثل GNAN المقترحة في هذه الورقة مساهمة مهمة في مجال الذكاء الاصطناعي القابل للتفسير، وتثبت بنجاح إمكانية تحقيق كل من القابلية للتفسير والدقة في مهام تعلم الرسوم البيانية. على الرغم من وجود قيود نظرية على قدرة التعبير، فإن قيمتها في التطبيقات العملية، خاصة في السيناريوهات عالية المخاطر التي تتطلب الشفافية، تجعلها تقدماً مهماً في هذا المجال.