2025-11-16T10:43:13.528960

PruneGCRN: Minimizing and explaining spatio-temporal problems through node pruning

García-Sigüenza, Nanni, Llorens-Largo et al.
This work addresses the challenge of using a deep learning model to prune graphs and the ability of this method to integrate explainability into spatio-temporal problems through a new approach. Instead of applying explainability to the model's behavior, we seek to gain a better understanding of the problem itself. To this end, we propose a novel model that integrates an optimized pruning mechanism capable of removing nodes from the graph during the training process, rather than doing so as a separate procedure. This integration allows the architecture to learn how to minimize prediction error while selecting the most relevant nodes. Thus, during training, the model searches for the most relevant subset of nodes, obtaining the most important elements of the problem, facilitating its analysis. To evaluate the proposed approach, we used several widely used traffic datasets, comparing the accuracy obtained by pruning with the model and with other methods. The experiments demonstrate that our method is capable of retaining a greater amount of information as the graph reduces in size compared to the other methods used. These results highlight the potential of pruning as a tool for developing models capable of simplifying spatio-temporal problems, thereby obtaining their most important elements.
academic

PruneGCRN: تقليل وشرح المشاكل الزمكانية من خلال تقليم العقد

المعلومات الأساسية

  • معرّف الورقة: 2510.10803
  • العنوان: PruneGCRN: تقليل وشرح المشاكل الزمكانية من خلال تقليم العقد
  • المؤلفون: Javier García-Sigüenza, Mirco Nanni, Faraón Llorens-Largo, José F. Vicent
  • التصنيف: cs.LG cs.AI
  • وقت النشر: 14 أكتوبر 2025 (نسخة arXiv)
  • رابط الورقة: https://arxiv.org/abs/2510.10803

الملخص

يعالج هذا البحث التحديات المتعلقة باستخدام نماذج التعلم العميق لتقليم الرسوم البيانية، وكذلك القدرة على دمج القابلية للتفسير في المشاكل الزمكانية. بدلاً من تطبيق القابلية للتفسير على سلوك النموذج، تسعى هذه الورقة إلى فهم المشكلة نفسها بشكل أفضل. لهذا الغرض، تقترح نموذجاً جديداً يدمج آلية تقليم محسّنة، قادرة على إزالة العقد من الرسم البياني أثناء التدريب، بدلاً من كونها برنامجاً منفصلاً. يسمح هذا التكامل للبنية المعمارية بتعلم كيفية تقليل خطأ التنبؤ مع اختيار العقد الأكثر صلة. وبالتالي، أثناء التدريب، يبحث النموذج عن أهم مجموعة فرعية من العقد، مما يوفر الحصول على أهم العناصر في المشكلة، مما يسهل التحليل.

الخلفية البحثية والدافع

تعريف المشكلة

يتعامل هذا البحث بشكل أساسي مع تحديات القابلية للتفسير في مشاكل التنبؤ الزمكاني، خاصة في التطبيقات مثل التنبؤ بالمرور. تركز الطرق التقليدية للقابلية للتفسير بشكل أساسي على فهم سلوك النموذج، بينما تقترح هذه الورقة نموذجاً جديداً: فهم المشكلة نفسها من خلال تحديد أهم عناصرها.

أهمية المشكلة

  1. متطلبات شفافية الذكاء الاصطناعي: مع الانتشار الواسع للذكاء الاصطناعي، خاصة في المجالات عالية المخاطر (الطب والمالية والقيادة الذاتية)، أصبحت القابلية للتفسير حاسمة
  2. تعقيد المشاكل الزمكانية: النماذج الزمكانية التي تجمع بين شبكات الرسوم البيانية العصبية (GNN) والشبكات العصبية المتكررة (RNN) معقدة جداً، وتصعب تطبيق طرق القابلية للتفسير التقليدية
  3. القيمة التطبيقية العملية: في التنبؤ بالمرور، يعتبر تحديد مواقع أهم أجهزة الاستشعار ذا أهمية كبيرة للتخطيط الحضري وإدارة المرور

قيود الطرق الموجودة

  1. آليات الانتباه: تعاني من مشكلة "الاختصارات المركبة"، قد تركز على علامات غير ذات صلة
  2. الشبكات الأولية: تنطبق بشكل أساسي على مهام التصنيف، لا تتضمن البعد الزمني
  3. الأنظمة الغامضة: دقة منخفضة، والتعقيد يزداد عند الدمج مع التعلم العميق
  4. طرق القابلية للتفسير اللاحقة: عادة ما تضر بالأداء، وتركز بشكل أساسي على البعد المكاني

المساهمات الأساسية

  1. اقتراح نموذج PruneGCRN: شبكة رسوم بيانية متكررة محسّنة جديدة، تدمج آلية تقليم العقد
  2. نموذج قابلية تفسير مبتكر: الانتقال من فهم سلوك النموذج إلى فهم المشكلة نفسها
  3. تقليم مدمج أثناء التدريب: دمج اختيار العقد في عملية التدريب، وليس كخطوة معالجة لاحقة منفصلة
  4. تقنية Binary Clamp: اقتراح طريقة توليد قناع أبسط وأكثر فعالية من Hard Concrete
  5. التحقق التجريبي: التحقق من فعالية الطريقة على عدة مجموعات بيانات للمرور

شرح الطريقة

تعريف المهمة

بالنظر إلى سلسلة رسم بياني زمكاني، حيث تمثل كل عقدة موقعاً مكانياً (مثل مستشعر المرور)، تكون المهمة:

  1. التنبؤ بقيم العقد في الخطوات الزمنية المستقبلية
  2. تعلم قناع في نفس الوقت، يحدد مجموعة فرعية من العقد الأكثر أهمية للتنبؤ
  3. تقليل عدد العقد المستخدمة مع الحفاظ على دقة التنبؤ

معمارية النموذج

يتضمن نموذج PruneGCRN وحدتين أساسيتين:

1. وحدة تعلم المعاملات المتكيفة للعقد (NAPL)

تتعلم وحدة NAPL مرشحات خاصة بالأنماط من خلال تضمين العقد:

Θ = EN · WN
b = EN · bN

حيث:

  • EN ∈ R^(n×d): مصفوفة تضمين العقد
  • WN ∈ R^(d×c×f): الأوزان المشتركة
  • bN: الانحياز المشترك

عملية الالتفاف على الرسم البياني المعدلة:

Z = (IN + D^(-1/2)AD^(-1/2))XENWN + ENbN

2. وحدة تعلم الرسم البياني المقلم (PGL)

تولد وحدة PGL قناعاً لاختيار العقد M̃:

تدفق توليد القناع:

  1. القناع الخام: قناع قيمة عائمة مهيأ بـ 1
  2. Binary Clamp: تعيين القيم <0 إلى 0، والقيم >0 إلى 1
  3. القناع العكسي: حساب القناع المعكوس
  4. انحياز الرسم البياني: تعلم قيم بديلة للعقد المقنعة

مزايا Binary Clamp:

  • أبسط من Hard Concrete
  • السلوك متسق أثناء التدريب والتحقق
  • تحسين اختيار العقد في خطوة واحدة

3. معمارية PruneGCRN الكاملة

دمج وحدات NAPL و PGL في GRU:

zt = σ(L̃[X̃:,t, ht-1]ENWzr + Ebzr)
rt = σ(In[X̃:,t, ht-1]ENWzr + Ebzr)  
ĥt = tanh([In + L̃][X̃:,t, r ⊙ ht-1]ENWĥ + ENbĥ)
ht = zt ⊙ ĥt-1 + (1-zt) ⊙ ĥt-1

نقاط الابتكار التقني

  1. تقليم العقد أثناء التدريب: بخلاف تقليم المعالجة اللاحقة التقليدي، يحسّن PruneGCRN في نفس الوقت دقة التنبؤ واختيار العقد
  2. آلية Binary Clamp: توفر توليد قناع أكثر استقراراً وبساطة مقارنة بـ Hard Concrete المستخدم في SEGCRN
  3. قابلية تفسير موجهة نحو المشكلة: التركيز على تحديد العناصر الحاسمة للمشكلة وليس سلوك النموذج
  4. التحسين المشترك: النظر في خطأ التنبؤ وعدد العقد المستخدمة من خلال دالة الخسارة

إعداد التجربة

مجموعات البيانات

استخدام 5 مجموعات بيانات للمرور المعتمدة على نطاق واسع:

مجموعة البياناتعدد أجهزة الاستشعارالنطاق الزمنيالخصائص
PeMSD33582018.9.9-11.30حجم المرور بفاصل 5 دقائق
PeMSD43072018.1.1-2.28حجم المرور بفاصل 5 دقائق
PeMSD78832017.5.1-2018.8.31حجم المرور بفاصل 5 دقائق
PeMSD81702018.7.1-8.31حجم المرور بفاصل 5 دقائق
PeMS-Bay3252017.1.1-5.31يتضمن معلومات الموقع الجغرافي

مؤشرات التقييم

  1. دقة التنبؤ: MAE و RMSE و MAPE
  2. الندرة: Sparsity = 1 - m/M (m عدد حواف الرسم البياني الفرعي، M عدد حواف الرسم البياني الأصلي)
  3. الكفاءة الحسابية: وقت التنبؤ واستخدام الذاكرة

طرق المقارنة

  • عشوائي: اختيار عشوائي للعقد كخط أساس
  • الارتباط: اختيار أكثر العقد استقلالية بناءً على الارتباط
  • PruneGCRN: الطريقة المقترحة في هذه الورقة

تفاصيل التنفيذ

  • محسّن: RAdam
  • تقسيم البيانات: 6:2:2 (تدريب:تحقق:اختبار)
  • حجم الدفعة: 32
  • معدل التعلم: 0.001
  • التوقف المبكر: 25 جولة

نتائج التجربة

النتائج الرئيسية

تظهر مقارنة الأداء بنسب تقليم مختلفة:

النتائج الرئيسية:

  1. معدل تقليم منخفض (25%): تظهر طريقة الارتباط أفضل أداء على بعض مجموعات البيانات
  2. معدل تقليم متوسط (50%): يبدأ PruneGCRN في إظهار مزايا
  3. معدل تقليم عالي (75%-95%): يظهر PruneGCRN أفضل أداء باستمرار

مثال على تحسين الأداء (مجموعة بيانات PeMSD4، تقليم 75%):

  • PruneGCRN MAE: 21.88
  • Correlation MAE: 23.49
  • Random MAE: 22.93

تحليل الكفاءة الحسابية

نسبة التقليمتقليل الوقتتقليل الذاكرة
50%~40%~50%
75%~55%~70%
95%~70%>90%

نتائج التحليل المكاني

من خلال تحليل التصور الجغرافي لمجموعة بيانات PeMS-Bay:

  1. أنماط اختيار العقد: يميل النموذج إلى اختيار العقد عند تقاطعات الطرق السريعة
  2. الارتباط المكاني: يظهر تحليل Moran عدم وجود ارتباط معنوي بين الخطأ والمسافة المكانية (قيمة p > 0.05)
  3. الاتساق: في 10 تدريبات مختلفة، تم اختيار عقد معينة باستمرار (عقدة واحدة بنسبة 100%، 5 عقد بنسبة أكثر من 90%)

تجارب الاستئصال

من خلال مقارنة طرق توليد القناع المختلفة، تم التحقق من:

  1. مزايا Binary Clamp مقارنة بـ Hard Concrete
  2. مزايا تقليم التكامل أثناء التدريب مقارنة بتقليم المعالجة اللاحقة
  3. أهمية تعلم المعاملات المتكيفة للعقد

الأعمال ذات الصلة

نماذج التنبؤ الزمكاني

  • DCRNN: شبكة الالتفاف المتكررة الانتشار
  • Graph WaveNet: التفاف 1D متسع مكدس مع GCN
  • STGCN: شبكة الالتفاف على الرسم البياني الزمكاني
  • AGCRN: شبكة الالتفاف على الرسم البياني المتكررة التكيفية (أساس هذه الورقة)

تقنيات القابلية للتفسير

  1. آليات الانتباه: وجود قيود في القابلية للتفسير
  2. الشبكات الأولية: تنطبق على التصنيف، تفتقد البعد الزمني
  3. الأنظمة الغامضة: دقة منخفضة
  4. SEGCRN: نموذج ذاتي التفسير يركز على تقليم الحواف

طرق تقليم الرسوم البيانية

  • FastGCN: أخذ العينات الاحتمالي
  • GraphSAGE: أخذ عينات على مستوى العقد
  • DyGNN: تقليم قائم على التشابه

الاستنتاج والنقاش

الاستنتاجات الرئيسية

  1. نجح PruneGCRN في تحقيق تقليم العقد أثناء التدريب، متفوقاً بشكل كبير على الطرق الأساسية بمعدلات تقليم عالية
  2. آلية Binary Clamp المقترحة أبسط وأكثر فعالية من Hard Concrete
  3. يمكن للنموذج تحديد العناصر الحاسمة للمشكلة، مما يوفر قابلية تفسير موجهة نحو المشكلة
  4. تقليل كبير في متطلبات الموارد الحسابية مع الحفاظ على دقة التنبؤ

القيود

  1. قيود مجموعة البيانات: التحقق الرئيسي على بيانات المرور، القابلية للتعميم على المجالات الأخرى قيد الانتظار
  2. حساسية المعاملات الفائقة: لمعامل γ تأثير كبير على الأداء
  3. تقييم القابلية للتفسير: نقص في مؤشرات تقييم القابلية للتفسير الموحدة
  4. التعقيد الزمني: على الرغم من تقليل وقت التنبؤ، قد يزداد وقت التدريب

الاتجاهات المستقبلية

  1. التطبيقات متعددة المجالات: التوسع إلى مشاكل زمكانية أخرى مثل الشبكات الاجتماعية واستهلاك الكهرباء
  2. التحليل النظري: توفير ضمانات نظرية لفعالية التقليم
  3. التقليم الديناميكي: تعديل اختيار العقد ديناميكياً بناءً على التغيرات الزمنية
  4. التقليم متعدد الحبيبات: دمج تقليم الحواف وتقليم العقد

التقييم المتعمق

المزايا

  1. ابتكار قوي: أول من يقترح نموذج قابلية تفسير موجه نحو المشكلة
  2. تقنية متينة: تصميم آلية Binary Clamp ذكي، يحل مشاكل Hard Concrete
  3. تجارب شاملة: التحقق على عدة مجموعات بيانات، يتضمن تحليل مكاني واختبارات اتساق
  4. قيمة عملية عالية: قيمة تطبيق مباشرة في إدارة المرور والمجالات الأخرى

أوجه القصور

  1. الأساس النظري: نقص التحليل النظري لسبب فعالية تقليم العقد في توفير قابلية تفسير المشكلة
  2. معايير التقييم: يعتمد تقييم القابلية للتفسير بشكل أساسي على التصور والتحليل الإحصائي، يفتقد المؤشرات الكمية
  3. المقارنة غير كافية: المقارنة مع طرق القابلية للتفسير الأخرى محدودة
  4. تحليل حساسية المعاملات: تحليل حساسية المعامل γ غير عميق بما يكفي

التأثير

  1. المساهمة الأكاديمية: فتح اتجاه جديد لبحث القابلية للتفسير في المشاكل الزمكانية
  2. القيمة العملية: آفاق تطبيق مهمة في المدن الذكية وإدارة المرور وغيرها
  3. الأهمية المنهجية: فكرة الانتقال من تفسير النموذج إلى تفسير المشكلة لها قيمة إرشادية

السيناريوهات المعمول بها

  1. التنبؤ بالمرور: تحديد نقاط المراقبة الحاسمة
  2. تحسين شبكات أجهزة الاستشعار: تحديد مواقع أجهزة الاستشعار الأكثر أهمية
  3. تخصيص الموارد: نشر النموذج عندما تكون موارد الحوسبة محدودة
  4. التخطيط الحضري: التخطيط البنية التحتية المستند إلى البيانات

المراجع

تستشهد الورقة بـ 61 مرجعاً ذا صلة، تغطي أعمالاً مهمة في مجالات متعددة مثل الذكاء الاصطناعي القابل للتفسير وشبكات الرسوم البيانية العصبية والتنبؤ الزمكاني، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذا عمل بحثي عالي الجودة في مجال التقاطع بين التنبؤ الزمكاني والذكاء الاصطناعي القابل للتفسير. على الرغم من وجود مجال للتحسين في التحليل النظري ومعايير التقييم، فإن نموذج القابلية للتفسير الموجه نحو المشكلة المبتكر والحل التقني العملي يجعله ذا قيمة أكاديمية وتطبيقية مهمة.