2025-11-16T10:43:13.528960

PruneGCRN: Minimizing and explaining spatio-temporal problems through node pruning

GarcÃa-SigÃ¼enza, Nanni, Llorens-Largo et al.

This work addresses the challenge of using a deep learning model to prune graphs and the ability of this method to integrate explainability into spatio-temporal problems through a new approach. Instead of applying explainability to the model's behavior, we seek to gain a better understanding of the problem itself. To this end, we propose a novel model that integrates an optimized pruning mechanism capable of removing nodes from the graph during the training process, rather than doing so as a separate procedure. This integration allows the architecture to learn how to minimize prediction error while selecting the most relevant nodes. Thus, during training, the model searches for the most relevant subset of nodes, obtaining the most important elements of the problem, facilitating its analysis. To evaluate the proposed approach, we used several widely used traffic datasets, comparing the accuracy obtained by pruning with the model and with other methods. The experiments demonstrate that our method is capable of retaining a greater amount of information as the graph reduces in size compared to the other methods used. These results highlight the potential of pruning as a tool for developing models capable of simplifying spatio-temporal problems, thereby obtaining their most important elements.

academic

PruneGCRN: नोड प्रूनिंग के माध्यम से स्पेसियो-टेम्पोरल समस्याओं को न्यूनतम और व्याख्या करना

मूल जानकारी

पेपर ID: 2510.10803
शीर्षक: PruneGCRN: नोड प्रूनिंग के माध्यम से स्पेसियो-टेम्पोरल समस्याओं को न्यूनतम और व्याख्या करना
लेखक: Javier García-Sigüenza, Mirco Nanni, Faraón Llorens-Largo, José F. Vicent
वर्गीकरण: cs.LG cs.AI
प्रकाशन समय: 14 अक्टूबर, 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.10803

सारांश

यह अनुसंधान गहन शिक्षण मॉडल के लिए ग्राफ प्रूनिंग की चुनौतियों को संबोधित करता है और स्पेसियो-टेम्पोरल समस्याओं में व्याख्यात्मकता को एकीकृत करने की क्षमता प्रदान करता है। मॉडल व्यवहार पर व्याख्यात्मकता लागू करने के विपरीत, यह पेपर समस्या को स्वयं बेहतर ढंग से समझने का प्रयास करता है। इसके लिए, एक नवीन मॉडल प्रस्तावित किया गया है जो अनुकूलित प्रूनिंग तंत्र को एकीकृत करता है, जो प्रशिक्षण प्रक्रिया के दौरान ग्राफ से नोड्स को हटा सकता है, न कि एक अलग प्रोग्राम के रूप में। यह एकीकरण आर्किटेक्चर को सबसे प्रासंगिक नोड्स का चयन करते हुए पूर्वानुमान त्रुटि को न्यूनतम करने का तरीका सीखने की अनुमति देता है। इसलिए, प्रशिक्षण प्रक्रिया के दौरान, मॉडल सबसे प्रासंगिक नोड्स का सबसेट खोजता है, समस्या के सबसे महत्वपूर्ण तत्वों को प्राप्त करता है, विश्लेषण को सुविधाजनक बनाता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान मुख्य रूप से स्पेसियो-टेम्पोरल पूर्वानुमान समस्याओं में व्याख्यात्मकता की चुनौतियों को संबोधित करता है, विशेष रूप से यातायात पूर्वानुमान जैसे अनुप्रयोगों में। पारंपरिक व्याख्यात्मकता विधियां मुख्य रूप से मॉडल के व्यवहार को समझने पर केंद्रित हैं, जबकि यह पेपर एक नया प्रतिमान प्रस्तावित करता है: समस्या के सबसे महत्वपूर्ण तत्वों की पहचान करके समस्या को स्वयं समझना।

समस्या की महत्ता

AI पारदर्शिता की आवश्यकता: AI के व्यापक अनुप्रयोग के साथ, विशेष रूप से उच्च जोखिम वाले क्षेत्रों (चिकित्सा, वित्त, स्वायत्त ड्राइविंग) में, व्याख्यात्मकता महत्वपूर्ण हो गई है
स्पेसियो-टेम्पोरल समस्या की जटिलता: ग्राफ न्यूरल नेटवर्क (GNN) और पुनरावर्ती न्यूरल नेटवर्क (RNN) को जोड़ने वाले स्पेसियो-टेम्पोरल मॉडल की जटिलता अधिक है, पारंपरिक व्याख्यात्मकता विधियां लागू करना कठिन है
व्यावहारिक अनुप्रयोग मूल्य: यातायात पूर्वानुमान में, सबसे महत्वपूर्ण सेंसर स्थानों की पहचान शहरी योजना और यातायात प्रबंधन के लिए महत्वपूर्ण है

मौजूदा विधियों की सीमाएं

ध्यान तंत्र: "संयोजन शॉर्टकट" समस्या मौजूद है, अप्रासंगिक टोकन पर ध्यान केंद्रित कर सकता है
प्रोटोटाइप नेटवर्क: मुख्य रूप से वर्गीकरण कार्यों के लिए उपयुक्त, समय आयाम शामिल नहीं है
फजी सिस्टम: सटीकता कम है, गहन शिक्षा के साथ संयोजन के बाद जटिलता बढ़ जाती है
पोस्ट-होक व्याख्यात्मकता विधियां: आमतौर पर प्रदर्शन को नुकसान पहुंचाती हैं, मुख्य रूप से स्थानिक आयाम पर ध्यान केंद्रित करती हैं

मुख्य योगदान

PruneGCRN मॉडल प्रस्तावित करना: एक नवीन ग्राफ कनवोल्यूशनल रिकरेंट नेटवर्क जो नोड प्रूनिंग तंत्र को एकीकृत करता है
व्याख्यात्मकता का नवीन प्रतिमान: मॉडल व्यवहार को समझने से समस्या को स्वयं समझने की ओर स्थानांतरण
प्रशिक्षण-समय एकीकृत प्रूनिंग: नोड चयन को प्रशिक्षण प्रक्रिया में एकीकृत करना, न कि एक स्वतंत्र पोस्ट-प्रोसेसिंग चरण के रूप में
Binary Clamp तकनीक: Hard Concrete की तुलना में सरल और प्रभावी मास्क जनरेशन विधि प्रस्तावित करना
प्रायोगिक सत्यापन: कई यातायात डेटासेट पर विधि की प्रभावशीलता का सत्यापन

विधि विवरण

कार्य परिभाषा

एक स्पेसियो-टेम्पोरल ग्राफ अनुक्रम दिया गया है, जहां प्रत्येक नोड एक स्थानिक स्थान (जैसे यातायात सेंसर) का प्रतिनिधित्व करता है, कार्य है:

भविष्य के समय चरणों में नोड मानों का पूर्वानुमान करना
एक मास्क सीखना जो पूर्वानुमान के लिए सबसे महत्वपूर्ण नोड्स के सबसेट की पहचान करता है
उपयोग किए गए नोड्स की संख्या को कम करते हुए पूर्वानुमान सटीकता बनाए रखना

मॉडल आर्किटेक्चर

PruneGCRN मॉडल दो मुख्य मॉड्यूल शामिल करता है:

1. नोड अनुकूली पैरामीटर लर्निंग मॉड्यूल (NAPL)

NAPL मॉड्यूल नोड एम्बेडिंग के माध्यम से विशिष्ट पैटर्न के लिए फिल्टर सीखता है:

Θ = EN · WN
b = EN · bN

जहां:

EN ∈ R^(n×d): नोड एम्बेडिंग मैट्रिक्स
WN ∈ R^(d×c×f): साझा वजन
bN: साझा पूर्वाग्रह

संशोधित ग्राफ कनवोल्यूशन ऑपरेशन:

Z = (IN + D^(-1/2)AD^(-1/2))XENWN + ENbN

2. प्रूनिंग ग्राफ लर्निंग मॉड्यूल (PGL)

PGL मॉड्यूल नोड चयन के लिए मास्क M̃ उत्पन्न करता है:

मास्क जनरेशन प्रवाह:

Raw Mask: 1 के फ्लोटिंग पॉइंट मान के साथ प्रारंभिक मास्क
Binary Clamp: <0 मानों को 0 पर सेट करना, >0 मानों को 1 पर सेट करना
Inverse Mask: विपरीत मास्क की गणना
Graph Bias: मास्क किए गए नोड्स के लिए वैकल्पिक मान सीखना

Binary Clamp के लाभ:

Hard Concrete की तुलना में सरल
प्रशिक्षण और सत्यापन समय में सुसंगत व्यवहार
एकल-चरण नोड चयन अनुकूलन

3. संपूर्ण PruneGCRN आर्किटेक्चर

NAPL और PGL मॉड्यूल को GRU में एकीकृत करना:

zt = σ(L̃[X̃:,t, ht-1]ENWzr + Ebzr)
rt = σ(In[X̃:,t, ht-1]ENWzr + Ebzr)  
ĥt = tanh([In + L̃][X̃:,t, r ⊙ ht-1]ENWĥ + ENbĥ)
ht = zt ⊙ ĥt-1 + (1-zt) ⊙ ĥt-1

तकनीकी नवाचार बिंदु

प्रशिक्षण-समय नोड प्रूनिंग: पारंपरिक पोस्ट-प्रोसेसिंग प्रूनिंग के विपरीत, PruneGCRN प्रशिक्षण प्रक्रिया के दौरान पूर्वानुमान सटीकता और नोड चयन दोनों को अनुकूलित करता है
Binary Clamp तंत्र: SEGCRN द्वारा उपयोग किए गए Hard Concrete की तुलना में अधिक स्थिर और सरल मास्क जनरेशन प्रदान करता है
समस्या-उन्मुख व्याख्यात्मकता: मॉडल व्यवहार के बजाय समस्या के महत्वपूर्ण तत्वों की पहचान पर ध्यान केंद्रित करता है
संयुक्त अनुकूलन: हानि फ़ंक्शन के माध्यम से पूर्वानुमान त्रुटि और नोड उपयोग दोनों पर विचार करना

प्रायोगिक सेटअप

डेटासेट

5 व्यापक रूप से अपनाए गए यातायात डेटासेट का उपयोग:

डेटासेट	सेंसर संख्या	समय सीमा	विशेषता
PeMSD3	358	2018.9.9-11.30	5 मिनट अंतराल यातायात प्रवाह
PeMSD4	307	2018.1.1-2.28	5 मिनट अंतराल यातायात प्रवाह
PeMSD7	883	2017.5.1-2018.8.31	5 मिनट अंतराल यातायात प्रवाह
PeMSD8	170	2018.7.1-8.31	5 मिनट अंतराल यातायात प्रवाह
PeMS-Bay	325	2017.1.1-5.31	भौगोलिक स्थान जानकारी शामिल

मूल्यांकन मेट्रिक्स

पूर्वानुमान सटीकता: MAE, RMSE, MAPE
विरलता: Sparsity = 1 - m/M (m उप-ग्राफ किनारों की संख्या, M मूल ग्राफ किनारों की संख्या)
कम्प्यूटेशनल दक्षता: पूर्वानुमान समय और मेमोरी उपयोग

तुलना विधियां

Random: आधार रेखा के रूप में नोड्स का यादृच्छिक चयन
Correlation: सबसे स्वतंत्र नोड्स का चयन करने के लिए सहसंबंध-आधारित
PruneGCRN: इस पेपर द्वारा प्रस्तावित विधि

कार्यान्वयन विवरण

अनुकूलक: RAdam
डेटा विभाजन: 6:2:2 (प्रशिक्षण:सत्यापन:परीक्षण)
बैच आकार: 32
सीखने की दर: 0.001
प्रारंभिक रोकना: 25 राउंड

प्रायोगिक परिणाम

मुख्य परिणाम

विभिन्न प्रूनिंग अनुपातों के तहत प्रदर्शन तुलना दिखाती है:

मुख्य निष्कर्ष:

कम प्रूनिंग दर (25%): कुछ डेटासेट पर सहसंबंध विधि सर्वश्रेष्ठ प्रदर्शन करती है
मध्यम प्रूनिंग दर (50%): PruneGCRN लाभ दिखाना शुरू करता है
उच्च प्रूनिंग दर (75%-95%): PruneGCRN हमेशा सर्वश्रेष्ठ प्रदर्शन करता है

प्रदर्शन वृद्धि उदाहरण (PeMSD4 डेटासेट, 75% प्रूनिंग):

PruneGCRN MAE: 21.88
Correlation MAE: 23.49
Random MAE: 22.93

कम्प्यूटेशनल दक्षता विश्लेषण

प्रूनिंग अनुपात	समय में कमी	मेमोरी में कमी
50%	~40%	~50%
75%	~55%	~70%
95%	~70%	>90%

स्थानिक विश्लेषण परिणाम

PeMS-Bay डेटासेट के भौगोलिक दृश्य विश्लेषण के माध्यम से:

नोड चयन पैटर्न: मॉडल राजमार्ग चौराहों पर नोड्स का चयन करने का प्रवृत्ति रखता है
स्थानिक सहसंबंध: Moran सूचकांक विश्लेषण दिखाता है कि त्रुटि स्थानिक दूरी के साथ महत्वपूर्ण रूप से संबंधित नहीं है (p मान >0.05)
सुसंगतता: 10 विभिन्न प्रशिक्षणों में, कुछ नोड्स को लगातार चुना जाता है (1 नोड 100% चुना जाता है, 5 नोड्स 90% से अधिक चुने जाते हैं)

विलोपन प्रयोग

विभिन्न मास्क जनरेशन विधियों की तुलना के माध्यम से सत्यापित किया गया:

Hard Concrete की तुलना में Binary Clamp के लाभ
पोस्ट-प्रोसेसिंग प्रूनिंग की तुलना में प्रशिक्षण-समय एकीकृत प्रूनिंग के लाभ
नोड अनुकूली पैरामीटर लर्निंग की महत्ता

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

PruneGCRN ने प्रशिक्षण-समय नोड प्रूनिंग को सफलतापूर्वक लागू किया है, उच्च प्रूनिंग दरों पर आधार रेखा विधियों से महत्वपूर्ण रूप से बेहतर है
प्रस्तावित Binary Clamp तंत्र Hard Concrete की तुलना में सरल और अधिक प्रभावी है
मॉडल समस्या के महत्वपूर्ण तत्वों की पहचान कर सकता है, समस्या-उन्मुख व्याख्यात्मकता प्रदान करता है
पूर्वानुमान सटीकता बनाए रखते हुए कम्प्यूटेशनल संसाधन आवश्यकताओं में काफी कमी

सीमाएं

डेटासेट सीमाएं: मुख्य रूप से यातायात डेटा पर सत्यापित, अन्य क्षेत्रों में सामान्यीकरण क्षमता प्रतीक्षा में है
हाइपरपैरामीटर संवेदनशीलता: γ पैरामीटर की सेटिंग प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती है
व्याख्यात्मकता मूल्यांकन: मानकीकृत व्याख्यात्मकता मूल्यांकन मेट्रिक्स की कमी
समय जटिलता: हालांकि पूर्वानुमान समय कम हुआ है, प्रशिक्षण समय बढ़ सकता है

भविष्य की दिशाएं

बहु-क्षेत्र अनुप्रयोग: सामाजिक नेटवर्क, विद्युत खपत आदि अन्य स्पेसियो-टेम्पोरल समस्याओं तक विस्तार
सैद्धांतिक विश्लेषण: प्रूनिंग प्रभावशीलता के लिए सैद्धांतिक गारंटी प्रदान करना
गतिशील प्रूनिंग: समय परिवर्तन के अनुसार नोड चयन को गतिशील रूप से समायोजित करना
बहु-दानेदारी प्रूनिंग: किनारे प्रूनिंग और नोड प्रूनिंग को संयोजित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: समस्या-उन्मुख व्याख्यात्मकता प्रतिमान पहली बार प्रस्तावित
ठोस तकनीक: Binary Clamp तंत्र डिजाइन चतुर है, Hard Concrete की समस्याओं को हल करता है
व्यापक प्रयोग: बहु-डेटासेट सत्यापन, स्थानिक विश्लेषण और सुसंगतता जांच शामिल
उच्च व्यावहारिक मूल्य: यातायात प्रबंधन आदि क्षेत्रों में सीधे अनुप्रयोग मूल्य

कमियां

सैद्धांतिक आधार: नोड प्रूनिंग समस्या व्याख्यात्मकता प्रदान करने का कारण बताने वाला सैद्धांतिक विश्लेषण अनुपस्थित है
मूल्यांकन मानक: व्याख्यात्मकता मूल्यांकन मुख्य रूप से दृश्य और सांख्यिकीय विश्लेषण पर निर्भर है, मात्रात्मक मेट्रिक्स की कमी
अपर्याप्त तुलना: अन्य व्याख्यात्मकता विधियों के साथ तुलना सीमित है
पैरामीटर संवेदनशीलता: हाइपरपैरामीटर γ के प्रति संवेदनशीलता विश्लेषण पर्याप्त नहीं है

प्रभाव

शैक्षणिक योगदान: स्पेसियो-टेम्पोरल समस्याओं की व्याख्यात्मकता अनुसंधान के लिए नई दिशा खोलता है
व्यावहारिक मूल्य: स्मार्ट शहर, यातायात प्रबंधन आदि क्षेत्रों में महत्वपूर्ण अनुप्रयोग संभावनाएं
पद्धति संबंधी महत्व: मॉडल व्याख्या से समस्या व्याख्या की ओर सोच प्रेरणादायक है

लागू परिदृश्य

यातायात पूर्वानुमान: महत्वपूर्ण निगरानी बिंदु स्थानों की पहचान
सेंसर नेटवर्क अनुकूलन: सबसे महत्वपूर्ण सेंसर स्थानों का निर्धारण
संसाधन आवंटन: कम्प्यूटेशनल संसाधन सीमित होने पर मॉडल तैनाती
शहरी योजना: डेटा-संचालित बुनियादी ढांचा योजना

संदर्भ

पेपर ने 61 संबंधित संदर्भों का हवाला दिया है, जो व्याख्यात्मक AI, ग्राफ न्यूरल नेटवर्क, स्पेसियो-टेम्पोरल पूर्वानुमान आदि कई क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह स्पेसियो-टेम्पोरल पूर्वानुमान और व्याख्यात्मक AI के प्रतिच्छेदन क्षेत्र में एक उच्च-गुणवत्ता वाला अनुसंधान कार्य है। हालांकि सैद्धांतिक विश्लेषण और मूल्यांकन मानकों में सुधार की गुंजाइश है, इसका नवीन समस्या-उन्मुख व्याख्यात्मकता प्रतिमान और व्यावहारिक तकनीकी समाधान इसे महत्वपूर्ण शैक्षणिक और अनुप्रयोग मूल्य प्रदान करते हैं।