2025-11-21T08:58:16.449112

The Interpretable and Effective Graph Neural Additive Networks

Bechler-Speicher, Globerson, Gilad-Bachrach

Graph Neural Networks (GNNs) have emerged as the predominant approach for learning over graph-structured data. However, most GNNs operate as black-box models and require post-hoc explanations, which may not suffice in high-stakes scenarios where transparency is crucial. In this paper, we present a GNN that is interpretable by design. Our model, Graph Neural Additive Network (GNAN), is a novel extension of the interpretable class of Generalized Additive Models, and can be visualized and fully understood by humans. GNAN is designed to be fully interpretable, offering both global and local explanations at the feature and graph levels through direct visualization of the model. These visualizations describe exactly how the model uses the relationships between the target variable, the features, and the graph. We demonstrate the intelligibility of GNANs in a series of examples on different tasks and datasets. In addition, we show that the accuracy of GNAN is on par with black-box GNNs, making it suitable for critical applications where transparency is essential, alongside high accuracy.

academic

व्याख्यायोग्य और प्रभावी ग्राफ न्यूरल एडिटिव नेटवर्क

मूल जानकारी

पेपर ID: 2406.01317
शीर्षक: व्याख्यायोग्य और प्रभावी ग्राफ न्यूरल एडिटिव नेटवर्क
लेखक: Maya Bechler-Speicher, Amir Globerson, Ran Gilad-Bachrach
वर्गीकरण: cs.LG cs.AI
प्रकाशन सम्मेलन: NeurIPS 2024 (38वां न्यूरल इनफॉर्मेशन प्रोसेसिंग सिस्टम्स सम्मेलन)
पेपर लिंक: https://arxiv.org/abs/2406.01317

सारांश

ग्राफ न्यूरल नेटवर्क (GNNs) ग्राफ संरचित डेटा सीखने के लिए मुख्य विधि बन गए हैं, लेकिन अधिकांश GNNs ब्लैक बॉक्स मॉडल के रूप में काम करते हैं, जिन्हें पश्चात व्याख्या की आवश्यकता होती है, जो उच्च-जोखिम परिदृश्यों में पारदर्शिता की आवश्यकता होने पर अपर्याप्त हो सकता है। यह पेपर एक डिज़ाइन-समय व्याख्यायोग्य GNN मॉडल प्रस्तावित करता है—ग्राफ न्यूरल एडिटिव नेटवर्क (GNAN), जो व्याख्यायोग्य सामान्यीकृत एडिटिव मॉडल वर्ग का एक नया विस्तार है, जिसे मानव द्वारा दृश्यमान और पूरी तरह समझा जा सकता है। GNAN विशेषता-स्तर और ग्राफ-स्तर पर वैश्विक और स्थानीय व्याख्याएं प्रदान करता है, मॉडल के प्रत्यक्ष दृश्यांकन के माध्यम से यह वर्णित करता है कि मॉडल लक्ष्य चर, विशेषताओं और ग्राफ के बीच संबंधों का उपयोग कैसे करता है। प्रयोग दर्शाते हैं कि GNAN की सटीकता ब्लैक बॉक्स GNNs के समान है, जो पारदर्शिता और उच्च सटीकता की आवश्यकता वाले महत्वपूर्ण अनुप्रयोगों के लिए उपयुक्त है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मुख्य समस्या: मौजूदा GNNs में व्याख्यायोग्यता की कमी है, चिकित्सा, वित्त, आपराधिक न्याय जैसे उच्च-जोखिम क्षेत्रों में अनुप्रयोग सीमित हैं
पारदर्शिता आवश्यकता: EU GDPR और AI अधिनियम जैसे नियम उच्च-जोखिम AI प्रणालियों के लिए पारदर्शिता की आवश्यकता करते हैं
मौजूदा व्याख्या विधियों की सीमाएं:
- पश्चात व्याख्या विधियां (जैसे SHAP, LIME) सही होने की गारंटी नहीं देती हैं
- स्थानीय व्याख्याएं वैश्विक व्याख्याओं के साथ असंगत हो सकती हैं
- मॉडल का पूर्ण विवरण प्रदान नहीं कर सकते हैं

अनुसंधान प्रेरणा

व्याख्यायोग्यता बनाम सटीकता: पारंपरिक विचार मानता है कि व्याख्यायोग्य मॉडल आमतौर पर कम सटीकता वाले होते हैं, यह पेपर इस विचार को चुनौती देता है
डिज़ाइन-समय व्याख्यायोग्यता: पश्चात व्याख्या की तुलना में, डिज़ाइन-समय व्याख्यायोग्य मॉडल अधिक विश्वसनीय हैं
नियामक अनुपालन: बढ़ती कठोर AI पारदर्शिता नियामक आवश्यकताओं को पूरा करना

मुख्य योगदान

सैद्धांतिक योगदान: सामान्यीकृत एडिटिव मॉडल (GAMs) को ग्राफ डेटा तक विस्तारित करना, GNAN आर्किटेक्चर प्रस्तावित करना
विधि योगदान: पूरी तरह व्याख्यायोग्य ग्राफ भविष्यवाणी मॉडल डिज़ाइन करना, वैश्विक और स्थानीय व्याख्या क्षमता प्रदान करना
अनुभवजन्य योगदान: कई वास्तविक डेटासेट पर GNAN के प्रदर्शन को ब्लैक बॉक्स GNNs के समान साबित करना
व्यावहारिक योगदान: सीधे दृश्यमान मॉडल डिबगिंग और सत्यापन क्षमता प्रदान करना

विधि विवरण

कार्य परिभाषा

इनपुट: ग्राफ G में N नोड्स हैं, प्रत्येक नोड i से d-आयामी विशेषता वेक्टर xi ∈ ℝd जुड़ा है
आउटपुट: नोड-स्तर भविष्यवाणी या ग्राफ-स्तर भविष्यवाणी
दूरी परिभाषा: dist(j,i) नोड j से नोड i तक की सबसे छोटी पथ किनारों की संख्या है

मॉडल आर्किटेक्चर

मुख्य डिज़ाइन विचार

GNAN दूरी फ़ंक्शन ρ(x;θ): ℝ → ℝ और विशेषता आकार फ़ंक्शन {fk}^d_, fk(x;θk): ℝ → ℝ सीखकर नोड प्रतिनिधित्व उत्पन्न करता है।

नोड प्रतिनिधित्व गणना

नोड i की k-वीं विशेषता प्रतिनिधित्व है:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) · fk([xj]k)

जहां:

#disti(j,i): नोड i से dist(j,i) दूरी पर नोड्स की संख्या
ρ(1/(1+dist(j,i))): दूरी भार फ़ंक्शन
fk([xj]k): k-वीं विशेषता का आकार फ़ंक्शन

भविष्यवाणी गणना

नोड भविष्यवाणी: σ(Σ(k=1 to d)[hi]k)
ग्राफ भविष्यवाणी: पहले योग पूलिंग के माध्यम से ग्राफ प्रतिनिधित्व h = Σ(i=1 to N)hi प्राप्त करें, फिर σ(Σ(k=1 to d)[h]k) की गणना करें

बहु-वर्ग वर्गीकरण विस्तार

C-वर्ग वर्गीकरण के लिए, विशेषता फ़ंक्शन और दूरी फ़ंक्शन C-आयामी वेक्टर आउटपुट करते हैं, तत्व-वार गुणन का उपयोग करके संयोजन करते हैं:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) ⊙ fk([xj]k)

तकनीकी नवाचार बिंदु

एडिटिव संरचना: विशेषताओं और ग्राफ टोपोलॉजी के क्रॉस-उत्पाद से बचना, व्याख्यायोग्यता बनाए रखना
दूरी मॉडलिंग: नोड्स के बीच दूरी के भविष्यवाणी पर प्रभाव को स्पष्ट रूप से मॉडल करना
वैश्विक सूचना प्रवाह: प्रत्येक नोड पूरे ग्राफ से जानकारी एकत्र करता है, संदेश पारण की बाधा से बचना
पूर्ण दृश्यांकन: मॉडल को कुछ फ़ंक्शन ग्राफ के माध्यम से पूरी तरह वर्णित किया जा सकता है

प्रयोग सेटअप

डेटासेट

नोड वर्गीकरण कार्य

उद्धरण नेटवर्क: Cora, Citeseer, PubMed, ogb-arxiv
विषम डेटा: Cornell, Tolokers

ग्राफ वर्गीकरण कार्य

रासायनिक अणु: NCI1, Proteins, Mutagen, PTC
दीर्घ-श्रेणी आणविक गुण: μ, α, αHOMO (QM9 डेटासेट)

मूल्यांकन मेट्रिक्स

वर्गीकरण कार्य: सटीकता (Accuracy)
प्रतिगमन कार्य: माध्य निरपेक्ष त्रुटि (MAE)
द्विआधारी वर्गीकरण: ROC-AUC

तुलनात्मक विधियां

GraphConv, GraphSAGE, GIN
GATv2, Graph Transformer
FSGNN (विशेषता-ग्राफ विघटन मॉडल)

कार्यान्वयन विवरण

अनुकूलक: Adam
प्रशिक्षण राउंड: 1000 epochs
प्रारंभिक रोकना: सत्यापन हानि 100 चरणों में कोई सुधार नहीं
नेटवर्क संरचना: 3-5 परत MLP, ReLU सक्रियण
छिपा हुआ आयाम: 32-64

प्रयोग परिणाम

मुख्य परिणाम

13 कार्यों में, GNAN 9 कार्यों पर सर्वश्रेष्ठ या दूसरे सर्वश्रेष्ठ प्रदर्शन करता है:

कार्य प्रकार	डेटासेट	GNAN प्रदर्शन	सर्वश्रेष्ठ आधार
नोड वर्गीकरण	Cornell	85.7±4.8%	FSGNN: 86.0±4.1%
नोड वर्गीकरण	Tolokers	84.5±0.9%	GATv2: 83.8±1.1%
ग्राफ वर्गीकरण	Mutagen	72.2±1.0%	GTransformer: 73.1±0.9%
दीर्घ-श्रेणी प्रतिगमन	μ	2.55±0.1	GIN: 2.60±0.1
दीर्घ-श्रेणी प्रतिगमन	α	4.28±0.9	GTransformer: 4.30±0.5

मुख्य निष्कर्ष

दीर्घ-श्रेणी कार्य लाभ: GNAN दीर्घ-श्रेणी आणविक गुण भविष्यवाणी कार्यों पर उत्कृष्ट प्रदर्शन करता है, वैश्विक सूचना प्रवाह के लाभ को सत्यापित करता है
प्रदर्शन रखरखाव: सीमित क्षमता के बावजूद, GNAN का प्रदर्शन अधिक जटिल GNNs के समान है
कम्प्यूटेशनल दक्षता: पुनरावृत्तीय संदेश पारण से बचना, कम्प्यूटेशनल बाधा को कम करना

व्याख्यायोग्यता प्रदर्शन

वैश्विक व्याख्या

दूरी फ़ंक्शन ρ और विशेषता फ़ंक्शन {fk} के दृश्यांकन के माध्यम से मॉडल को पूरी तरह वर्णित करना:

Mutagenicity डेटासेट:
- दूरी फ़ंक्शन दूरस्थ परमाणुओं के प्रभाव में कमी दिखाता है
- विशेषता फ़ंक्शन Ca, Na, Li परमाणु उत्परिवर्तनशीलता बढ़ाते हैं
- N, P परमाणु हल्के सुरक्षात्मक प्रभाव रखते हैं
PubMed डेटासेट:
- तीन प्रकार के मधुमेह के लिए दूरी फ़ंक्शन में स्पष्ट अंतर
- विशेषता फ़ंक्शन जटिल गैर-एकरस संबंध प्रदर्शित करते हैं
- "insulin" शब्द आवृत्ति विभिन्न प्रकार के मधुमेह को अलग तरीके से प्रभावित करती है

स्थानीय व्याख्या

नोड महत्व दृश्यांकन के माध्यम से विशिष्ट अणु:

कार्बन वलय संरचना उत्परिवर्तनशील अणुओं में उच्च महत्व रखती है
NO2 समूह को सही तरीके से उत्परिवर्तनशील कारक के रूप में पहचाना जाता है

डिबगिंग क्षमता

सत्यापित करना कि मॉडल पूर्व ज्ञान के अनुसार सीखता है या नहीं
संभावित पूर्वाग्रह और सुरक्षा जोखिम की पहचान करना
मॉडल चयन और अनुकूलन का समर्थन करना

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

व्याख्यायोग्यता को सटीकता की कीमत पर नहीं होना चाहिए
डिज़ाइन-समय व्याख्या पश्चात व्याख्या से अधिक विश्वसनीय है
कई वास्तविक ग्राफ समस्याएं अपेक्षा से सरल हैं, जटिल मॉडल की आवश्यकता नहीं है

सीमाएं

क्षमता सीमा: एडिटिव संरचना मॉडल अभिव्यक्ति क्षमता को सीमित करती है
विशेषता इंटरैक्शन: विशेषताओं के बीच जटिल इंटरैक्शन को मॉडल नहीं कर सकता
ग्राफ संरचना: अत्यधिक जटिल ग्राफ पैटर्न के लिए पर्याप्त संवेदनशील नहीं हो सकता
दृश्यांकन जटिलता: उच्च-आयामी विशेषताओं के समय दृश्यांकन कठिन

भविष्य की दिशाएं

तकनीकी सुधार:
- Kolmogorov-Arnold Networks को एकीकृत करके सुचारू फ़ंक्शन प्राप्त करना
- प्रत्येक विशेषता के लिए स्वतंत्र दूरी फ़ंक्शन सीखना
- विशेषता उपयोग को कम करने के लिए नियमितकरण की खोज करना
अनुप्रयोग विस्तार:
- जैविक नेटवर्क डेटासेट अनुप्रयोग
- प्रोटीन अंतःक्रिया नेटवर्क
- वैज्ञानिक खोज समर्थन उपकरण

गहन मूल्यांकन

लाभ

मजबूत नवाचार: पहली बार GAMs को ग्राफ डेटा तक विस्तारित करना, महत्वपूर्ण अंतराल भरना
ठोस सैद्धांतिक आधार: परिपक्व GAMs सिद्धांत पर आधारित, उचित डिज़ाइन
उच्च व्यावहारिक मूल्य: उच्च-जोखिम अनुप्रयोगों की व्याख्यायोग्यता आवश्यकता को सीधे पूरा करना
पर्याप्त प्रयोग: कई कार्य और डेटासेट को कवर करना, व्यापक तुलना
उत्कृष्ट दृश्यांकन: सहज, पूर्ण मॉडल व्याख्या प्रदान करना

कमियां

विधि सीमा: एडिटिव धारणा बहुत मजबूत है, महत्वपूर्ण विशेषता इंटरैक्शन को याद कर सकता है
लागू श्रेणी: जटिल विशेषता इंटरैक्शन की आवश्यकता वाले कार्यों पर खराब प्रदर्शन हो सकता है
सैद्धांतिक विश्लेषण: अभिव्यक्ति क्षमता का सैद्धांतिक विश्लेषण की कमी
विस्तारशीलता: उच्च-आयामी विशेषताओं के समय व्याख्यायोग्यता और कम्प्यूटेशनल दक्षता समस्याएं

प्रभाव

शैक्षणिक योगदान: व्याख्यायोग्य GNN के लिए नई दिशा खोलना
व्यावहारिक मूल्य: उच्च-जोखिम AI अनुप्रयोगों के लिए व्यावहारिक समाधान प्रदान करना
नीति महत्व: AI नियामक प्रवृत्ति के अनुरूप, महत्वपूर्ण वास्तविक महत्व
पुनरुत्पादनशीलता: कोड खुला स्रोत है, बाद के अनुसंधान को सुविधाजनक बनाता है

लागू परिदृश्य

उच्च-जोखिम अनुप्रयोग: चिकित्सा निदान, वित्तीय जोखिम नियंत्रण, न्यायिक निर्णय
वैज्ञानिक अनुसंधान: आणविक गुण भविष्यवाणी, दवा खोज
नियामक अनुपालन: व्याख्यायोग्यता आवश्यकताओं को पूरा करने की आवश्यकता वाले वाणिज्यिक अनुप्रयोग
शिक्षा प्रशिक्षण: GNN सिद्धांत शिक्षण और समझ

संदर्भ

मुख्य संबंधित कार्य:

Hastie & Tibshirani (1986): सामान्यीकृत एडिटिव मॉडल मूल सिद्धांत
Agarwal et al. (2021): न्यूरल एडिटिव मॉडल
Ying et al. (2019): GNNExplainer - GNN पश्चात व्याख्या विधि
Rudin (2019): व्याख्यायोग्य मॉडल बनाम ब्लैक बॉक्स व्याख्या विवाद

सारांश: इस पेपर द्वारा प्रस्तावित GNAN व्याख्यायोग्य AI क्षेत्र में एक महत्वपूर्ण योगदान है, जो ग्राफ सीखने के कार्यों में व्याख्यायोग्यता और सटीकता दोनों को प्राप्त करने में सफलतापूर्वक साबित करता है। हालांकि अभिव्यक्ति क्षमता की सैद्धांतिक सीमाएं हैं, लेकिन इसका व्यावहारिक अनुप्रयोग मूल्य, विशेष रूप से पारदर्शिता की आवश्यकता वाले उच्च-जोखिम परिदृश्यों में, इसे इस क्षेत्र में एक महत्वपूर्ण प्रगति बनाता है।