2025-11-25T17:22:18.138717

Assessing reliability of explanations in unbalanced datasets: a use-case on the occurrence of frost events

Vascotto, Blasone, Rodriguez et al.

The usage of eXplainable Artificial Intelligence (XAI) methods has become essential in practical applications, given the increasing deployment of Artificial Intelligence (AI) models and the legislative requirements put forward in the latest years. A fundamental but often underestimated aspect of the explanations is their robustness, a key property that should be satisfied in order to trust the explanations. In this study, we provide some preliminary insights on evaluating the reliability of explanations in the specific case of unbalanced datasets, which are very frequent in high-risk use-cases, but at the same time considerably challenging for both AI models and XAI methods. We propose a simple evaluation focused on the minority class (i.e. the less frequent one) that leverages on-manifold generation of neighbours, explanation aggregation and a metric to test explanation consistency. We present a use-case based on a tabular dataset with numerical features focusing on the occurrence of frost events.

academic

असंतुलित डेटासेट में व्याख्याओं की विश्वसनीयता का आकलन: पाले की घटनाओं की घटना पर एक उपयोग-केस

मूल जानकारी

पेपर ID: 2507.09545
शीर्षक: असंतुलित डेटासेट में व्याख्याओं की विश्वसनीयता का आकलन: पाले की घटनाओं की घटना पर एक उपयोग-केस
लेखक: इलारिया वास्कोटो, वेलेंटीना ब्लासोन, एलेक्स रोड्रिग्ज, एलेसांड्रो बोनैता, लुका बोर्टोलुसी
वर्गीकरण: cs.LG (मशीन लर्निंग)
प्रकाशन समय/सम्मेलन: देर से प्रस्तुत कार्य, 3rd विश्व सम्मेलन व्याख्यायोग्य कृत्रिम बुद्धिमत्ता पर (9-11 जुलाई, 2025, इस्तांबुल, तुर्की)
पेपर लिंक: https://arxiv.org/abs/2507.09545

सारांश

व्याख्यायोग्य कृत्रिम बुद्धिमत्ता (XAI) विधियों का उपयोग व्यावहारिक अनुप्रयोगों में महत्वपूर्ण हो गया है, जो कृत्रिम बुद्धिमत्ता मॉडल के बढ़ते प्रसार और हाल के वर्षों में प्रस्तावित विधायी आवश्यकताओं के कारण है। व्याख्याओं की मजबूती एक मौलिक लेकिन अक्सर कम आंकी गई पहलू है, जो व्याख्याओं में विश्वास के लिए एक महत्वपूर्ण विशेषता है। यह अनुसंधान असंतुलित डेटासेट के विशेष मामले में व्याख्या विश्वसनीयता के आकलन पर कुछ प्रारंभिक अंतर्दृष्टि प्रदान करता है। असंतुलित डेटासेट उच्च जोखिम वाले उपयोग-केस में बहुत आम हैं, लेकिन साथ ही AI मॉडल और XAI विधियों दोनों के लिए काफी चुनौतियां प्रस्तुत करते हैं। हम एक सरल मूल्यांकन विधि प्रस्तावित करते हैं जो अल्पसंख्यक वर्ग (अर्थात्, कम आवृत्ति वाली श्रेणी) पर केंद्रित है, जो मैनिफोल्ड पर पड़ोसी पीढ़ी, व्याख्या एकत्रीकरण और परीक्षण व्याख्या सामंजस्य के उपायों का उपयोग करता है। हमने संख्यात्मक विशेषताओं के साथ सारणीबद्ध डेटासेट के आधार पर पाले की घटनाओं की घटना को उपयोग-केस के रूप में प्रदर्शित किया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा समाधान की जाने वाली मूल समस्या है: असंतुलित डेटासेट में XAI व्याख्याओं की विश्वसनीयता का आकलन कैसे करें। विशेष रूप से, जब डेटासेट में अल्पसंख्यक वर्ग के नमूने बहुत कम हों, तो पारंपरिक व्याख्या विधियां अविश्वसनीय परिणाम दे सकती हैं।

महत्व विश्लेषण

विधायी आवश्यकताएं: GDPR और AI Act जैसे नियम उच्च जोखिम वाले अनुप्रयोगों के लिए पारदर्शिता की आवश्यकता रखते हैं
व्यावहारिक आवश्यकता: चिकित्सा, जलवायु, धोखाधड़ी पहचान आदि उच्च जोखिम वाले क्षेत्र अक्सर असंतुलित डेटा समस्याओं का सामना करते हैं
विश्वास संकट: असंतुलित डेटासेट पर, भले ही मॉडल 99% सटीकता प्राप्त करे, यह केवल बहुसंख्यक वर्ग की सरल भविष्यवाणी कर सकता है

मौजूदा विधियों की सीमाएं

LIME और SHAP जैसी विधियां असंतुलित डेटासेट पर खराब मजबूती प्रदर्शित करती हैं
लक्षित मूल्यांकन की कमी: मौजूदा विधियां मुख्य रूप से समग्र प्रदर्शन पर ध्यान केंद्रित करती हैं, अल्पसंख्यक वर्ग की विशेषताओं को नजरअंदाज करती हैं
व्याख्या अस्थिरता: समान इनपुट बिल्कुल अलग व्याख्याएं दे सकते हैं

अनुसंधान प्रेरणा

लेखकों का मानना है कि असंतुलित डेटासेट में अल्पसंख्यक वर्ग की व्याख्या विश्वसनीयता का आकलन विशेष रूप से महत्वपूर्ण है, क्योंकि:

दुर्लभ घटनाओं की सटीक भविष्यवाणी उच्च जोखिम वाले अनुप्रयोगों में महत्वपूर्ण है
बहुसंख्यक वर्ग की भविष्यवाणी करना आसान है, इसकी व्याख्या आवश्यक रूप से विश्वसनीय नहीं है
अल्पसंख्यक वर्ग व्याख्याओं की मजबूती का आकलन करने के लिए विशेष विधियों की आवश्यकता है

मुख्य योगदान

असंतुलित डेटासेट के लिए व्याख्या विश्वसनीयता मूल्यांकन ढांचा प्रस्तावित किया, जो अल्पसंख्यक वर्ग के नमूनों पर केंद्रित है
मैनिफोल्ड-आधारित पड़ोसी पीढ़ी विधि डिज़ाइन की, जो सुनिश्चित करती है कि विक्षुब्ध नमूने डेटा मैनिफोल्ड पर हैं
सामंजस्य माप पेश किया, मूल व्याख्या और स्थानीय भारित औसत व्याख्या की तुलना करके विश्वसनीयता का आकलन करने के लिए
वास्तविक पाले की भविष्यवाणी कार्य पर विधि की प्रभावशीलता को सत्यापित किया, जो अत्यधिक असंतुलित विशेषता (99:1) है

विधि विवरण

कार्य परिभाषा

असंतुलित डेटासेट $\mathcal{D} = (X,y)$ दिया गया है, जहां $P(y=0) \gg P(y=1)$ (0 बहुसंख्यक वर्ग है, 1 अल्पसंख्यक वर्ग है), तंत्रिका नेटवर्क $f(\cdot)$ को प्रशिक्षित करें, लक्ष्य अल्पसंख्यक वर्ग के नमूनों पर व्याख्या विधि $e$ की विश्वसनीयता का आकलन करना है।

मॉडल आर्किटेक्चर

1. पड़ोसी पीढ़ी (Neighbourhood Generation)

k-medoids क्लस्टरिंग के आधार पर मैनिफोल्ड पर पड़ोसी पीढ़ी:

चरण:

सत्यापन सेट पर k-medoids क्लस्टरिंग लागू करें, $k_{medoids}$ क्लस्टर प्राप्त करें
प्रत्येक क्लस्टर का औसत आकार $n_k = 10$
प्रत्येक क्लस्टर के medoid को प्रतिनिधि बिंदु के रूप में निकालें
परीक्षण नमूने के लिए, इसके संबंधित medoid और इसके $k_{nn}=5$ निकटतम पड़ोसियों को खोजें

विक्षोभ सूत्र: $\tilde{x}_j = (1-\bar{\lambda}) \cdot x_j + \bar{\lambda} \cdot x_{M_j}$ जहां $\bar{\lambda} \sim Beta(\lambda \cdot 100, (1-\lambda) \cdot 100)$

2. स्थानीय औसत (Local Averaging)

अल्पसंख्यक वर्ग के नमूनों के लिए भारित औसत व्याख्या की गणना करें: $\bar{e}(x) = \frac{\sum_{\tilde{x} \in \mathcal{N}} e(\tilde{x}) \cdot \pi(x,\tilde{x})}{\sum_{\tilde{x} \in \mathcal{N}} \pi(x,\tilde{x})}$ जहां वजन $\pi(x,\tilde{x}) = \frac{1}{dist(x,\tilde{x})}$

3. विश्वसनीयता मूल्यांकन

दो मूल्यांकन संकेतक परिभाषित करें:

स्थानीय मजबूती: $\hat{\mathcal{R}}(x) = \frac{1}{|\mathcal{N}|} \sum_{\tilde{x} \in \mathcal{N}} \rho(e(x), e(\tilde{x}))$

सामंजस्य: $\hat{\mathcal{C}}(x) = \rho(e(x), \bar{e}(x))$ जहां $\rho$ Spearman रैंक सहसंबंध गुणांक है

तकनीकी नवाचार बिंदु

मैनिफोल्ड-जागरूक पड़ोसी पीढ़ी: यादृच्छिक गाऊसी शोर की तुलना में, medoid-आधारित विधि डेटा वितरण के अनुरूप अधिक पड़ोसी उत्पन्न कर सकती है
अल्पसंख्यक वर्ग के लिए विशेष मूल्यांकन: सबसे महत्वपूर्ण लेकिन सबसे नाजुक अल्पसंख्यक वर्ग के नमूनों पर ध्यान केंद्रित करें
सामंजस्य माप का परिचय: मूल व्याख्या और एकत्रित व्याख्या की तुलना करके स्थानीय सामंजस्य का आकलन करें
दूरी-भारित व्याख्या एकत्रीकरण: नमूनों के बीच दूरी के अनुसार व्याख्याओं को भारित औसत करें

प्रयोगात्मक सेटअप

डेटासेट

पाले की भविष्यवाणी डेटासेट:

स्रोत: ERA5 पुनः विश्लेषण डेटा (ECMWF) + बीमा कंपनी के स्वामित्व वाला डेटा
समय अवधि: 2009-2024 (15 वर्ष)
भौगोलिक सीमा: पोलैंड की पूरी सीमा
विशेषताएं: 8 संख्यात्मक वायुमंडलीय चर (मानकीकृत प्रसंस्करण)
लक्ष्य: द्विआधारी वर्गीकरण (पाले की घटना या नहीं)
असंतुलन की डिग्री: 99% बनाम 1% (अत्यधिक असंतुलित)
डेटा विभाजन: प्रशिक्षण सेट 75%, सत्यापन सेट 15%, परीक्षण सेट 10% (क्षेत्र द्वारा स्तरीकृत)

मूल्यांकन संकेतक

मॉडल प्रदर्शन: F1-score (असंतुलित डेटासेट के लिए उपयुक्त)
व्याख्या विश्वसनीयता: स्थानीय मजबूती $\hat{\mathcal{R}}(x)$ और सामंजस्य $\hat{\mathcal{C}}(x)$
सहसंबंध माप: Spearman रैंक सहसंबंध गुणांक

तुलनात्मक विधियां

व्याख्या विधियां:

Integrated Gradients: ग्रेडिएंट एकीकरण पर आधारित आरोपण विधि
DeepLIFT: सक्रियण अंतर प्रसार पर आधारित विधि
Layer-wise Relevance Propagation (LRP): परत-वार प्रासंगिकता प्रसार
Ensemble विधि: उपरोक्त तीन विधियों का भारित संयोजन

पड़ोसी पीढ़ी तुलना:

यादृच्छिक गाऊसी शोर पीढ़ी बनाम medoid-आधारित मैनिफोल्ड पीढ़ी

कार्यान्वयन विवरण

मॉडल आर्किटेक्चर: 5-परत पूर्ण कनेक्टेड तंत्रिका नेटवर्क, ReLU सक्रियण, sigmoid आउटपुट
हानि फ़ंक्शन: Focal Loss ( $\gamma=2.5, \alpha=0.75$ )
अनुकूलक: RAdam, सीखने की दर 0.0001
प्रशिक्षण सेटिंग: 100 epochs, बैच आकार 256
पड़ोसी पैरामीटर: $k_{nn}=5, \lambda=0.05$ , पड़ोसी आकार $n=100$

प्रयोगात्मक परिणाम

मुख्य परिणाम

मॉडल प्रदर्शन

डेटासेट	बहुसंख्यक F1	अल्पसंख्यक F1	अल्पसंख्यक नमूने
प्रशिक्षण सेट	1.00	0.66	~2,500
सत्यापन सेट	1.00	0.50	~450
परीक्षण सेट	1.00	0.51	~300

व्याख्या विधि प्रदर्शन तुलना

विधि	मजबूती $\hat{\mathcal{R}}(x)$	सामंजस्य $\hat{\mathcal{C}}(x)$
Integrated Gradients	89.34% (±8.35%)	97.56% (±3.58%)
DeepLIFT	97.69% (±2.26%)	99.40% (±1.51%)
LRP	76.77% (±15.70%)	89.86% (±19.95%)
Ensemble	79.03% (±12.56%)	89.20% (±13.73%)

मुख्य निष्कर्ष

पड़ोसी पीढ़ी विधि का महत्व: medoid-आधारित विधि यादृच्छिक शोर की तुलना में अल्पसंख्यक वर्ग पर काफी बेहतर प्रदर्शन करती है
DeepLIFT सर्वोत्तम प्रदर्शन: मजबूती और सामंजस्य दोनों संकेतकों पर सर्वोच्च स्कोर और न्यूनतम मानक विचलन प्राप्त करता है
LRP की अस्थिरता: ग्रेडिएंट लुप्त होने की समस्या के कारण, LRP सबसे अस्थिर प्रदर्शन करता है
अल्पसंख्यक वर्ग की कमजोरी: अल्पसंख्यक वर्ग की व्याख्याएं बहुसंख्यक वर्ग की व्याख्याओं की तुलना में पड़ोसी पीढ़ी विधि से अधिक प्रभावित होती हैं

विलोपन प्रयोग

यादृच्छिक पड़ोसी पीढ़ी और medoid-आधारित पड़ोसी पीढ़ी की तुलना करके साबित किया:

यादृच्छिक विधि अल्पसंख्यक वर्ग पर बड़ा वितरण बदलाव उत्पन्न करती है
medoid-आधारित विधि डेटा मैनिफोल्ड संरचना को बेहतर तरीके से संरक्षित कर सकती है
अल्पसंख्यक वर्ग पड़ोसी पीढ़ी विधि की पसंद के लिए अधिक संवेदनशील है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

असंतुलित डेटासेट में व्याख्या विश्वसनीयता एक महत्वपूर्ण लेकिन अनदेखी समस्या है
अल्पसंख्यक वर्ग व्याख्याओं के लिए विशेष मूल्यांकन विधियों की आवश्यकता है, पारंपरिक विधियां भ्रामक परिणाम दे सकती हैं
मैनिफोल्ड-आधारित पड़ोसी पीढ़ी मूल्यांकन की विश्वसनीयता में काफी सुधार कर सकती है
DeepLIFT पाले की भविष्यवाणी कार्य में सर्वोत्तम प्रदर्शन करता है, उच्च मजबूती और सामंजस्य के साथ

सीमाएं

विधि अभी भी प्रारंभिक चरण में है: अधिक डेटासेट और परिदृश्यों पर सत्यापन की आवश्यकता है
केवल सारणीबद्ध डेटा पर विचार किया गया: छवि, पाठ आदि अन्य डेटा प्रकारों को शामिल नहीं किया गया है
मूल्यांकन संकेतकों की सीमाएं: वर्तमान संकेतक व्याख्या गुणवत्ता को पूरी तरह से पकड़ नहीं सकते हैं
कम्प्यूटेशनल ओवरहेड: प्रत्येक नमूने के लिए बड़ी संख्या में पड़ोसियों की पीढ़ी कम्प्यूटेशनल लागत बढ़ाती है

भविष्य की दिशाएं

विभिन्न असंतुलन अनुपातों तक विस्तार: विभिन्न असंतुलन स्तरों पर विधि के प्रदर्शन का अध्ययन करें
बहु-मोडल डेटा: विधि को छवि, पाठ आदि डेटा प्रकारों तक विस्तारित करें
अनिश्चितता विश्लेषण: अल्पसंख्यक वर्ग मूल्यांकन में सुधार के लिए अनिश्चितता परिमाणीकरण को एकीकृत करें
स्पेस-टाइम डेटा: स्पेस-टाइम आयामों की विशेष विशेषताओं पर विचार करें

गहन मूल्यांकन

शक्तियां

समस्या की महत्ता: XAI क्षेत्र में एक महत्वपूर्ण लेकिन अनदेखी समस्या पर ध्यान केंद्रित करता है
विधि नवाचार: एक लक्षित मूल्यांकन ढांचा प्रस्तावित करता है, जिसमें सैद्धांतिक आधार है
प्रयोगात्मक पूर्णता: वास्तविक परिदृश्य में सत्यापन, व्यावहारिक अनुप्रयोग मूल्य है
लेखन स्पष्टता: पेपर संरचना स्पष्ट है, विधि विवरण विस्तृत है

कमियां

प्रयोगात्मक पैमाना सीमित: केवल एक डेटासेट पर सत्यापन, सार्वभौमिकता का प्रमाण अभाव
सैद्धांतिक विश्लेषण अपर्याप्त: विधि के सैद्धांतिक गुणों का गहन विश्लेषण अभाव
आधार रेखा विधि सीमाएं: असंतुलित डेटा को संभालने के लिए विशेष XAI विधियों के साथ तुलना अभाव
मूल्यांकन संकेतक एकल: मुख्य रूप से सहसंबंध संकेतकों पर निर्भर, व्याख्या गुणवत्ता को पूरी तरह से प्रतिबिंबित नहीं कर सकता है

प्रभाव

शैक्षणिक योगदान: असंतुलित डेटा पर XAI अनुप्रयोग के लिए नई सोच प्रदान करता है
व्यावहारिक मूल्य: उच्च जोखिम वाले अनुप्रयोगों में XAI तैनाती के लिए मार्गदर्शन प्रदान करता है
पुनरुत्पादनशीलता: कोड खुला स्रोत है, पुनरुत्पादन और विस्तार में सुविधा प्रदान करता है

लागू परिदृश्य

उच्च जोखिम वाले अनुप्रयोग: चिकित्सा निदान, वित्तीय जोखिम नियंत्रण, मौसम संबंधी चेतावनी आदि
अत्यधिक असंतुलित डेटा: धोखाधड़ी पहचान, विसंगति पहचान, दुर्लभ घटना भविष्यवाणी
सख्त नियामक आवश्यकताएं: उद्योग अनुप्रयोग जहां व्याख्यायोग्य AI की आवश्यकता है

संदर्भ

पेपर XAI क्षेत्र के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें शामिल हैं:

LIME 3 और SHAP 4 जैसी शास्त्रीय विधियां
Integrated Gradients 11, DeepLIFT 12, LRP 13 आदि तंत्रिका नेटवर्क व्याख्या विधियां
Focal Loss 7 आदि असंतुलित शिक्षा तकनीकें
संबंधित मजबूती विश्लेषण कार्य 5, 9, 10

समग्र मूल्यांकन: यह एक महत्वपूर्ण व्यावहारिक समस्या पर ध्यान केंद्रित करने वाला प्रारंभिक अनुसंधान कार्य है। यद्यपि प्रयोगात्मक पैमाने और सैद्धांतिक गहराई में सुधार की गुंजाइश है, लेकिन यह असंतुलित डेटासेट पर XAI विश्वसनीयता मूल्यांकन के लिए अनुसंधान की एक नई दिशा खोलता है, जिसमें अच्छी अनुप्रयोग संभावनाएं हैं।