2025-11-14T13:10:11.333946

Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts

Marconato, Bortolotti, van Krieken et al.
Neuro-symbolic (NeSy) AI aims to develop deep neural networks whose predictions comply with prior knowledge encoding, e.g. safety or structural constraints. As such, it represents one of the most promising avenues for reliable and trustworthy AI. The core idea behind NeSy AI is to combine neural and symbolic steps: neural networks are typically responsible for mapping low-level inputs into high-level symbolic concepts, while symbolic reasoning infers predictions compatible with the extracted concepts and the prior knowledge. Despite their promise, it was recently shown that - whenever the concepts are not supervised directly - NeSy models can be affected by Reasoning Shortcuts (RSs). That is, they can achieve high label accuracy by grounding the concepts incorrectly. RSs can compromise the interpretability of the model's explanations, performance in out-of-distribution scenarios, and therefore reliability. At the same time, RSs are difficult to detect and prevent unless concept supervision is available, which is typically not the case. However, the literature on RSs is scattered, making it difficult for researchers and practitioners to understand and tackle this challenging problem. This overview addresses this issue by providing a gentle introduction to RSs, discussing their causes and consequences in intuitive terms. It also reviews and elucidates existing theoretical characterizations of this phenomenon. Finally, it details methods for dealing with RSs, including mitigation and awareness strategies, and maps their benefits and limitations. By reformulating advanced material in a digestible form, this overview aims to provide a unifying perspective on RSs to lower the bar to entry for tackling them. Ultimately, we hope this overview contributes to the development of reliable NeSy and trustworthy AI models.
academic

न्यूरो-सिम्बोलिक AI में प्रतीक आधारीकरण: तर्क शॉर्टकट का सौम्य परिचय

मूल जानकारी

  • पेपर ID: 2510.14538
  • शीर्षक: Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts
  • लेखक: Emanuele Marconato, Samuele Bortolotti, Emile van Krieken, Paolo Morettin, Elena Umili, Antonio Vergari, Efthymia Tsamoura, Andrea Passerini, Stefano Teso
  • वर्गीकरण: cs.AI cs.LG
  • प्रकाशन समय: 17 अक्टूबर 2025 (प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.14538

सारांश

न्यूरो-सिम्बोलिक (NeSy) AI का उद्देश्य ऐसे गहन तंत्रिका नेटवर्क विकसित करना है जिनके पूर्वानुमान परिणाम पूर्व ज्ञान (जैसे सुरक्षा या संरचनात्मक बाधाएं) के अनुरूप हों। यह विश्वसनीय और भरोसेमंद AI के सबसे आशाजनक मार्गों में से एक है। NeSy AI का मूल विचार तंत्रिका और प्रतीकात्मक चरणों को संयोजित करना है: तंत्रिका नेटवर्क निम्न-स्तरीय इनपुट को उच्च-स्तरीय प्रतीकात्मक अवधारणाओं में मैप करता है, जबकि प्रतीकात्मक तर्क अवधारणाओं और पूर्व ज्ञान के अनुरूप पूर्वानुमान निकालता है। हालांकि संभावनाएं व्यापक हैं, हाल के शोध से पता चलता है कि जब अवधारणाओं के पास सीधी निरीक्षण नहीं होती है, तो NeSy मॉडल तर्क शॉर्टकट (Reasoning Shortcuts, RSs) से प्रभावित हो सकते हैं। अर्थात्, वे गलत तरीके से आधारित अवधारणाओं के माध्यम से उच्च लेबल सटीकता प्राप्त कर सकते हैं। RSs मॉडल व्याख्या की व्याख्यात्मकता, वितरण-बाहर परिदृश्यों में प्रदर्शन को नुकसान पहुंचा सकते हैं, और इस प्रकार विश्वसनीयता को प्रभावित करते हैं। साथ ही, अवधारणा निरीक्षण के बिना (जो आमतौर पर उपलब्ध नहीं है), RSs का पता लगाना और रोकना कठिन है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

यह अनुसंधान प्रतीक आधारीकरण (Symbol Grounding) की विफलता की समस्या को हल करता है जो न्यूरो-सिम्बोलिक AI में होती है, विशेष रूप से तर्क शॉर्टकट (Reasoning Shortcuts) घटना के रूप में प्रकट होती है।

समस्या की महत्ता

  1. व्याख्यात्मकता संकट: NeSy मॉडल व्याख्यात्मक निर्णय प्रक्रिया प्रदान करने का वादा करते हैं, लेकिन RSs से सीखी गई अवधारणाएं अपेक्षित शब्दार्थ से मेल नहीं खाती हैं, जो व्याख्या की विश्वसनीयता को गंभीरता से प्रभावित करती हैं
  2. सामान्यीकरण क्षमता सीमित: गलत अवधारणा आधारीकरण मॉडल को वितरण-बाहर परिदृश्यों में खराब प्रदर्शन करने के लिए प्रेरित करता है, जो व्यावहारिक अनुप्रयोग मूल्य को सीमित करता है
  3. सुरक्षा जोखिम: उच्च-जोखिम अनुप्रयोग परिदृश्यों (जैसे स्वायत्त ड्राइविंग) में, RSs विनाशकारी परिणाम दे सकते हैं

मौजूदा विधियों की सीमाएं

  1. विखंडित साहित्य: RSs के बारे में शोध विभिन्न पेपरों में बिखरा हुआ है, एकीकृत सैद्धांतिक ढांचे की कमी है
  2. पहचान में कठिनाई: RSs प्रशिक्षण सेट पर लेबल सटीकता को प्रभावित नहीं करते हैं, पारंपरिक मूल्यांकन विधियां उन्हें खोजने में विफल रहती हैं
  3. सीमित शमन रणनीतियां: मौजूदा शमन विधियों को या तो बड़ी अवधारणा एनोटेशन की आवश्यकता होती है, या सैद्धांतिक गारंटी की कमी होती है

अनुसंधान प्रेरणा

पेपर RSs समस्या का एकीकृत दृष्टिकोण प्रदान करने, इस क्षेत्र में प्रवेश के लिए बाधा को कम करने, और विश्वसनीय NeSy AI मॉडल के विकास को बढ़ावा देने का लक्ष्य रखता है।

मुख्य योगदान

  1. एकीकृत सैद्धांतिक ढांचा: पहली बार RSs से संबंधित विखंडित साहित्य को व्यवस्थित रूप से एकीकृत किया, एकीकृत सैद्धांतिक दृष्टिकोण प्रदान किया
  2. गणितीय औपचारिकीकरण: पहचान (identifiability) और सांख्यिकीय शिक्षा दोनों कोणों से RSs का कठोर गणितीय विवरण
  3. व्यापक वर्गीकरण: मौजूदा RSs शमन और संवेदन रणनीतियों का व्यवस्थित वर्गीकरण और तुलनात्मक विश्लेषण
  4. विस्तारित चर्चा: सुदृढ़ीकरण शिक्षा, आधार मॉडल जैसे उभरते क्षेत्रों में RSs के प्रदर्शन और चुनौतियों की खोज
  5. व्यावहारिक मार्गदर्शन: RSs निदान, रोकथाम और उपचार के लिए व्यावहारिक विधियां और उपकरण प्रदान करता है

विधि विवरण

कार्य परिभाषा

न्यूरो-सिम्बोलिक भविष्यद्वक्ता (NeSy Predictors): इनपुट स्पेस X, अवधारणा स्पेस C, लेबल स्पेस Y और पूर्व ज्ञान K दिया गया है, NeSy भविष्यद्वक्ता एक मैपिंग सीखता है जो पूर्वानुमान परिणामों को सटीक और ज्ञान बाधाओं के अनुरूप दोनों बनाता है।

मूल आर्किटेक्चर

NeSy भविष्यद्वक्ता में दो मुख्य घटक होते हैं:

  1. अवधारणा निष्कर्षक: तंत्रिका नेटवर्क f: X → ΔC, इनपुट को अवधारणा वितरण में मैप करता है
  2. तर्क परत: प्रतीकात्मक तर्क β: ΔC → ΔY, अवधारणाओं और ज्ञान K के आधार पर लेबल का अनुमान लगाता है

चार मुख्य आर्किटेक्चर

1. संभाव्य न्यूरो-सिम्बोलिक भविष्यद्वक्ता (PNSPs)

p(y|x;K) = (1/Zx) ∑c 1{(c,y) |= K} p(c|x)

संभाव्य तर्क के माध्यम से तर्क को लागू करता है, यह सुनिश्चित करता है कि पूर्वानुमान ज्ञान बाधाओं के अनुरूप हैं।

2. शब्दार्थ हानि (Semantic Loss)

SL(pθ, (x,y), K) = -log ∑c 1{(c,y) |= K} pθ(c|x)

ज्ञान को अवकलनीय दंड पद में परिवर्तित करता है, प्रशिक्षण में सामंजस्य को बाध्य करता है।

3. तार्किक टेंसर नेटवर्क (LTN)

बूलियन ज्ञान को वास्तविक-मूल्यवान कार्यों में परिवर्तित करने के लिए फजी तर्क का उपयोग करता है:

L(p,D,K) = 1 - (1/|D|) ∑(x,y)∈D TK(p(C|x), 1{Y=y})

4. अपहरणात्मक शिक्षा (ABL)

तार्किक अपहरण के माध्यम से छद्म लेबल उत्पन्न करता है:

ĉ = argmin d(c̄, c') s.t. (c',y) |= K

तर्क शॉर्टकट का औपचारिक परिभाषा

अवधारणा पुनः मैपिंग वितरण:

αf(g) := Ex∼p*(X|g)[f(x)]

वर्णन करता है कि जमीनी सच्ची अवधारणाएं कैसे सीखी गई अवधारणाओं में मैप होती हैं।

तर्क शॉर्टकट: जब NeSy भविष्यद्वक्ता अधिकतम संभावना प्राप्त करता है लेकिन अवधारणा मैपिंग αf ≠ id (पहचान मैपिंग) होती है, तो तर्क शॉर्टकट मौजूद होता है।

सैद्धांतिक विश्लेषण

पहचान दृष्टिकोण

प्रमेय 4.4: NeSy भविष्यद्वक्ता अधिकतम संभावना प्राप्त करता है यदि और केवल यदि:

(β ∘ f)(X) = (β* ∘ f*)(X)

अनुमान 4.5 (अपहचान): जब तर्क परत β* इंजेक्टिव नहीं है, तो कई अवधारणा निष्कर्षक f ≠ f* समान रूप से अधिकतम संभावना प्राप्त करते हैं।

प्रमेय 4.10 (निर्धारणीय RSs गणना): निर्धारणीय तर्क शॉर्टकट की संख्या है:

∑α∈Vert(AF) 1{∧g∈supp(G)(β* ∘ α)(g) = β*(g)} - 1

सांख्यिकीय शिक्षा दृष्टिकोण

ज्ञान जटिलता:

KC(K; p*) := Ey∼p*(Y)[∑c∈C 1{(c,y) ≠|= K}]

प्रमेय 4.15 (असीमित RSs जोखिम): जब KC(K; p*) < |C|-1 होता है, तो अवधारणा निष्कर्षक मौजूद होते हैं जिनका लेबल जोखिम 0 है लेकिन अवधारणा जोखिम अनंत की ओर जाता है।

शमन रणनीतियों का विश्लेषण

निरीक्षित रणनीतियां

  1. अवधारणा निरीक्षण: सीधे अवधारणा एनोटेशन प्रदान करता है, सर्वोत्तम प्रभाव लेकिन उच्च लागत
  2. बहु-कार्य शिक्षा: कई NeSy कार्यों के संयुक्त प्रशिक्षण के माध्यम से ज्ञान बाधाओं को बढ़ाता है

अनिरीक्षित रणनीतियां

  1. पुनर्निर्माण शिक्षा: पुनर्निर्माण हानि के माध्यम से अवधारणा पतन को रोकता है
  2. विपरीत शिक्षा: समान इनपुट को समान अवधारणाएं उत्पन्न करने के लिए प्रोत्साहित करता है
  3. एन्ट्रॉपी अधिकतमीकरण: अवधारणा वितरण की एकरूपता को बढ़ावा देता है
  4. आर्किटेक्चर विघटन: विभिन्न वस्तुओं की अवधारणाओं को स्वतंत्र रूप से संभालता है

संवेदन रणनीतियां

  1. BEARS: समग्र शिक्षा के माध्यम से RS-संवेदनशील मॉडल बनाता है
  2. NeSyDM: स्वतंत्रता धारणा से परे जाने के लिए प्रसार मॉडल का उपयोग करता है

प्रायोगिक सत्यापन

बेंचमार्क डेटासेट

  • MNIST-Add: अंकीय जोड़ कार्य
  • BDD-OIA: स्वायत्त ड्राइविंग परिदृश्य
  • Kandinsky: अमूर्त दृश्य तर्क

मुख्य निष्कर्ष

  1. RSs सर्वव्यापी हैं: कई बेंचमार्क डेटासेट पर RSs घटना देखी गई है
  2. शमन प्रभाव में भिन्नता: अवधारणा निरीक्षण सर्वोत्तम प्रभाव देता है, अनिरीक्षित विधियों का प्रभाव सीमित है
  3. आर्किटेक्चर स्वतंत्रता: विभिन्न NeSy आर्किटेक्चर RSs से प्रभावित होते हैं

निदान उपकरण

  • countrss उपकरण: मॉडल गणना के माध्यम से RSs संख्या का अनुमान लगाता है
  • अवधारणा पतन संकेतक: अवधारणा गुणवत्ता में गिरावट को मापता है

विस्तारित अनुप्रयोग

सुदृढ़ीकरण शिक्षा में RSs

तंत्रिका-प्रतीकात्मक सुदृढ़ीकरण शिक्षा में, RSs अवधारणा पुनः नामकरण के रूप में प्रकट होते हैं, हालांकि एकल-कार्य प्रदर्शन को प्रभावित नहीं करते हैं लेकिन बहु-कार्य सामान्यीकरण क्षमता को नुकसान पहुंचाते हैं।

आधार मॉडल में RSs

बड़े भाषा मॉडल में "प्रतीक भ्रम" घटना हो सकती है, जो NeSy में RSs के समान है, लेकिन मौजूदा सैद्धांतिक ढांचे का विस्तार आवश्यक है।

अवधारणा बाधा मॉडल में संयुक्त RSs

जब तर्क परत को भी सीखने की आवश्यकता होती है, तो संयुक्त तर्क शॉर्टकट (Joint RSs) दिखाई देते हैं, समस्या अधिक जटिल हो जाती है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. RSs NeSy AI में एक मौलिक चुनौती है, जो प्रतीक आधारीकरण समस्या से उत्पन्न होती है
  2. सैद्धांतिक विश्लेषण से पता चलता है कि RSs सामान्य परिस्थितियों में अनिवार्य हैं
  3. मौजूदा शमन रणनीतियों के अपने फायदे और नुकसान हैं, अनुप्रयोग परिदृश्य के अनुसार चयन की आवश्यकता है

सीमाएं

  1. सैद्धांतिक धारणाएं: कुछ सैद्धांतिक परिणाम अधिक मजबूत धारणा शर्तों पर आधारित हैं
  2. व्यावहारिक अंतराल: सैद्धांतिक गारंटी और व्यावहारिक अनुप्रयोग के बीच अंतराल मौजूद है
  3. कम्प्यूटेशनल जटिलता: RSs पहचान और शमन की कम्प्यूटेशनल लागत अधिक है

भविष्य की दिशाएं

  1. मजबूत शमन रणनीतियां: सैद्धांतिक गारंटी और व्यावहारिकता दोनों वाली विधियां विकसित करता है
  2. स्वचालित कार्य निर्माण: RSs को समाप्त करने में सहायक बहु-कार्य शिक्षा सेटअप स्वचालित रूप से उत्पन्न करता है
  3. बड़े पैमाने पर बेंचमार्क: अधिक चुनौतीपूर्ण वास्तविक-विश्व NeSy डेटासेट बनाता है

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक गहराई: RSs समस्या का कठोर गणितीय विवरण और सैद्धांतिक विश्लेषण प्रदान करता है
  2. व्यापकता: विखंडित संबंधित अनुसंधान को व्यवस्थित रूप से एकीकृत करता है, एकीकृत ढांचा बनाता है
  3. व्यावहारिक मूल्य: विशिष्ट निदान उपकरण और शमन रणनीतियां प्रदान करता है
  4. दूरदर्शिता: उभरती AI तकनीकों में अनुप्रयोग संभावनाओं की चर्चा करता है

कमियां

  1. सीमित प्रयोग: मुख्य रूप से अपेक्षाकृत सरल बेंचमार्क डेटासेट पर केंद्रित है
  2. विधि नवाचार: अधिक सर्वेक्षण कार्य है, मूल विधि योगदान सीमित है
  3. व्यावहारिकता: सैद्धांतिक परिणामों और व्यावहारिक अनुप्रयोग के बीच रूपांतरण को आगे के अनुसंधान की आवश्यकता है

प्रभाव

  1. शैक्षणिक मूल्य: NeSy AI अनुसंधान के लिए महत्वपूर्ण सैद्धांतिक आधार प्रदान करता है
  2. व्यावहारिक महत्व: विश्वसनीय AI प्रणाली निर्माण के लिए मार्गदर्शन मूल्य है
  3. क्षेत्र प्रचार: प्रतीक आधारीकरण और व्याख्यात्मक AI के विकास को बढ़ावा देने की संभावना है

लागू परिदृश्य

यह अनुसंधान विशेष रूप से निम्नलिखित के लिए उपयुक्त है:

  • उच्च व्याख्यात्मकता की आवश्यकता वाली AI अनुप्रयोगें
  • सुरक्षा-महत्वपूर्ण प्रणालियों में AI तैनाती
  • प्रतीकात्मक तर्क और तंत्रिका नेटवर्क संयोजन परिदृश्य
  • अवधारणा शिक्षा और ज्ञान एकीकरण कार्य

संदर्भ

पेपर बड़ी संख्या में संबंधित कार्यों का उद्धरण करता है, मुख्य रूप से:

  • तंत्रिका-प्रतीकात्मक AI की मूलभूत सैद्धांतिक अनुसंधान
  • अवधारणा बाधा मॉडल और व्याख्यात्मक AI
  • कारणात्मक प्रतिनिधित्व शिक्षा और पहचान सिद्धांत
  • प्रतीक आधारीकरण समस्या की संज्ञानात्मक विज्ञान अनुसंधान

यह पेपर न्यूरो-सिम्बोलिक AI में प्रतीक आधारीकरण समस्या का व्यापक और गहन विश्लेषण प्रदान करता है, जो NeSy मॉडल की विश्वसनीयता समस्याओं को समझने और हल करने के लिए महत्वपूर्ण मूल्य रखता है। हालांकि मुख्य रूप से सर्वेक्षण कार्य है, लेकिन इसके सैद्धांतिक योगदान और व्यावहारिक मार्गदर्शन महत्व महत्वपूर्ण हैं।