2025-11-13T14:19:10.992196

Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning

Yamin, Ghosal, Wilder
Large Language Models have been shown to contain extensive world knowledge in their parameters, enabling impressive performance on many knowledge intensive tasks. However, when deployed in novel settings, LLMs often encounter situations where they must integrate parametric knowledge with new or unfamiliar information. In this work, we explore whether LLMs can combine knowledge in-context with their parametric knowledge through the lens of counterfactual reasoning. Through synthetic and real experiments in multi-hop reasoning problems, we show that LLMs generally struggle with counterfactual reasoning, often resorting to exclusively using their parametric knowledge. Moreover, we show that simple post-hoc finetuning can struggle to instill counterfactual reasoning ability -- often leading to degradation in stored parametric knowledge. Ultimately, our work reveals important limitations of current LLM's abilities to re-purpose parametric knowledge in novel settings.
academic

क्या LLMs प्रतिकथनात्मक तर्क में ज्ञान संघर्षों को सुलझा सकते हैं

बुनियादी जानकारी

  • पेपर ID: 2506.15732
  • शीर्षक: Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning?
  • लेखक: Khurram Yamin*, Gaurav Ghosal*, Bryan Wilder (Carnegie Mellon University)
  • वर्गीकरण: cs.AI cs.LG
  • प्रकाशन समय/सम्मेलन: ICLR 2026
  • पेपर लिंक: https://arxiv.org/abs/2506.15732v2

सारांश

बड़े भाषा मॉडल (LLMs) अपने पैरामीटर में समृद्ध विश्व ज्ञान रखते हैं और कई ज्ञान-गहन कार्यों में उत्कृष्ट प्रदर्शन करते हैं। हालांकि, जब नए वातावरण में तैनात किए जाते हैं, तो LLMs को अक्सर पैरामीटरीकृत ज्ञान को नई या अपरिचित जानकारी के साथ जोड़ना पड़ता है। यह अनुसंधान प्रतिकथनात्मक तर्क के दृष्टिकोण से यह जांचता है कि क्या LLMs संदर्भ ज्ञान को अपने पैरामीटरीकृत ज्ञान के साथ जोड़ सकते हैं। बहु-चरणीय तर्क समस्याओं में सिंथेटिक और वास्तविक प्रयोगों के माध्यम से, अनुसंधान दर्शाता है कि LLMs प्रतिकथनात्मक तर्क में व्यापक रूप से कठिनाई का सामना करते हैं, अक्सर केवल अपने पैरामीटरीकृत ज्ञान पर निर्भर रहते हैं। इसके अलावा, सरल पश्च-प्रशिक्षण प्रतिकथनात्मक तर्क क्षमता को प्रभावी ढंग से प्रत्यारोपित नहीं कर सकता है, अक्सर संग्रहीत पैरामीटरीकृत ज्ञान के क्षरण का कारण बनता है। अंत में, यह कार्य नई सेटिंग्स में पैरामीटरीकृत ज्ञान का पुनः उपयोग करने की क्षमता में वर्तमान LLMs की महत्वपूर्ण सीमाओं को उजागर करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

इस अनुसंधान को हल करने की मूल समस्या है: क्या आधुनिक LLMs पैरामीटरीकृत ज्ञान को संदर्भ में प्रतिकथनात्मक पूर्वधारणाओं के साथ चुनिंदा रूप से जोड़ सकते हैं, बहु-चरणीय प्रश्नों का सही उत्तर देने के लिए?

समस्या की महत्ता

  1. व्यावहारिक अनुप्रयोग की आवश्यकता: वास्तविक दुनिया के कई परिदृश्यों के लिए LLMs को पूर्व-प्रशिक्षण ज्ञान को अनुमान समय पर प्रदान की गई नई या काल्पनिक जानकारी के साथ जोड़ने की आवश्यकता होती है
  2. ज्ञान संघर्ष की चुनौती: जब बाहरी दस्तावेज़ आंतरिक ज्ञान के साथ संघर्ष करते हैं, तो पुनः प्राप्ति-संवर्धित पीढ़ी को कठिनाई का सामना करना पड़ता है
  3. सुरक्षा-महत्वपूर्ण अनुप्रयोग: इंटरैक्टिव सिस्टम, पुनः प्राप्ति-संवर्धित पाइपलाइन और सुरक्षा-महत्वपूर्ण अनुप्रयोगों में सटीक सशर्त तर्क महत्वपूर्ण है

मौजूदा विधियों की सीमाएं

  • मौजूदा बहु-चरणीय QA बेंचमार्क मुख्य रूप से मॉडल की संग्रहीत तथ्यों को याद करने या पैरामीटरीकृत ज्ञान की श्रृंखलाओं को जोड़ने की क्षमता का मूल्यांकन करते हैं, दोहरी आवश्यकता का परीक्षण नहीं करते हैं
  • ज्ञान संघर्ष अनुसंधान में प्रतिकथनात्मक बहु-चरणीय तर्क की व्यवस्थित खोज का अभाव है
  • RAG विधियां बाहरी जानकारी को मर्ज कर सकती हैं, लेकिन प्रतिकथनात्मक तर्क की अद्वितीय चुनौतियों को संभाल नहीं सकती हैं

अनुसंधान प्रेरणा

प्रतिकथनात्मक तर्क के इस विशिष्ट कार्य के माध्यम से, LLMs के ज्ञान संघर्ष का सामना करते समय प्रदर्शन का व्यवस्थित रूप से अध्ययन करना, विशेष रूप से संदर्भ अधिरूद्धि (Contextual Override) और चुनिंदा पुनः प्राप्ति (Selective Retrieval) की क्षमता की आवश्यकता होती है।

मुख्य योगदान

  1. प्रतिकथनात्मक QA बेंचमार्क: सिंथेटिक ग्राफ-आधारित कार्य और वास्तविक दुनिया के कारणात्मक तर्क परिदृश्य प्रस्तुत करता है, जो पूर्व-प्रशिक्षण ज्ञान ग्राफ के सापेक्ष (i) सुदृढ़ीकरण, (ii) जोड़, (iii) विरोधाभास और (iv) अप्रासंगिक संदर्भ स्थितियों को अलग करता है
  2. अनुभवजन्य विश्लेषण: GPT-4o और अन्य SOTA मॉडलों के प्रयोगों के माध्यम से, दो मुख्य विफलता पैटर्न की पहचान करता है: (a) संदर्भ उपेक्षा (मॉडल डिफ़ॉल्ट रूप से संग्रहीत तथ्य का उपयोग करता है) और (b) संदर्भ अति-फिटिंग (मॉडल अंधे ढंग से प्रॉम्प्ट का पालन करता है)
  3. सूक्ष्म-ट्यूनिंग जाल विश्लेषण: साबित करता है कि सरल पश्च-प्रशिक्षण प्रतिकथनात्मक उदाहरणों पर केवल सीमांत लाभ ला सकता है, और अप्रत्याशित हेयुरिस्टिक्स को प्रेरित करके मानक तथ्य बेंचमार्क के प्रदर्शन को कम कर सकता है
  4. व्यावहारिक महत्व: इंटरैक्टिव सिस्टम, पुनः प्राप्ति-संवर्धित पाइपलाइन और सुरक्षा-महत्वपूर्ण अनुप्रयोगों पर अनुसंधान निष्कर्षों के प्रभाव की चर्चा करता है

विधि विवरण

कार्य परिभाषा

अनुसंधान एक प्रतिकथनात्मक बहु-चरणीय तर्क कार्य को परिभाषित करता है, जिसके लिए मॉडल की आवश्यकता है:

  1. संदर्भ अधिरूद्धि: डिफ़ॉल्ट तथ्यों को अस्थायी रूप से दबाना, काल्पनिक पूर्वधारणाओं को स्वीकार करना
  2. चुनिंदा पुनः प्राप्ति: वजन में संग्रहीत प्रासंगिक संबंधों को पुनः प्राप्त करना और उपयोग करना, भले ही कुछ जानकारी बदल दी गई हो

उदाहरण: "यदि पेरिस इटली में स्थित है, तो एफिल टावर किस देश में होगा?"

  • "पेरिस फ्रांस में है" की पैरामीटरीकृत ज्ञान को अधिरूद्ध करने की आवश्यकता है
  • "एफिल टावर पेरिस में है" के संबंध को बनाए रखने की आवश्यकता है

प्रयोगात्मक डिज़ाइन

वास्तविक दुनिया के LLMs प्रयोग

संदर्भ जानकारी को 4 परिदृश्यों में विभाजित किया गया है:

  1. परिदृश्य 1 (पूर्व ज्ञान को सुदृढ़ करना): पैरामीटरीकृत ज्ञान ग्राफ में पहले से मौजूद संबंध प्रदान करना
  2. परिदृश्य 2 (नई जानकारी जोड़ना): प्रश्न का उत्तर देने के लिए आवश्यक लेकिन पैरामीटरीकृत ज्ञान ग्राफ में अनुपस्थित जानकारी प्रदान करना
  3. परिदृश्य 3 (पूर्व ज्ञान का विरोधाभास): मौजूदा पैरामीटरीकृत ज्ञान के साथ दृढ़ता से संघर्ष करने वाली जानकारी प्रदान करना
  4. परिदृश्य 4 (अप्रासंगिक जानकारी): प्रश्न के साथ अप्रासंगिक जानकारी प्रदान करना

सिंथेटिक वातावरण प्रयोग

नियंत्रित सिंथेटिक ज्ञान ग्राफ सेटिंग में:

  • यादृच्छिक रूप से निर्देशित ग्राफ G उत्पन्न करना, जहां शीर्ष इकाइयों का प्रतिनिधित्व करते हैं, किनारे संबंधों का प्रतिनिधित्व करते हैं
  • परमाणु तथ्यों (एकल किनारे) और अनुमानित तथ्यों (दो-चरणीय संयोजन) को अलग करना
  • तीन प्रकार के प्रतिकथनात्मकों का परीक्षण करना:
    • Hop 1 प्रासंगिक: प्रतिकथनात्मक पूर्वधारणा अनुमानित तथ्य के पहले चरण को संशोधित करती है
    • Hop 2 प्रासंगिक: प्रतिकथनात्मक पूर्वधारणा पुल इकाई और अंतिम उत्तर के बीच लिंक को संशोधित करती है
    • अप्रासंगिक प्रतिकथनात्मक: प्रतिकथनात्मक पूर्वधारणा बहु-चरणीय प्रश्न के साथ पूरी तरह से अप्रासंगिक है

प्रॉम्प्टिंग रणनीति

तीन रणनीतियों की तुलना:

  1. मानक: सीधा कारणात्मक प्रश्न
  2. CoT: विचार श्रृंखला प्रॉम्प्टिंग
  3. FT: CoT व्याख्याओं के साथ प्रतिकथनात्मक उदाहरणों पर सूक्ष्म-ट्यूनिंग

प्रयोगात्मक सेटअप

डेटासेट

  • वास्तविक दुनिया प्रयोग: कारणात्मक संबंधों पर आधारित द्विआधारी वर्गीकरण कार्य, यादृच्छिक बेसलाइन 50%
  • सिंथेटिक प्रयोग: यादृच्छिक रूप से उत्पन्न ज्ञान ग्राफ, परमाणु तथ्यों और अनुमानित तथ्यों सहित

मूल्यांकन मेट्रिक्स

  • सटीकता (Accuracy)
  • 1-चरणीय और 2-चरणीय तर्क कार्यों पर प्रदर्शन

तुलना विधियां

  • GPT-4o (मानक, CoT, सूक्ष्म-ट्यूनिंग संस्करण)
  • GPT-5 (Thinking)
  • Llama 3.1 8B

कार्यान्वयन विवरण

  • GPT सूक्ष्म-ट्यूनिंग: 38,754 प्रशिक्षण टोकन, 3 epoch, बैच आकार 1, सीखने की दर गुणक 2
  • Llama सूक्ष्म-ट्यूनिंग: 5 epoch, LoRA rank 8, सीखने की दर 0.0001
  • सिंथेटिक प्रयोग: 4 NVIDIA A6000 GPU का उपयोग, कुल 72 GPU घंटे

प्रयोगात्मक परिणाम

मुख्य परिणाम

वास्तविक दुनिया के LLMs प्रदर्शन

  1. परिदृश्य 1 (पूर्व ज्ञान को सुदृढ़ करना): सभी मॉडल उत्कृष्ट प्रदर्शन करते हैं, सटीकता 90%-100% के बीच
  2. परिदृश्य 2 (जानकारी जोड़ना): गैर-सूक्ष्म-ट्यूनिंग मॉडलों की सटीकता 60-75%, सूक्ष्म-ट्यूनिंग के बाद लगभग 90% तक सुधार
  3. परिदृश्य 3 (पूर्व ज्ञान का विरोधाभास): प्रदर्शन 50% बेसलाइन के पास गिरता है, सूक्ष्म-ट्यूनिंग केवल सीमांत सुधार लाता है
  4. परिदृश्य 4 (अप्रासंगिक जानकारी): मजबूत प्रदर्शन, GPT-5 लगभग पूर्ण सटीकता के पास है

सिंथेटिक वातावरण निष्कर्ष

  • सूक्ष्म-ट्यूनिंग शॉर्टकट प्रेरित करता है: मॉडल प्रतिकथनात्मक पूर्वधारणा में दिखाई देने वाली इकाइयों को दोहराना सीखता है, वास्तविक तर्क के बजाय
  • चुनिंदा अधिरूद्धि कठिन: मॉडल यह सीखने में विफल रहता है कि प्रतिकथनात्मक पूर्वधारणा कब प्रासंगिक है
  • पूर्व-प्रशिक्षण के दौरान प्रतिकथनात्मक डेटा जोड़ना: प्रतिकथनात्मक तर्क प्रदर्शन में सुधार कर सकता है, लेकिन तथ्य कार्य प्रदर्शन को नुकसान पहुंचा सकता है

विलोपन प्रयोग

नियंत्रण प्रयोगों के माध्यम से साबित करता है कि प्रदर्शन क्षरण प्रारूप परिवर्तन के कारण नहीं है:

  • संदर्भ अधिरूद्धि की आवश्यकता न करने वाले CoT कार्य का निर्माण
  • सूक्ष्म-ट्यूनिंग इस कार्य के अनुकूल होने में सक्षम है (100% परीक्षण सटीकता)
  • दर्शाता है कि प्रतिकथनात्मक तर्क की विफलता कार्य की कठिनाई से उत्पन्न होती है, सामान्य विनाशकारी विस्मृति से नहीं

मुख्य निष्कर्ष

  1. दो मुख्य विफलता पैटर्न:
    • संदर्भ उपेक्षा: मॉडल डिफ़ॉल्ट रूप से संग्रहीत तथ्य का उपयोग करता है
    • संदर्भ अति-फिटिंग: मॉडल अंधे ढंग से प्रॉम्प्ट का पालन करता है लेकिन प्रासंगिक लिंक भूल जाता है
  2. संरेखण का प्रभाव: आधुनिक उत्पादन LLMs तथ्यात्मकता और सुरक्षा संरेखण प्रशिक्षण से गुजरते हैं, पूर्व-प्रशिक्षण पैरामीटरीकृत ज्ञान पर निर्भर होने की ओर झुकाव रखते हैं
  3. सूक्ष्म-ट्यूनिंग की सीमाएं: सरल पश्च-प्रशिक्षण मजबूत प्रतिकथनात्मक तर्क क्षमता को प्रत्यारोपित करने में कठिनाई का सामना करता है

संबंधित कार्य

बहु-चरणीय प्रश्न उत्तर

  • HotpotQA जैसे बेंचमार्क बहु-चरणीय तर्क क्षमता का परीक्षण करते हैं
  • मौजूदा कार्य मुख्य रूप से केवल पैरामीटरीकृत ज्ञान से संबंधित बहु-चरणीय तर्क पर ध्यान केंद्रित करते हैं
  • यह पेपर अद्वितीय रूप से पैरामीटरीकृत और संदर्भ ज्ञान को जोड़ने की आवश्यकता वाली स्थितियों का अध्ययन करता है

ज्ञान संघर्ष

  • RAG विधियां पैरामीटरीकृत स्मृति को पुनः प्राप्त जानकारी के साथ मर्ज करने का प्रयास करती हैं
  • मौजूदा विधियां आमतौर पर प्रतिकथनात्मक तर्क की अद्वितीय चुनौतियों के लिए उपयुक्त नहीं हैं
  • पैरामीटरीकृत ज्ञान को पूरी तरह से त्यागने के बजाय चुनिंदा रूप से बनाए रखने और एकीकृत करने की आवश्यकता है

कारणात्मक तर्क और प्रतिकथनात्मक

  • LLMs की कारणात्मक तर्क क्षमता एक सक्रिय अनुसंधान क्षेत्र है
  • मौजूदा बेंचमार्क (CLadder, CounterBench आदि) औपचारिक प्रतिकथनात्मक तर्क पर LLM की सीमाओं को उजागर करते हैं
  • यह पेपर यह समझने में अंतर को भरता है कि LLMs बहु-चरणीय तर्क में पैरामीटरीकृत ज्ञान को प्रतिकथनात्मक पूर्वधारणाओं के साथ कैसे एकीकृत करते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. मौलिक सीमा: वर्तमान LLMs में संघर्षपूर्ण या नई जानकारी के प्रति प्रतिक्रिया करते हुए आंतरिक ज्ञान ग्राफ को गतिशील रूप से संशोधित या विस्तारित करने के लिए मजबूत तंत्र की कमी है
  2. विफलता पैटर्न सार्वभौमिक: संदर्भ उपेक्षा और संदर्भ अति-फिटिंग समस्याएं विभिन्न प्रॉम्प्टिंग रणनीतियों और सूक्ष्म-ट्यूनिंग विधियों में लगातार बनी रहती हैं
  3. सूक्ष्म-ट्यूनिंग प्रभाव सीमित: सरल सूक्ष्म-ट्यूनिंग विधियां प्रतिकथनात्मक तर्क समस्या को प्रभावी ढंग से हल नहीं कर सकती हैं, और मूल ज्ञान को नुकसान पहुंचा सकती हैं

सीमाएं

  1. सरलीकृत सेटिंग: सिंथेटिक वातावरण में प्रतिकथनात्मक पूर्वधारणाएं स्थिर ज्ञान ग्राफ के एकल किनारे संपादन के रूप में व्यक्त की जाती हैं, प्रश्न दो-चरणीय लिंक तक सीमित हैं
  2. अपर्याप्त जटिलता: वास्तविक दुनिया के परिदृश्यों में बहु-विधेय इंटरैक्शन, अस्पष्ट या संभाव्य संबंध, बहु-स्रोत शोर साक्ष्य शामिल हैं
  3. गहराई सीमा: गहरे और अधिक शोरपूर्ण बहु-चरणीय संबंधों तक विस्तारित नहीं किया गया है

भविष्य की दिशाएं

  1. नई मॉडलिंग प्रतिमान: संग्रहीत और संदर्भ ज्ञान को गतिशील रूप से एकीकृत करने में सक्षम नई मॉडलिंग और प्रशिक्षण प्रतिमान विकसित करने की आवश्यकता है
  2. तंत्र अनुसंधान: चुनिंदा ज्ञान अधिरूद्धि के तंत्र कार्यान्वयन का गहन अध्ययन
  3. जटिलता विस्तार: विश्लेषण को गहरे, अधिक जटिल बहु-चरणीय संबंधों और वास्तविक परिदृश्यों तक विस्तारित करना

गहन मूल्यांकन

शक्तियां

  1. समस्या महत्व: LLMs में ज्ञान संघर्ष परिदृश्यों में महत्वपूर्ण सीमाओं की पहचान और व्यवस्थित अध्ययन
  2. कठोर प्रयोगात्मक डिज़ाइन: वास्तविक दुनिया और सिंथेटिक वातावरण का संयोजन, व्यापक विश्लेषण दृष्टिकोण प्रदान करता है
  3. अंतर्दृष्टिपूर्ण निष्कर्ष: दो स्पष्ट विफलता पैटर्न का खुलासा, LLMs व्यवहार को समझने के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है
  4. पद्धतिगत योगदान: प्रतिकथनात्मक तर्क क्षमता का मूल्यांकन करने के लिए प्रभावी ढांचा प्रस्तुत करता है

कमियां

  1. समाधान की कमी: मुख्य रूप से समस्याओं की पहचान करता है लेकिन प्रभावी समाधान प्रस्तुत नहीं करता है
  2. सीमित मॉडल श्रेणी: मुख्य रूप से कुछ मॉडलों का परीक्षण करता है, व्यापक मॉडल मूल्यांकन की कमी है
  3. कार्य जटिलता: वर्तमान कार्य सेटिंग अपेक्षाकृत सरल है, वास्तविक अनुप्रयोगों से अंतर है
  4. अपर्याप्त सैद्धांतिक विश्लेषण: विफलता तंत्र की गहन सैद्धांतिक व्याख्या की कमी है

प्रभाव

  1. शैक्षणिक मूल्य: LLMs ज्ञान एकीकरण अनुसंधान के लिए महत्वपूर्ण आधार प्रदान करता है, बाद के अनुसंधान दिशाओं को प्रेरित कर सकता है
  2. व्यावहारिक महत्व: RAG सिस्टम और गतिशील ज्ञान एकीकरण की आवश्यकता वाले अनुप्रयोगों के लिए महत्वपूर्ण मार्गदर्शन
  3. चेतावनी प्रभाव: शोधकर्ताओं और चिकित्सकों को ज्ञान संघर्ष परिदृश्यों में LLMs की सीमाओं के बारे में सचेत करता है

लागू परिदृश्य

  1. पुनः प्राप्ति-संवर्धित सिस्टम: RAG सिस्टम को संघर्षपूर्ण जानकारी को संभालने के डिज़ाइन में मार्गदर्शन देता है
  2. इंटरैक्टिव AI: काल्पनिक परिदृश्यों को संभालने की आवश्यकता वाले संवाद प्रणालियों के लिए संदर्भ प्रदान करता है
  3. सुरक्षा-महत्वपूर्ण अनुप्रयोग: सटीक सशर्त तर्क की आवश्यकता वाले डोमेन में अनुप्रयोग के समय विशेष सावधानी की आवश्यकता है

संदर्भ

पेपर संबंधित क्षेत्र के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें शामिल हैं:

  • बहु-चरणीय प्रश्न उत्तर बेंचमार्क (HotpotQA, NaturalQuestions)
  • ज्ञान संघर्ष हैंडलिंग विधियां (RAG, REALM, DPR)
  • कारणात्मक तर्क मूल्यांकन (CLadder, CounterBench)
  • LLMs तंत्र विश्लेषण (Grokking transformers आदि)

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुसंधान पत्र है जो प्रतिकथनात्मक तर्क में LLMs की महत्वपूर्ण सीमाओं की व्यवस्थित रूप से पहचान और विश्लेषण करता है। हालांकि यह संपूर्ण समाधान प्रदान नहीं करता है, लेकिन यह LLMs की ज्ञान एकीकरण क्षमता को समझने और सुधारने के लिए एक महत्वपूर्ण आधार स्थापित करता है, और इस क्षेत्र के विकास के लिए महत्वपूर्ण प्रेरणा प्रदान करता है।