2025-11-15T02:58:11.720673

Uncertainty Quantification for Hallucination Detection in Large Language Models: Foundations, Methodology, and Future Directions

Kang, Bakman, Yaldiz et al.
The rapid advancement of large language models (LLMs) has transformed the landscape of natural language processing, enabling breakthroughs across a wide range of areas including question answering, machine translation, and text summarization. Yet, their deployment in real-world applications has raised concerns over reliability and trustworthiness, as LLMs remain prone to hallucinations that produce plausible but factually incorrect outputs. Uncertainty quantification (UQ) has emerged as a central research direction to address this issue, offering principled measures for assessing the trustworthiness of model generations. We begin by introducing the foundations of UQ, from its formal definition to the traditional distinction between epistemic and aleatoric uncertainty, and then highlight how these concepts have been adapted to the context of LLMs. Building on this, we examine the role of UQ in hallucination detection, where quantifying uncertainty provides a mechanism for identifying unreliable generations and improving reliability. We systematically categorize a wide spectrum of existing methods along multiple dimensions and present empirical results for several representative approaches. Finally, we discuss current limitations and outline promising future research directions, providing a clearer picture of the current landscape of LLM UQ for hallucination detection.
academic

बड़े भाषा मॉडल में हॉलुसिनेशन डिटेक्शन के लिए अनिश्चितता परिमाणीकरण: आधार, पद्धति, और भविष्य की दिशाएं

बुनियादी जानकारी

  • पेपर ID: 2510.12040
  • शीर्षक: Uncertainty Quantification for Hallucination Detection in Large Language Models: Foundations, Methodology, and Future Directions
  • लेखक: Sungmin Kang, Yavuz Faruk Bakman, Duygu Nur Yaldiz, Baturalp Buyukates, Salman Avestimehr
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन समय: 15 अक्टूबर, 2025 (प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.12040

सारांश

बड़े भाषा मॉडल (LLMs) का तीव्र विकास प्राकृतिक भाषा प्रसंस्करण के परिदृश्य को बदल गया है, प्रश्नोत्तर, मशीन अनुवाद और पाठ सारांश जैसे क्षेत्रों में सफलता प्राप्त की है। हालांकि, वास्तविक अनुप्रयोगों में उनकी तैनाती विश्वसनीयता और विश्वास्यता के बारे में चिंताएं उठाती है, क्योंकि LLMs अभी भी ऐसे आउटपुट उत्पन्न करने के लिए प्रवण हैं जो प्रशंसनीय प्रतीत होते हैं लेकिन तथ्यात्मक रूप से गलत हैं। अनिश्चितता परिमाणीकरण (UQ) इस समस्या को संबोधित करने के लिए एक मुख्य अनुसंधान दिशा बन गई है, जो मॉडल द्वारा उत्पन्न विश्वास्यता का आकलन करने के लिए सिद्धांतपूर्ण उपाय प्रदान करती है। यह पेपर पहले UQ के सैद्धांतिक आधार का परिचय देता है, औपचारिक परिभाषाओं से लेकर ज्ञानात्मक अनिश्चितता और आकस्मिक अनिश्चितता के पारंपरिक विभाजन तक, फिर इन अवधारणाओं को LLMs के संदर्भ में कैसे अनुकूलित किया जाए यह दर्शाता है। इसके आधार पर, हम हॉलुसिनेशन डिटेक्शन में UQ की भूमिका की जांच करते हैं, जहां परिमाणीकृत अनिश्चितता अविश्वसनीय पीढ़ी की पहचान करने और विश्वसनीयता में सुधार के लिए तंत्र प्रदान करती है। हम कई आयामों के साथ मौजूदा तरीकों को व्यवस्थित रूप से वर्गीकृत करते हैं और कई प्रतिनिधि तरीकों के प्रायोगिक परिणाम प्रदर्शित करते हैं। अंत में, हम वर्तमान सीमाओं पर चर्चा करते हैं और आशाजनक भविष्य के अनुसंधान दिशाओं की रूपरेखा देते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्या

यह अनुसंधान जो मुख्य समस्या हल करना चाहता है वह है बड़े भाषा मॉडल में हॉलुसिनेशन को प्रभावी ढंग से कैसे डिटेक्ट और परिमाणित किया जाए। विशेष रूप से इसमें शामिल हैं:

  1. हॉलुसिनेशन डिटेक्शन की चुनौती: LLMs अक्सर ऐसे आउटपुट उत्पन्न करते हैं जो प्रशंसनीय प्रतीत होते हैं लेकिन तथ्यात्मक रूप से गलत हैं, यह चिकित्सा, कानून, विपणन आदि उच्च-जोखिम क्षेत्रों में विशेष रूप से खतरनाक है
  2. विश्वास्यता मूल्यांकन: मॉडल आउटपुट की विश्वसनीयता और आत्मविश्वास का आकलन करने के लिए प्रभावी तंत्र की कमी
  3. अनिश्चितता परिमाणीकरण की चुनौती: पारंपरिक UQ तरीके स्वचालित पीढ़ी वाले LLMs पर सीधे लागू करना मुश्किल है

समस्या की महत्ता

  1. व्यावहारिक मूल्य: उच्च-जोखिम अनुप्रयोग परिदृश्यों में, गलत मॉडल आउटपुट गंभीर परिणाम दे सकते हैं
  2. मॉडल विश्वास्यता: LLMs की विश्वास्यता में सुधार इसके व्यापक अनुप्रयोग की पूर्वशर्त है
  3. सैद्धांतिक महत्व: जनरेटिव मॉडल के अनिश्चितता परिमाणीकरण के लिए सैद्धांतिक आधार प्रदान करता है

मौजूदा तरीकों की सीमाएं

  1. पारंपरिक UQ तरीके अनुपयुक्त: वर्गीकरण कार्यों के लिए UQ तरीके खुली-अंत पीढ़ी कार्यों पर सीधे लागू नहीं हो सकते
  2. व्यवस्थित ढांचे की कमी: मौजूदा हॉलुसिनेशन डिटेक्शन तरीकों में एकीकृत सैद्धांतिक ढांचे की कमी है
  3. मूल्यांकन मानदंड असंगत: विभिन्न तरीके विभिन्न मूल्यांकन मेट्रिक्स का उपयोग करते हैं, निष्पक्ष तुलना करना मुश्किल है

मुख्य योगदान

  1. सैद्धांतिक योगदान: पारंपरिक अनिश्चितता परिमाणीकरण सिद्धांत को LLMs की पीढ़ी परिदृश्य में व्यवस्थित रूप से अनुकूलित करता है, LLMs में ज्ञानात्मक अनिश्चितता और आकस्मिक अनिश्चितता के प्रदर्शन को स्पष्ट रूप से अलग करता है
  2. विधि वर्गीकरण ढांचा: चार-आयामी वर्गीकरण प्रणाली प्रस्तावित करता है (अवधारणा विधि, नमूनाकरण आवश्यकताएं, मॉडल पहुंच, प्रशिक्षण निर्भरता), 30+ UQ तरीकों को व्यवस्थित रूप से व्यवस्थित करता है
  3. प्रायोगिक मूल्यांकन: कई डेटासेट पर प्रतिनिधि तरीकों की व्यापक प्रायोगिक तुलना, बेंचमार्क मूल्यांकन परिणाम प्रदान करता है
  4. भविष्य की दिशा मार्गदर्शन: वर्तमान तरीकों की सीमाओं का गहन विश्लेषण, 7 विशिष्ट भविष्य अनुसंधान दिशाएं प्रस्तावित करता है

विधि विवरण

कार्य परिभाषा

इनपुट: क्वेरी x और मॉडल द्वारा उत्पन्न उत्तर y आउटपुट: अनिश्चितता स्कोर UQ(x,y), आदर्श रूप से उत्तर की सही होने से नकारात्मक रूप से संबंधित होना चाहिए लक्ष्य: E1_{U(x₁,y₁)<U(x₂,y₂)} · 1_{y₁∈Y₁∧y₂∉Y₂} को अधिकतम करना, अर्थात सही आउटपुट को कम अनिश्चितता स्कोर प्राप्त करना चाहिए

चार-आयामी वर्गीकरण ढांचा

1. अवधारणा विधि आयाम

  • टोकन संभाव्यता विधि: उत्पन्न अनुक्रम की सशर्त संभाव्यता पर आधारित
    • सशर्त अनुक्रम संभाव्यता (CSP): CSP(y,x) = log P(y|x) = Σⱼ log P(yⱼ|y<ⱼ,x)
    • लंबाई सामान्यीकृत स्कोरिंग (LNS): औसत टोकन लॉग संभाव्यता
    • सिमेंटिक एंट्रॉपी: सिमेंटिक क्लस्टरिंग पर आधारित एंट्रॉपी गणना
  • आउटपुट सामंजस्य विधि: कई नमूनों के माध्यम से आउटपुट सामंजस्य जांचना
    • कर्नल भाषा एंट्रॉपी (KLE): von Neumann एंट्रॉपी का उपयोग करके सिमेंटिक कर्नल को परिमाणित करना
    • सिमेंटिक घनत्व: सिमेंटिक स्पेस में प्रतिक्रिया समर्थन घनत्व का अनुमान
  • आंतरिक स्थिति जांच: मॉडल के आंतरिक प्रतिनिधित्व का विश्लेषण
    • महालनोबिस दूरी: छिपी हुई स्थिति और प्रशिक्षण वितरण के बीच दूरी को मापना
    • ध्यान विश्लेषण: अनिश्चितता डिटेक्ट करने के लिए ध्यान वजन पैटर्न का उपयोग
  • स्व-जांच विधि: मॉडल स्व-मूल्यांकन
    • P(True): मॉडल के अपने आउटपुट की सही होने की संभाव्यता का अनुमान
    • मौखिक आत्मविश्वास: सीधे मॉडल के आत्मविश्वास स्कोर के बारे में पूछना

2. नमूनाकरण आवश्यकता आयाम

  • एकल नमूनाकरण: केवल एक अनुमान की आवश्यकता, उच्च कम्प्यूटेशनल दक्षता
  • बहु-नमूनाकरण: कई अनुमानों की आवश्यकता, आउटपुट विविधता के माध्यम से अनिश्चितता का अनुमान

3. मॉडल पहुंच आयाम

  • ब्लैक-बॉक्स: केवल आउटपुट पाठ तक पहुंच
  • ग्रे-बॉक्स: टोकन संभाव्यता जैसी आंशिक आंतरिक जानकारी तक पहुंच
  • व्हाइट-बॉक्स: मॉडल की आंतरिक स्थिति और पैरामीटर तक पूर्ण पहुंच

4. प्रशिक्षण निर्भरता आयाम

  • पर्यवेक्षित विधि: अनिश्चितता अनुमानक को प्रशिक्षित करने के लिए लेबल किए गए डेटा की आवश्यकता
  • अनुपर्यवेक्षित विधि: मॉडल के व्यवहार से सीधे अनिश्चितता का अनुमान

तकनीकी नवाचार बिंदु

  1. सैद्धांतिक अनुकूलन: Bayesian अनिश्चितता अपघटन सिद्धांत को जनरेटिव LLMs में सफलतापूर्वक अनुकूलित करता है
  2. बहु-आयामी वर्गीकरण: पहले की तुलना में अधिक बारीक विधि वर्गीकरण ढांचा प्रदान करता है
  3. एकीकृत मूल्यांकन: सुसंगत मूल्यांकन प्रोटोकॉल और मेट्रिक्स प्रणाली स्थापित करता है
  4. लंबे पाठ विस्तार: UQ को छोटे पाठ प्रश्नोत्तर से लंबे पाठ पीढ़ी तक विस्तारित करता है

प्रायोगिक सेटअप

डेटासेट

  1. TriviaQA: 1,000 खुली डोमेन प्रश्नोत्तर नमूने, तथ्यात्मक ज्ञान का परीक्षण
  2. GSM8K: 1,000 गणितीय तर्क समस्याएं, तार्किक तर्क क्षमता का परीक्षण
  3. FactScore-Bio: जीवनी प्रकार के लंबे पाठ पीढ़ी, कई तथ्यात्मक कथनों की सटीकता का परीक्षण

मूल्यांकन मेट्रिक्स

  1. थ्रेसहोल्ड-अज्ञेय मेट्रिक्स (मुख्य रूप से उपयोग):
    • AUROC: रिसीवर ऑपरेटिंग विशेषता वक्र के तहत क्षेत्र, रेंज 0.5-1.0
    • PRR: भविष्यवाणी-अस्वीकार अनुपात, कम आत्मविश्वास वाली भविष्यवाणियों को फ़िल्टर करने के प्रभाव को मापता है
    • AUPRC: सटीकता-रिकॉल वक्र के तहत क्षेत्र
  2. थ्रेसहोल्ड-संबंधित मेट्रिक्स:
    • सटीकता, सटीकता, रिकॉल, F1 स्कोर (कैलिब्रेशन की आवश्यकता)

तुलना विधि

17 प्रतिनिधि UQ तरीकों का मूल्यांकन, जिसमें शामिल हैं:

  • LARS, MARS, SAPLMA (पर्यवेक्षित विधि)
  • Semantic Entropy, SAR, KLE (अनुपर्यवेक्षित विधि)
  • P(True), Cross-Examination (स्व-जांच विधि)

कार्यान्वयन विवरण

  • LLaMA-3-8B (खुला स्रोत) और GPT-4o-mini (बंद स्रोत) दोनों मॉडल का उपयोग
  • TruthTorchLM लाइब्रेरी के माध्यम से एकीकृत मूल्यांकन
  • निष्पक्ष तुलना सुनिश्चित करने के लिए कई कैलिब्रेशन विधियों का उपयोग

प्रायोगिक परिणाम

मुख्य परिणाम

विधि श्रेणीLLaMA-3 8B (TriviaQA)GPT-4o-mini (TriviaQA)LLaMA-3 8B (GSM8K)
LARS (पर्यवेक्षित)0.861 AUROC0.852 AUROC0.834 AUROC
SAR (अनुपर्यवेक्षित)0.804 AUROC0.835 AUROC0.768 AUROC
Semantic Entropy0.799 AUROC0.813 AUROC0.699 AUROC
Verbalized Confidence0.759 AUROC0.836 AUROC0.579 AUROC

मुख्य निष्कर्ष

  1. पर्यवेक्षित विधि लाभ: LARS और SAPLMA जैसी पर्यवेक्षित विधियां अधिकांश कार्यों पर सर्वश्रेष्ठ प्रदर्शन करती हैं
  2. कार्य भिन्नता: विभिन्न कार्यों के लिए इष्टतम विधि अलग है, जैसे GPT-4o-mini GSM8K पर Multi-LLM Collab सर्वश्रेष्ठ प्रदर्शन करता है (0.933 AUROC)
  3. लंबे पाठ की चुनौती: FactScore-Bio पर सभी विधियों का प्रदर्शन में उल्लेखनीय गिरावट है, जो दर्शाता है कि लंबे पाठ UQ अभी भी एक चुनौती है
  4. मॉडल निर्भरता: एक ही विधि विभिन्न मॉडलों पर काफी भिन्न प्रदर्शन करती है

विलोपन प्रयोग निष्कर्ष

  1. नमूनाकरण संख्या प्रभाव: बहु-नमूनाकरण विधियों का प्रदर्शन नमूनाकरण संख्या के साथ बेहतर होता है, लेकिन सीमांत प्रभाव घटते हैं
  2. कैलिब्रेशन महत्व: उचित कैलिब्रेशन विभिन्न विधियों की तुलनीयता में उल्लेखनीय सुधार करता है
  3. विशेषता महत्व: आंतरिक स्थिति विधियों में, मध्य परत विशेषताएं आउटपुट परत विशेषताओं की तुलना में अधिक प्रभावी हैं

संबंधित कार्य

मुख्य अनुसंधान दिशाएं

  1. पारंपरिक UQ सिद्धांत: Bayesian तंत्रिका नेटवर्क, समूह सीखना, कैलिब्रेशन विधियां
  2. LLM हॉलुसिनेशन डिटेक्शन: तथ्य सत्यापन, सामंजस्य जांच, बाहरी उपकरण सहायता
  3. जनरेटिव मॉडल अनिश्चितता: अनुक्रम-स्तरीय अनिश्चितता परिमाणीकरण विधियां

इस पेपर के सापेक्ष लाभ

  1. व्यवस्थितता: पहली बार LLM UQ का व्यापक सारांश और वर्गीकरण प्रदान करता है
  2. व्यावहारिकता: हॉलुसिनेशन डिटेक्शन के व्यावहारिक अनुप्रयोग परिदृश्यों पर ध्यान केंद्रित करता है
  3. व्यापकता: सैद्धांतिक आधार, विधि वर्गीकरण, प्रायोगिक मूल्यांकन और भविष्य की दिशाओं को कवर करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. UQ प्रभावशीलता: अनिश्चितता परिमाणीकरण LLM हॉलुसिनेशन डिटेक्ट करने के लिए एक प्रभावी उपकरण है
  2. विधि विविधता: विभिन्न प्रकार की UQ विधियों के अपने फायदे और नुकसान हैं, विभिन्न परिदृश्यों के लिए उपयुक्त हैं
  3. मूल्यांकन महत्व: एकीकृत मूल्यांकन ढांचा विधि तुलना के लिए महत्वपूर्ण है
  4. विकास स्थान: यह क्षेत्र अभी भी कई अनसुलझी सैद्धांतिक और व्यावहारिक समस्याओं से भरा है

सीमाएं

  1. ज्ञान सीमा समस्या: LLM का ज्ञान समय-संवेदनशील है, UQ पुरानी जानकारी समस्या को हल नहीं कर सकता
  2. स्कोर व्याख्यात्मकता: अधिकांश UQ विधियों द्वारा उत्पादित स्कोर में सहज संभाव्यता व्याख्या की कमी है
  3. कम्प्यूटेशनल लागत: समूह विधियां LLM पैमाने पर कम्प्यूटेशनल रूप से महंगी हैं
  4. लंबे पाठ की चुनौती: लंबे पाठ पीढ़ी के लिए UQ अभी भी प्रभावी समाधान की कमी है

भविष्य की दिशाएं

  1. सैद्धांतिक आधार: जनरेटिव मॉडल UQ के लिए अधिक कठोर सिद्धांत विकसित करना
  2. लंबे पाठ UQ: लंबे पाठ के लिए कथन-स्तरीय अनिश्चितता परिमाणीकरण विकसित करना
  3. डिकोडिंग रणनीति प्रभाव: विभिन्न डिकोडिंग रणनीतियों के UQ पर प्रभाव का अध्ययन करना
  4. नई अनिश्चितता अपघटन: पारंपरिक ज्ञानात्मक/आकस्मिक द्विभाजन से परे
  5. व्यावहारिक अनुप्रयोग: UQ को अनुमान, संवाद आदि व्यावहारिक प्रणालियों में एकीकृत करना

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक गहराई: शास्त्रीय UQ सिद्धांत को LLM परिदृश्य में व्यवस्थित रूप से अनुकूलित करता है, दृढ़ सैद्धांतिक आधार
  2. व्यापक वर्गीकरण: चार-आयामी वर्गीकरण ढांचा स्पष्ट और व्यापक है, विभिन्न विधियों की विशेषताओं को समझने में सहायता करता है
  3. पर्याप्त प्रयोग: कई डेटासेट और मॉडल पर व्यापक प्रायोगिक तुलना
  4. व्यावहारिक मूल्य: सीधे उपयोग के लिए मूल्यांकन लाइब्रेरी और बेंचमार्क परिणाम प्रदान करता है
  5. दूरदर्शिता: सीमाओं का गहन विश्लेषण और विशिष्ट भविष्य अनुसंधान दिशाएं प्रस्तावित करता है

कमजोरियां

  1. सीमित विधि नवाचार: मुख्य रूप से सारांश कार्य है, मूल विधि योगदान अपेक्षाकृत कम है
  2. अपर्याप्त लंबे पाठ प्रयोग: लंबे पाठ UQ के प्रयोग अपेक्षाकृत सरल हैं, गहन विश्लेषण अपर्याप्त है
  3. सीमित सैद्धांतिक विश्लेषण: विभिन्न विधियों की सैद्धांतिक विशेषताओं का विश्लेषण अधिक गहन हो सकता है
  4. कम्प्यूटेशनल दक्षता विश्लेषण की कमी: विभिन्न विधियों की कम्प्यूटेशनल जटिलता का व्यवस्थित विश्लेषण नहीं

प्रभाव

  1. शैक्षणिक मूल्य: LLM UQ अनुसंधान के लिए महत्वपूर्ण सैद्धांतिक ढांचा और प्रायोगिक बेंचमार्क प्रदान करता है
  2. व्यावहारिक मूल्य: औद्योगिक क्षेत्र को LLM UQ अनुप्रयोग के लिए व्यावहारिक मार्गदर्शन प्रदान करता है
  3. पुनरुत्पादनीयता: मूल्यांकन लाइब्रेरी खुला स्रोत करता है, बाद के अनुसंधान को पुनरुत्पादन और तुलना में सुविधा प्रदान करता है
  4. क्षेत्र प्रगति: इस क्षेत्र का महत्वपूर्ण संदर्भ साहित्य बनने की संभावना है

लागू परिदृश्य

  1. अनुसंधान संदर्भ: LLM अनिश्चितता परिमाणीकरण अनुसंधान के लिए परिचय और संदर्भ सामग्री के रूप में उपयुक्त
  2. विधि चयन: व्यावहारिक अनुप्रयोगों में उपयुक्त UQ विधि चुनने के लिए मार्गदर्शन प्रदान करता है
  3. बेंचमार्क मूल्यांकन: नई विधियों के लिए मानकीकृत मूल्यांकन ढांचा प्रदान करता है
  4. शिक्षण संसाधन: संबंधित पाठ्यक्रमों के लिए शिक्षण सामग्री के रूप में कार्य कर सकता है

संदर्भ

पेपर में समृद्ध संबंधित साहित्य का हवाला दिया गया है, मुख्य रूप से शामिल हैं:

  • शास्त्रीय अनिश्चितता परिमाणीकरण सिद्धांत (Bayesian विधि, समूह सीखना)
  • LLM हॉलुसिनेशन डिटेक्शन विधियां (तथ्य सत्यापन, सामंजस्य जांच)
  • मूल्यांकन विधियां और डेटासेट (TriviaQA, GSM8K, FactScore आदि)
  • नवीनतम UQ विधियां (Semantic Entropy, MARS, LARS आदि)

यह पेपर LLM अनिश्चितता परिमाणीकरण क्षेत्र के लिए एक व्यापक और गहन सारांश प्रदान करता है, न केवल सैद्धांतिक आधार और मौजूदा विधियों को व्यवस्थित करता है, बल्कि प्रयोगों के माध्यम से मूल्यवान बेंचमार्क परिणाम भी प्रदान करता है, और भविष्य के अनुसंधान के लिए दिशा निर्दिष्ट करता है। इस क्षेत्र के शोधकर्ताओं और व्यावहारिकों के लिए, यह एक अत्यंत मूल्यवान संदर्भ सामग्री है।