2025-11-23T14:31:17.888154

Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models

Shim, Ju, Park et al.
Recent advancements in large language models (LLMs) have shown strong performance in natural language understanding and generation tasks. However, LLMs continue to encounter challenges with hallucinations, where models generate plausible but incorrect information. While several factors contribute to hallucinations, the impact of ill-formed prompts, prompts with ambiguous wording, incorrect grammar, or incomplete information, was relatively under explored. To address this, we introduce Multi-stage Prompt Refinement (MPR), a framework designed to systematically improve these ill-formed prompts across multiple stages. Each stage addresses specific errors such as punctuation, typographical mistakes, and misuse of key terms, using small language models (SLMs) fine-tuned for these tasks. MPR iteratively enhances the clarity of prompts with additional context and employs a self-reflection mechanism with ranking to prioritize the most relevant input. Experimental results on hallucination benchmarks show that prompts refined by MPR achieve over an 85~\% win rate compared to their original forms, demonstrating its effectiveness in reducing hallucinations and improving LLM output accuracy. Interestingly, we reveal that MPR can be combined with existing post-hoc hallucination mitigation frameworks, further enhancing its versatility. MPR provides a lightweight and adaptable solution for enhancing LLM reliability across various domains.
academic

बहु-चरणीय प्रॉम्प्ट परिशोधन बड़े भाषा मॉडल में भ्रम को कम करने के लिए

मूल जानकारी

  • पेपर ID: 2510.12032
  • शीर्षक: Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models
  • लेखक: Jung-Woo Shim, Yeong-Joon Ju, Ji-Hoon Park, Seong-Whan Lee
  • संस्थान: कोरिया विश्वविद्यालय, कृत्रिम बुद्धिमत्ता विभाग
  • वर्गीकरण: cs.CL cs.AI cs.LG
  • प्रकाशन समय: 14 अक्टूबर 2025 (arXiv)
  • पेपर लिंक: https://arxiv.org/abs/2510.12032

सारांश

बड़े भाषा मॉडल (LLM) प्राकृतिक भाषा समझ और पीढ़ी कार्यों में उत्कृष्ट प्रदर्शन करते हैं, लेकिन अभी भी भ्रम की समस्या का सामना करते हैं - यानी ऐसी जानकारी उत्पन्न करना जो प्रशंसनीय लगे लेकिन वास्तव में गलत हो। हालांकि कई कारक भ्रम का कारण बनते हैं, खराब स्वरूपित प्रॉम्प्ट (अस्पष्ट शब्दावली, व्याकरणिक त्रुटियां या अधूरी जानकारी युक्त) के प्रभाव को अपेक्षाकृत कम खोजा गया है। यह पेपर बहु-चरणीय प्रॉम्प्ट परिशोधन (MPR) ढांचा प्रस्तावित करता है, जो इन खराब स्वरूपित प्रॉम्प्ट को कई चरणों में व्यवस्थित रूप से सुधारता है। प्रत्येक चरण विशिष्ट कार्यों के लिए सूक्ष्म-समायोजित छोटे भाषा मॉडल का उपयोग करता है, जो विराम चिह्न, वर्तनी त्रुटियों और मुख्य शब्दों के दुरुपयोग जैसी विशिष्ट समस्याओं को संबोधित करता है। MPR पुनरावृत्तिपूर्ण रूप से प्रॉम्प्ट स्पष्टता को बढ़ाता है और आत्म-प्रतिबिंब तंत्र तथा रैंकिंग को नियोजित करता है ताकि सबसे प्रासंगिक इनपुट को प्राथमिकता दी जा सके। प्रायोगिक परिणाम दर्शाते हैं कि MPR-अनुकूलित प्रॉम्प्ट मूल रूप की तुलना में 85% से अधिक जीत दर प्राप्त करते हैं, भ्रम को प्रभावी ढंग से कम करते हैं और LLM आउटपुट सटीकता में सुधार करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

बड़े भाषा मॉडल कई NLP कार्यों में उत्कृष्ट प्रदर्शन करते हैं, लेकिन एक महत्वपूर्ण चुनौती का सामना करते हैं: भ्रम की समस्या - यानी मॉडल ऐसी जानकारी उत्पन्न करता है जो प्रशंसनीय लगे लेकिन वास्तव में गलत हो। यह चिकित्सा, शिक्षा जैसे महत्वपूर्ण क्षेत्रों में विशेष रूप से खतरनाक है, जहां सटीक जानकारी संचार अत्यंत महत्वपूर्ण है।

मौजूदा विधियों की सीमाएं

भ्रम को कम करने के लिए वर्तमान विधियां मुख्य रूप से निम्न पर केंद्रित हैं:

  1. मॉडल आर्किटेक्चर समायोजन: LLM के आंतरिक तंत्र को संशोधित करना, लेकिन कम्प्यूटेशनल लागत अधिक है
  2. पोस्ट-प्रोसेसिंग तकनीकें: पीढ़ी के बाद सामग्री को सत्यापित करना, जो सिस्टम जटिलता और विलंब बढ़ाता है
  3. सुदृढ़ीकरण सीखना सूक्ष्म-समायोजन: बड़ी कम्प्यूटेशनल संसाधनों की आवश्यकता, वास्तविक समय अनुप्रयोग के लिए कठिन

ये विधियां आमतौर पर एक महत्वपूर्ण कारक को नजरअंदाज करती हैं: उपयोगकर्ता प्रॉम्प्ट की गुणवत्ता। खराब स्वरूपित प्रॉम्प्ट सीधे अनुचित आउटपुट की ओर ले जाते हैं, लेकिन मौजूदा समाधान अक्सर बड़े मॉडल या कम्प्यूटेशनल रूप से गहन तकनीकों पर निर्भर करते हैं।

अनुसंधान प्रेरणा

यह पेपर मानता है कि इनपुट प्रॉम्प्ट की गुणवत्ता को व्यवस्थित रूप से अनुकूलित करके, भ्रम की समस्या को स्रोत से कम किया जा सकता है। मॉडल आर्किटेक्चर को संशोधित करने या आउटपुट को पोस्ट-प्रोसेस करने की तुलना में, प्रॉम्प्ट अनुकूलन एक अधिक हल्का, अधिक स्केलेबल समाधान है।

मुख्य योगदान

  1. MPR ढांचा प्रस्तावित करना: खराब स्वरूपित प्रॉम्प्ट के कारण होने वाली भ्रम समस्या को संबोधित करने वाला पहला व्यवस्थित बहु-चरणीय अनुकूलन ढांचा
  2. हल्का डिजाइन: बड़े मॉडल के बजाय छोटे भाषा मॉडल (SLM) का उपयोग, कम्प्यूटेशनल लागत में महत्वपूर्ण कमी
  3. मॉडल-अज्ञेयवादी: किसी भी LLM आर्किटेक्चर के साथ निर्बाध एकीकरण, उच्च अनुकूलनशीलता
  4. व्यापक मूल्यांकन: कई डेटासेट पर प्रभावशीलता सत्यापित, 85% से अधिक जीत दर
  5. अनुकूलता सत्यापन: प्रमाणित कि मौजूदा पोस्ट-प्रोसेसिंग भ्रम-कमी विधियों के साथ संयुक्त किया जा सकता है, आगे प्रदर्शन में सुधार

विधि विवरण

कार्य परिभाषा

इनपुट: खराब स्वरूपित उपयोगकर्ता प्रॉम्प्ट (विराम चिह्न त्रुटियां, वर्तनी त्रुटियां, व्याकरणिक समस्याएं, शब्दावली दुरुपयोग आदि युक्त) आउटपुट: बहु-चरणीय अनुकूलन के माध्यम से उच्च गुणवत्ता वाला प्रॉम्प्ट उद्देश्य: LLM द्वारा उत्पन्न सामग्री में भ्रम को कम करना, आउटपुट सटीकता और प्रासंगिकता में सुधार

मॉडल आर्किटेक्चर

MPR ढांचे में तीन मुख्य चरण हैं:

चरण 1: त्रुटि पहचान और वर्गीकरण

विशेष रूप से सूक्ष्म-समायोजित SLM का उपयोग करके प्रॉम्प्ट में त्रुटि प्रकारों की पहचान करना, उन्हें निम्न में वर्गीकृत करना:

  • चरण 1 त्रुटियां: मूल विराम चिह्न और पूंजीकरण त्रुटियां
  • चरण 2 त्रुटियां: वर्तनी और व्याकरणिक त्रुटियां
  • चरण 3 त्रुटियां: शब्दार्थ अस्पष्टता और शब्दावली दुरुपयोग

चरण 2: बहु-चरणीय प्रॉम्प्ट सफाई

त्रुटि प्रकार के आधार पर, संबंधित विशेषीकृत SLM का उपयोग करके सुधार:

चरण 1: विराम चिह्न सुधार

इनपुट: "what is the caPital of fRAnce?"
आउटपुट: "What is the capital of France?"

चरण 2: वर्तनी और व्याकरण सुधार

इनपुट: "See from spaiin moroco?"
आउटपुट: "Can you see Spain from Morocco?"

चरण 3: शब्दार्थ संरेखण और पुनर्लेखन

इनपुट: "Tell me about transformers"
आउटपुट: "Can you explain how Transformer-based neural networks work?"

चरण 3: पुनरावृत्तिपूर्ण विवरण पीढ़ी

  • विवरण पीढ़ी: अस्पष्ट शब्दों में संदर्भ जानकारी जोड़ना
  • आत्म-प्रतिबिंब सत्यापन: विवरण की पर्याप्तता और संक्षिप्तता का मूल्यांकन
  • भ्रम रैंकिंग: सबसे सुसंगत और प्रासंगिक विवरण का चयन
  • बुद्धिमान एकीकरण: केवल आवश्यकता होने पर विवरण जोड़ना, दक्षता में सुधार

तकनीकी नवाचार बिंदु

  1. चरणबद्ध प्रसंस्करण रणनीति: विभिन्न प्रकार की त्रुटियों के लिए विभिन्न प्रसंस्करण विधियों की आवश्यकता होती है, चरणबद्ध प्रसंस्करण अधिक सटीक और प्रभावी है
  2. छोटे मॉडल विशेषज्ञता: प्रत्येक SLM विशिष्ट कार्य के लिए सूक्ष्म-समायोजित, दक्षता बनाए रखते हुए गुणवत्ता सुनिश्चित करता है
  3. QLoRA सूक्ष्म-समायोजन तकनीक: 4-बिट परिमाणीकरण निम्न-रैंक अनुकूलन का उपयोग, स्मृति आवश्यकता को कम करते हुए प्रदर्शन बनाए रखता है
  4. अनुकूली विवरण पीढ़ी: आवश्यकतानुसार गतिशील रूप से विवरण उत्पन्न करना, अनावश्यक कम्प्यूटेशनल ओवरहेड से बचना

प्रायोगिक सेटअप

डेटासेट

प्रशिक्षण डेटा निर्माण:

  • OLM विकिपीडिया डेटासेट: विराम चिह्न और व्याकरण अनुकूलन के लिए 10,000 व्याकरणिक रूप से सही प्रविष्टियां
  • CoEdIT डेटासेट: प्रवाहिता, सुसंगतता और शैली पर ध्यान केंद्रित करते हुए गैर-शब्दार्थ परिवर्तन संपादन
  • MQR डेटासेट: शब्दार्थ समतुल्य रूपांतरण प्रशिक्षण के लिए 2,114 प्रश्न पुनर्लेखन जोड़े
  • Magpie डेटासेट: शब्दावली व्याख्या पीढ़ी के लिए 300,000 कीवर्ड-विवरण जोड़े

मूल्यांकन डेटासेट:

  • सुस्वरूपित क्वेरी डेटासेट: 8,000 उपयोगकर्ता प्रश्न जिनकी प्रारूप गुणवत्ता 0.5 से कम है
  • GSM8K: गणित समस्या डेटासेट
  • SQuAD: पठन समझ डेटासेट
  • प्राकृतिक प्रश्न: प्राकृतिक प्रश्न डेटासेट

विनाश रणनीति: ढांचे का पूर्ण परीक्षण करने के लिए, तीन स्तरों की त्रुटियां कृत्रिम रूप से पेश की गईं:

  • चरण 1: मूल विराम चिह्न त्रुटियां
  • चरण 2: वर्तनी और व्याकरण त्रुटियां
  • चरण 3: तकनीकी शब्दावली और संक्षिप्त रूप त्रुटियां

मूल्यांकन मेट्रिक्स

  • भ्रम सूचकांक (HI): उत्पन्न सामग्री की तथ्यात्मक सटीकता को मापना (0-1, जितना कम उतना अच्छा)
  • सामग्री गुणवत्ता स्कोर (CQS): प्रासंगिकता, सुसंगतता और समग्र गुणवत्ता को मापना (0-1, जितना अधिक उतना अच्छा)
  • जीत दर (WR): MPR-अनुकूलित प्रॉम्प्ट की मूल प्रॉम्प्ट की तुलना में प्रदर्शन लाभ प्रतिशत
  • प्रसंस्करण समय (T): ढांचे की प्रसंस्करण दक्षता मूल्यांकन

तुलनात्मक विधियां

  • SelfCheckGPT: शून्य-संसाधन ब्लैक-बॉक्स भ्रम पहचान विधि
  • CoVE: सत्यापन श्रृंखला विधि
  • DRESS: प्राकृतिक भाषा प्रतिक्रिया-आधारित संरेखण विधि
  • MixAlign: ज्ञान संरेखण विधि

कार्यान्वयन विवरण

  • हार्डवेयर: NVIDIA RTX A6000 GPU पर प्रशिक्षण, NVIDIA TITAN V GPU पर अनुमान
  • सूक्ष्म-समायोजन विधि: QLoRA (4-बिट परिमाणीकरण निम्न-रैंक अनुकूलन)
  • मूल्यांकनकर्ता: मुख्य मूल्यांकन मानदंड के रूप में GPT-3.5-turbo API

प्रायोगिक परिणाम

मुख्य परिणाम

सुस्वरूपित क्वेरी डेटासेट पर प्रदर्शन:

मॉडलविनाश स्तरHI ↓CQS ↑WR ↑
आधारभूत-0.810.52-
LLaMA-2 (7B)चरण 10.26 (-0.55)0.80 (+0.28)91%
LLaMA-2 (7B)चरण 30.48 (-0.33)0.60 (+0.08)86%
औसत प्रदर्शन-0.37 (-0.44)0.68 (+0.16)86%

मुख्य निष्कर्ष

  1. सुसंगत सुधार: MPR सभी परीक्षण मॉडल और डेटासेट पर महत्वपूर्ण सुधार दर्शाता है
  2. विनाश स्तर संबंध: विनाश की डिग्री जितनी अधिक होती है, MPR का सुधार प्रभाव उतना अधिक होता है
  3. मॉडल आकार प्रभाव: बड़े मॉडल (जैसे LLaMA-3.2) MPR के विवरण पीढ़ी चरण से अधिक लाभान्वित होते हैं
  4. क्रॉस-डोमेन प्रभावशीलता: गणित (GSM8K), पठन समझ (SQuAD), प्रश्नोत्तर (NQ) जैसे विभिन्न कार्यों में प्रभावी

विलोपन प्रयोग

कॉन्फ़िगरेशनHI ↓CQS ↑WR ↑
पूर्ण MPR0.140.8393%
विवरण पीढ़ी के बिना0.200.7889%
बहु-चरणीय सफाई के बिना0.240.7486%
पुनरावृत्तिपूर्ण रैंकिंग के बिना0.210.7587%

परिणाम दर्शाते हैं कि प्रत्येक घटक समग्र प्रदर्शन में महत्वपूर्ण योगदान देता है, जिसमें बहु-चरणीय सफाई सबसे महत्वपूर्ण घटक है।

मौजूदा विधियों के साथ तुलना

ढांचाHI ↓CQS ↑WR ↑प्रसंस्करण समय (ms)
MPR0.180.8191%1215
SelfCheckGPT0.220.7685%1541
SelfCheckGPT + MPR0.140.8594%1478

MPR न केवल अकेले उत्कृष्ट प्रदर्शन करता है, बल्कि मौजूदा विधियों के साथ संयुक्त होने पर बेहतर परिणाम देता है।

संबंधित कार्य

भ्रम कमी विधियां

मौजूदा विधियां मुख्य रूप से तीन श्रेणियों में विभाजित हैं:

  1. आर्किटेक्चर संशोधन: मॉडल के आंतरिक तंत्र को समायोजित करना, कम्प्यूटेशनल लागत अधिक
  2. पोस्ट-प्रोसेसिंग सत्यापन: पीढ़ी के बाद सामग्री को सत्यापित करना, विलंब बढ़ाता है
  3. सुदृढ़ीकरण सीखना: तथ्यात्मक प्रतिक्रियाओं को पुरस्कृत करना, बड़ी कम्प्यूटेशनल संसाधनों की आवश्यकता

छोटे भाषा मॉडल अनुप्रयोग

SLM विशिष्ट कार्यों पर सूक्ष्म-समायोजन के माध्यम से उत्कृष्ट प्रदर्शन प्राप्त कर सकते हैं, विशेष रूप से उपयुक्त:

  • संसाधन-सीमित वातावरण
  • वास्तविक समय अनुप्रयोग
  • विशिष्ट डोमेन कार्य

प्रॉम्प्ट अनुकूलन तकनीकें

पारंपरिक विधियों में शामिल हैं:

  • LLM प्रॉम्प्ट पुनर्लेखन (कम्प्यूटेशनल लागत अधिक)
  • सुदृढ़ीकरण सीखना पुनरावृत्तिपूर्ण सुधार
  • मानव हस्तक्षेप अनुकूलन

MPR ने छोटे मॉडल का उपयोग करके हल्के प्रॉम्प्ट अनुकूलन को लागू किया है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. प्रभावशीलता सत्यापन: MPR भ्रम को कम करने और आउटपुट गुणवत्ता में सुधार करने में उत्कृष्ट प्रदर्शन करता है
  2. हल्का डिजाइन: मौजूदा विधियों की तुलना में कम्प्यूटेशनल लागत में महत्वपूर्ण कमी
  3. व्यापक प्रयोज्यता: कई LLM आर्किटेक्चर और मौजूदा कमी विधियों के साथ संयोजन के लिए उपयुक्त
  4. व्यावहारिक मूल्य: वास्तविक अनुप्रयोगों के लिए एक स्केलेबल समाधान प्रदान करता है

सीमाएं

  1. डोमेन विशिष्टता: कानूनी, चिकित्सा जैसे विशेष क्षेत्रों में खराब प्रदर्शन हो सकता है
  2. मूल्यांकन मेट्रिक्स सीमाएं: मौजूदा मेट्रिक्स उपयोगकर्ता संतुष्टि और प्रवाहिता को पूरी तरह से कैप्चर नहीं करते
  3. स्वचालन की डिग्री: हालांकि पूरी तरह से स्वचालित, मानव-इन-द-लूप सिस्टम से लाभान्वित हो सकता है

भविष्य की दिशाएं

  1. डोमेन विशेषज्ञता: विशिष्ट डोमेन के लिए सूक्ष्म-समायोजन रणनीति विकसित करना
  2. बहु-मोडल विस्तार: ढांचे को छवि-पाठ जैसे बहु-मोडल वातावरण में विस्तारित करना
  3. मानव-मशीन सहयोग: मानव प्रतिक्रिया तंत्र को एकीकृत करना
  4. मूल्यांकन प्रणाली: अधिक व्यापक उपयोगकर्ता-केंद्रित मूल्यांकन विधि विकसित करना

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: भ्रम समस्या को प्रॉम्प्ट गुणवत्ता के दृष्टिकोण से संबोधित करने वाली पहली व्यवस्थित विधि
  2. तर्कसंगत डिजाइन: बहु-चरणीय प्रसंस्करण रणनीति विभिन्न त्रुटि प्रकारों के लिए, सटीक और प्रभावी
  3. उच्च व्यावहारिकता: हल्का डिजाइन इसे संसाधन-सीमित वातावरण में व्यवहार्य बनाता है
  4. व्यापक प्रयोग: कई डेटासेट और मॉडल पर व्यापक मूल्यांकन
  5. अच्छी अनुकूलता: मौजूदा विधियों के साथ संयोजन, आगे प्रभाव में सुधार

कमियां

  1. डोमेन सीमाएं: विशेष क्षेत्रों में प्रदर्शन सत्यापन की आवश्यकता है
  2. भाषा सीमाएं: मुख्य रूप से अंग्रेजी पर केंद्रित, बहु-भाषा समर्थन स्पष्ट नहीं है
  3. जटिलता मूल्यांकन: हालांकि हल्का दावा किया जाता है, बहु-चरणीय प्रसंस्करण में अभी भी कुछ जटिलता है
  4. दीर्घकालीन प्रभाव: लंबे संवाद या जटिल कार्यों में प्रदर्शन का मूल्यांकन नहीं किया गया

प्रभाव

  1. शैक्षणिक मूल्य: भ्रम कमी के लिए नई अनुसंधान दिशा प्रदान करता है
  2. व्यावहारिक मूल्य: वास्तविक LLM परिनियोजन के लिए व्यवहार्य अनुकूलन समाधान प्रदान करता है
  3. पुनरुत्पादनशीलता: विधि विवरण विस्तृत, पुनरुत्पादन और सुधार में आसान
  4. विस्तार क्षमता: ढांचे का डिजाइन अच्छी विस्तार क्षमता रखता है

लागू परिदृश्य

  • संसाधन-सीमित वातावरण: किनारे उपकरण, मोबाइल अनुप्रयोग
  • वास्तविक समय प्रणाली: तेजी से प्रतिक्रिया की आवश्यकता वाली इंटरैक्टिव प्रणाली
  • गुणवत्ता-संवेदनशील अनुप्रयोग: शिक्षा, ग्राहक सेवा जैसे सटीकता के लिए उच्च आवश्यकता वाले परिदृश्य
  • मौजूदा सिस्टम अपग्रेड: मौजूदा LLM सिस्टम में प्लगइन के रूप में एकीकरण

संदर्भ

यह पेपर 27 महत्वपूर्ण संदर्भों का हवाला देता है, जो बड़े भाषा मॉडल, भ्रम पहचान, प्रॉम्प्ट इंजीनियरिंग, छोटे मॉडल अनुप्रयोग और अन्य संबंधित क्षेत्रों के नवीनतम अनुसंधान परिणामों को कवर करते हैं, जो अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला अनुसंधान पेपर है जो LLM भ्रम समस्या का समाधान करने के लिए एक नवीन समाधान प्रस्तावित करता है। MPR ढांचा सुंदर डिजाइन, व्यापक प्रयोग और विश्वसनीय परिणाम प्रदान करता है। हालांकि कुछ सीमाएं हैं, इसका हल्का और मॉड्यूलर डिजाइन इसे बहुत अधिक व्यावहारिक मूल्य और विस्तार क्षमता देता है।