2025-11-11T10:34:09.859553

When Retrieval Succeeds and Fails: Rethinking Retrieval-Augmented Generation for LLMs

Wang, Yu, Song et al.
Large Language Models (LLMs) have enabled a wide range of applications through their powerful capabilities in language understanding and generation. However, as LLMs are trained on static corpora, they face difficulties in addressing rapidly evolving information or domain-specific queries. Retrieval-Augmented Generation (RAG) was developed to overcome this limitation by integrating LLMs with external retrieval mechanisms, allowing them to access up-to-date and contextually relevant knowledge. However, as LLMs themselves continue to advance in scale and capability, the relative advantages of traditional RAG frameworks have become less pronounced and necessary. Here, we present a comprehensive review of RAG, beginning with its overarching objectives and core components. We then analyze the key challenges within RAG, highlighting critical weakness that may limit its effectiveness. Finally, we showcase applications where LLMs alone perform inadequately, but where RAG, when combined with LLMs, can substantially enhance their effectiveness. We hope this work will encourage researchers to reconsider the role of RAG and inspire the development of next-generation RAG systems.
academic

जब पुनर्प्राप्ति सफल होती है और विफल होती है: LLMs के लिए पुनर्प्राप्ति-संवर्धित पीढ़ी पर पुनर्विचार

बुनियादी जानकारी

  • पेपर ID: 2510.09106
  • शीर्षक: When Retrieval Succeeds and Fails: Rethinking Retrieval-Augmented Generation for LLMs
  • लेखक: Yongjie Wang, Yue Yu, Kaisong Song, Jun Lin, Zhiqi Shen
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन तिथि: 25 अक्टूबर 10 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.09106

सारांश

बड़े भाषा मॉडल (LLMs) अपनी शक्तिशाली भाषा समझ और पीढ़ी क्षमता के माध्यम से व्यापक अनुप्रयोग प्राप्त करते हैं। हालांकि, चूंकि LLMs स्थिर कॉर्पस पर प्रशिक्षित होते हैं, वे तेजी से विकसित होने वाली जानकारी या डोमेन-विशिष्ट प्रश्नों को संभालने में कठिनाई का सामना करते हैं। पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) LLMs को बाहरी पुनर्प्राप्ति तंत्र के साथ एकीकृत करके इस सीमा को दूर करता है, जिससे वे नवीनतम और संदर्भ-संबंधित ज्ञान तक पहुंच सकते हैं। हालांकि, जैसे-जैसे LLMs आकार और क्षमता में निरंतर प्रगति करते हैं, पारंपरिक RAG ढांचे का सापेक्ष लाभ कम स्पष्ट और आवश्यक हो गया है। यह पेपर RAG की व्यापक समीक्षा प्रदान करता है, इसके समग्र उद्देश्यों और मुख्य घटकों से शुरू करके, फिर RAG में मुख्य चुनौतियों का विश्लेषण करता है, जो इसकी प्रभावशीलता को सीमित कर सकती हैं। अंत में, यह ऐसे अनुप्रयोग परिदृश्य प्रदर्शित करता है जहां LLMs अकेले खराब प्रदर्शन करते हैं लेकिन RAG LLMs के साथ संयुक्त होने पर उनकी प्रभावशीलता को महत्वपूर्ण रूप से बढ़ा सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. मुख्य समस्या: LLMs की क्षमता में तेजी से वृद्धि के साथ, पारंपरिक RAG ढांचे की आवश्यकता और प्रभावशीलता पर सवाल उठाए जा रहे हैं
  2. विशिष्ट चुनौतियां:
    • स्थिर प्रशिक्षण डेटा पर LLMs के ज्ञान की सीमाएं
    • डोमेन-विशिष्ट प्रश्नों और तेजी से विकसित होने वाली जानकारी को संभालने में कठिनाई
    • मतिभ्रम (hallucination) घटना की व्यापकता

अनुसंधान का महत्व

  • व्यावहारिक आवश्यकता: ज्ञान-गहन कार्य, व्यक्तिगतकृत जानकारी पहुंच, वास्तविक समय ज्ञान एकीकरण आदि परिदृश्यों में अभी भी RAG की आवश्यकता है
  • तकनीकी विकास: आधुनिक LLMs के संदर्भ में RAG की भूमिका और मूल्य का पुनर्मूल्यांकन करने की आवश्यकता है
  • सैद्धांतिक महत्व: अगली पीढ़ी के RAG सिस्टम के विकास के लिए मार्गदर्शन प्रदान करता है

मौजूदा विधियों की सीमाएं

  1. अनुचित पुनर्प्राप्ति ट्रिगर तंत्र: LLMs के मौजूदा ज्ञान सीमाओं के विश्लेषण की कमी
  2. जटिल प्रश्न समझ अपर्याप्त: इरादा विश्लेषण क्षमता सीमित, मुख्य शब्द पहचान को प्रभावित करता है
  3. ज्ञान संघर्ष अनसुलझा: बाहरी डेटाबेस में अपरीक्षित संघर्ष जानकारी मौजूद है
  4. ICL तंत्र समझ सीमित: पुनर्प्राप्ति-संवर्धित ढांचे में संदर्भ सीखने के संचालन तंत्र की गहन समझ की कमी

मुख्य योगदान

  1. व्यवस्थित समीक्षा: RAG तकनीक की व्यापक समीक्षा प्रदान करता है, जिसमें आर्किटेक्चर, घटक और चुनौतियां शामिल हैं
  2. समस्या पहचान: वर्तमान RAG सिस्टम की चार प्रमुख चुनौतियों का गहन विश्लेषण
  3. अनुप्रयोग परिदृश्य स्पष्टीकरण: RAG के तीन प्रमुख अनुप्रयोग क्षेत्रों की पहचान और व्याख्या जहां यह अपरिहार्य है
  4. भविष्य की दिशा: अगली पीढ़ी के RAG सिस्टम के विकास के लिए स्पष्ट अनुसंधान दिशा प्रदान करता है

विधि विवरण

RAG सिस्टम आर्किटेक्चर

यह पेपर RAG सिस्टम को चार मुख्य मॉड्यूल में विभाजित करता है:

1. अनुक्रमण मॉड्यूल (Indexing Module)

  • दस्तावेज़ खंडन: दस्तावेज़ों को प्रबंधनीय खंडों में विभाजित करना, BM25 या LLM एम्बेडिंग का उपयोग करके एन्कोडिंग
  • ज्ञान ग्राफ संवर्धन:
    • बाहरी स्रोतों को ज्ञान ग्राफ (KG) में परिवर्तित करना
    • नोड्स इकाइयों या अवधारणाओं का प्रतिनिधित्व करते हैं, किनारे संबंधों को एन्कोड करते हैं
    • पदानुक्रमित क्लस्टरिंग इकाइयों को बहु-स्तरीय सामुदायिक संरचना में संगठित करता है
  • चुनौती: उपयोगकर्ता प्रश्नों से मेल खाने वाली प्रभावी अनुक्रमण प्रणाली विकसित करना; विषम डेटा स्रोतों का प्रबंधन

2. पुनर्प्राप्ति मॉड्यूल (Retrieval Module)

तीन क्रमिक चरण शामिल हैं:

प्रश्न विश्लेषण:

  • प्रश्न पुनर्लेखन: कई कोणों से प्रश्न को फिर से तैयार करना
  • प्रश्न अपघटन: जटिल समस्याओं को सरल उप-समस्याओं में विभाजित करना
  • उत्तर तर्क: पुनर्प्राप्ति को निर्देशित करने के लिए परिकल्पित उत्तर उत्पन्न करना
  • मुख्य शब्द निष्कर्षण: महत्वपूर्ण डोमेन-विशिष्ट शर्तों की पहचान करना

पैराग्राफ पुनर्प्राप्ति:

  • शब्दार्थ मिलान: विरल एन्कोडर (BM25) और घने एम्बेडिंग (SBERT) का उपयोग करना
  • ग्राफ ट्रैवर्सल: KG-आधारित पुनर्प्राप्ति ग्राफ संरचना ट्रैवर्सल के माध्यम से
  • हाइब्रिड विधि: मोटे-दाने वाली पुनर्प्राप्ति (उच्च रिकॉल) और शब्दार्थ पुनर्प्राप्ति (उच्च सटीकता) को जोड़ना

पुनः रैंकिंग और फ़िल्टरिंग:

  • पुनः रैंकिंग तकनीक: प्रश्न प्रासंगिकता के आधार पर पुनः रैंक करना
  • सारांश तकनीक: सबसे सूचनात्मक टुकड़ों को संरक्षित करना, संदर्भ लंबाई को कम करना

3. पीढ़ी मॉड्यूल (Generation Module)

  • प्रॉम्प्ट इंजीनियरिंग: यह सुनिश्चित करना कि LLM पुनर्प्राप्त दस्तावेज़ों का प्रभावी ढंग से उपयोग करे
  • संघर्ष समाधान: पुनर्प्राप्त साक्ष्य और पैरामीटर ज्ञान के बीच संघर्ष को हल करना
  • विशेष सूक्ष्म-ट्यूनिंग: LLM को प्रासंगिक और अप्रासंगिक दस्तावेज़ों में अंतर करने के लिए प्रशिक्षित करना

4. आयोजन मॉड्यूल (Orchestration Module)

  • वर्कफ़्लो प्रबंधन: मॉड्यूल के बीच इंटरैक्शन और डेटा प्रवाह का समन्वय
  • गतिशील अनुकूलन: प्रश्न-विशिष्ट आवश्यकताओं के अनुसार संबंधित घटकों को सक्रिय करना
  • दक्षता अनुकूलन: सिस्टम विविधता और दक्षता में सुधार

तकनीकी नवाचार बिंदु

  1. मॉड्यूलर डिजाइन: RAG सिस्टम को चार स्वतंत्र लेकिन सहयोगी मॉड्यूल में व्यवस्थित रूप से विभाजित करना
  2. चुनौती-उन्मुख विश्लेषण: वास्तविक समस्याओं से शुरू करके तकनीकी बाधाओं की पहचान करना
  3. अनुप्रयोग परिदृश्य-संचालित: वास्तविक आवश्यकताओं के आधार पर RAG के मूल्य को पुनः परिभाषित करना

मुख्य चुनौति विश्लेषण

1. पुनर्प्राप्ति ट्रिगर समय (When Should I Retrieve?)

समस्या: LLM ज्ञान सीमाओं की अस्पष्टता

  • वर्तमान स्थिति: अधिकांश RAG विधियां LLMs के ज्ञात और अज्ञात सामग्री का मूल्यांकन नहीं करती हैं
  • समाधान:
    • अनिश्चितता-आधारित विधियां पूर्वानुमान परिवर्तनशीलता का मूल्यांकन करती हैं
    • शब्दार्थ अनिश्चितता, आत्म-अनिश्चितता, पूर्वानुमान आत्मविश्वास
    • केवल तब RAG को सक्रिय करना जब LLM आत्मविश्वास पूर्वानुमान उत्पन्न नहीं कर सकता

2. पुनर्प्राप्ति सामग्री चयन (What to Retrieve?)

समस्या: पुनर्प्राप्ति विधियों की अप्रभावशीलता

  • जटिल तर्क कार्य कठिनाई: बहु-हॉप प्रश्नोत्तरी, गणितीय तर्क आदि को गहन इरादा समझ की आवश्यकता है
  • KG-RAG सीमाएं:
    • K-हॉप पड़ोस विधि अप्रासंगिक इकाइयों को पेश करती है
    • LLM-निर्देशित खोज कम्प्यूटेशनल रूप से महंगी और असंगत है
  • समाधान दिशा: Agent-आधारित ढांचा और Agentic RAG

3. डेटा स्रोत विश्वसनीयता (What Should I Trust?)

समस्या: अपरीक्षित डेटा स्रोतों का जोखिम

  • धारणा समस्या: अधिकांश RAG विधियां मानती हैं कि बाहरी ज्ञान अंतर्निहित रूप से विश्वसनीय है
  • वास्तविक स्थिति: यहां तक कि PubMed जैसे प्राधिकार डेटाबेस में भी धोखाधड़ी डेटा मौजूद है
  • समाधान: उच्च-गुणवत्ता, पुनर्प्राप्ति-कुशल विशेष डेटाबेस का निर्माण

4. RAG कार्य तंत्र (How does RAG Work?)

समस्या: ICL तंत्र की अस्पष्टता

  • संघर्ष समाधान: पुनर्प्राप्त साक्ष्य और पैरामीटर स्मृति संघर्ष के समाधान तंत्र स्पष्ट नहीं हैं
  • प्रदर्शन सीमा: LLMs पुनर्प्राप्त सामग्री पर निर्भर होते हैं, इसकी सटीकता पर विचार किए बिना
  • अनुसंधान दिशा: ध्यान प्रवाह विश्लेषण, कारणात्मक ट्रैकिंग, प्रतिनिधित्व जांच

5. RAG बनाम लंबे संदर्भ LLM

तुलनात्मक विश्लेषण:

  • लंबे संदर्भ LLM लाभ: पूर्ण दस्तावेज़ों को संभालना, पुनर्प्राप्ति निर्भरता को कम करना
  • लंबे संदर्भ LLM नुकसान: ज्ञान कटऑफ, तर्क लागत अधिक, शोर संवेदनशील, प्रशिक्षण डेटा दुर्लभ
  • पूरक: सटीक तथ्य पुनर्प्राप्ति और समग्र क्रॉस-दस्तावेज़ तर्क को जोड़ने वाली एकीकृत ढांचा

अनुप्रयोग परिदृश्य विश्लेषण

1. ज्ञान-गहन अनुप्रयोग

  • विशिष्ट परिदृश्य: दवा खुराक, दुर्लभ रोग निदान
  • RAG मूल्य: उच्च-गुणवत्ता डोमेन-विशिष्ट डेटाबेस तक पहुंच, प्राधिकार साक्ष्य समर्थन

2. निजी ज्ञान प्रबंधन

  • विशिष्ट परिदृश्य: कॉर्पोरेट दस्तावेज़, व्यक्तिगत नोट्स, बहु-मोड़ संवाद
  • RAG मूल्य: अनुकूलित सुरक्षित ज्ञान पुनर्प्राप्ति, डेटा गोपनीयता सुरक्षा

3. वास्तविक समय ज्ञान एकीकरण

  • विशिष्ट परिदृश्य: समाचार, वित्तीय बाजार, नियामक अपडेट
  • RAG मूल्य: सतत नवीनतम जानकारी पुनर्प्राप्ति, सूचना निष्कर्षण और सारांश के रूप में

प्रायोगिक सेटअप

यह पेपर एक समीक्षा पेपर के रूप में, निम्नलिखित तरीकों से विचारों का समर्थन करता है:

  • साहित्य सर्वेक्षण: RAG संबंधित अनुसंधान प्रगति का व्यवस्थित梳理
  • केस विश्लेषण: विशिष्ट परिदृश्यों में समस्या विश्लेषण
  • सैद्धांतिक विश्लेषण: मौजूदा अनुसंधान के आधार पर गहन विचार

संबंधित कार्य

RAG विकास इतिहास

  1. प्रारंभिक कार्य: Lewis et al. (2020) ने मूल RAG ढांचा प्रस्तावित किया
  2. प्रश्न अनुकूलन: प्रश्न रूपांतरण, एम्बेडिंग मॉडल सूक्ष्म-ट्यूनिंग
  3. अनुक्रमण रणनीति: GraphRAG, HippoRAG, KAG आदि KG-संवर्धित विधियां
  4. Agent एकीकरण: Agentic RAG LLM बुद्धिमान एजेंटों को जोड़ता है

तकनीकी वर्गीकरण

  • अनुक्रमण तकनीकें: दस्तावेज़ खंडन, ज्ञान ग्राफ, पदानुक्रमित संरचना
  • पुनर्प्राप्ति तकनीकें: शब्दार्थ मिलान, ग्राफ ट्रैवर्सल, हाइब्रिड विधि
  • पीढ़ी तकनीकें: प्रॉम्प्ट इंजीनियरिंग, पर्यवेक्षित सूक्ष्म-ट्यूनिंग, सुदृढ़ीकरण सीखना

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. RAG अभी भी मूल्यवान है: LLMs की क्षमता में वृद्धि के बावजूद, RAG विशिष्ट परिदृश्यों में अपरिहार्य है
  2. चुनौतियां स्पष्ट हैं: चार प्रमुख तकनीकी चुनौतियों की पहचान की गई है
  3. विकास दिशा स्पष्ट है: अगली पीढ़ी के RAG सिस्टम के लिए स्पष्ट मार्गदर्शन प्रदान किया गया है

सीमाएं

  1. सैद्धांतिक विश्लेषण मुख्य: बड़े पैमाने पर अनुभवजन्य सत्यापन की कमी
  2. समाधान अवधारणात्मक: प्रस्तावित समाधान अधिकतर दिशा-निर्देशक हैं
  3. मूल्यांकन मानदंड अनुपस्थित: एकीकृत RAG सिस्टम मूल्यांकन ढांचा प्रदान नहीं किया गया

भविष्य की दिशाएं

  1. अनुकूली पुनर्प्राप्ति: LLM ज्ञान सीमाओं के आधार पर बुद्धिमान ट्रिगर तंत्र
  2. गहन इरादा समझ: जटिल प्रश्नों की सटीक व्याख्या और अपघटन
  3. विश्वसनीय डेटा पारिस्थितिकी तंत्र: उच्च-गुणवत्ता, सत्यापन योग्य ज्ञान आधार का निर्माण
  4. तंत्र पारदर्शिता: ICL और RAG इंटरैक्शन तंत्र का गहन अनुसंधान

गहन मूल्यांकन

शक्तियां

  1. व्यवस्थित शक्तिशाली: RAG तकनीक के सभी पहलुओं को व्यापक रूप से कवर करता है
  2. समस्या-उन्मुख: वास्तविक चुनौतियों से शुरू करके गहन विश्लेषण
  3. दूरदर्शी: भविष्य के अनुसंधान के लिए स्पष्ट दिशा प्रदान करता है
  4. संरचना स्पष्ट: मॉड्यूलर विश्लेषण समझ और अनुप्रयोग को सुविधाजनक बनाता है

कमियां

  1. अनुभवजन्य अपर्याप्त: समीक्षा पेपर के रूप में, मूल प्रायोगिक सत्यापन की कमी
  2. समाधान अमूर्त: प्रस्तावित समाधान अधिकतर अवधारणा स्तर पर रहते हैं
  3. मूल्यांकन अनुपस्थित: विभिन्न RAG विधियों की व्यवस्थित तुलना प्रदान नहीं की गई

प्रभाव

  1. शैक्षणिक मूल्य: RAG अनुसंधान के लिए महत्वपूर्ण सैद्धांतिक ढांचा प्रदान करता है
  2. व्यावहारिक मूल्य: औद्योगिक RAG सिस्टम डिजाइन के लिए मार्गदर्शन प्रदान करता है
  3. प्रेरणादायक: RAG के सार और मूल्य पर पुनर्विचार को प्रेरित करता है

लागू परिदृश्य

  1. अनुसंधान कर्मचारी: RAG तकनीक अनुसंधान के लिए महत्वपूर्ण संदर्भ
  2. इंजीनियर: RAG सिस्टम डिजाइन और अनुकूलन के लिए मार्गदर्शन
  3. उत्पाद प्रबंधक: RAG अनुप्रयोग परिदृश्य चयन के लिए निर्णय समर्थन

संदर्भ

यह पेपर बड़ी संख्या में संबंधित कार्यों का उद्धृत करता है, मुख्य रूप से:

  • Lewis et al. (2020): RAG मूल पेपर
  • Edge et al. (2024): GraphRAG
  • Gutiérrez et al. (2024): HippoRAG
  • Singh et al. (2025): Agentic RAG
  • साथ ही LLM, ICL, ज्ञान ग्राफ संबंधित अनुसंधान की बड़ी संख्या

समग्र मूल्यांकन: यह RAG तकनीक का एक उच्च-गुणवत्ता वाला समीक्षा पेपर है, जो RAG की वर्तमान स्थिति, चुनौतियों और भविष्य की दिशा का व्यवस्थित विश्लेषण करता है। पेपर का मुख्य योगदान एक स्पष्ट समस्या-उन्मुख विश्लेषण ढांचा प्रदान करना है, जो इस क्षेत्र के आगे विकास के लिए दिशा निर्धारित करता है। हालांकि मूल तकनीकी योगदान और अनुभवजन्य सत्यापन की कमी है, लेकिन समीक्षा पेपर के रूप में, इसका सैद्धांतिक मूल्य और मार्गदर्शन महत्व महत्वपूर्ण है।