2025-11-20T17:34:15.321910

ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG

Hu, Zhu, Tang et al.
Knowledge graphs (KGs), with their structured representation capabilities, offer promising avenue for enhancing Retrieval Augmented Generation (RAG) systems, leading to the development of KG-RAG systems. Nevertheless, existing methods often struggle to achieve effective synergy between system effectiveness and cost efficiency, leading to neither unsatisfying performance nor excessive LLM prompt tokens and inference time. To this end, this paper proposes REMINDRAG, which employs an LLM-guided graph traversal featuring node exploration, node exploitation, and, most notably, memory replay, to improve both system effectiveness and cost efficiency. Specifically, REMINDRAG memorizes traversal experience within KG edge embeddings, mirroring the way LLMs "memorize" world knowledge within their parameters, but in a train-free manner. We theoretically and experimentally confirm the effectiveness of REMINDRAG, demonstrating its superiority over existing baselines across various benchmark datasets and LLM backbones. Our code is available at https://github.com/kilgrims/ReMindRAG.
academic

ReMindRAG: कुशल RAG के लिए कम-लागत LLM-निर्देशित ज्ञान ग्राफ ट्रैवर्सल

मूल जानकारी

  • पेपर ID: 2510.13193
  • शीर्षक: ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
  • लेखक: Yikuan Hu, Jifeng Zhu, Lanrui Tang, Chen Huang
  • वर्गीकरण: cs.IR (सूचना पुनः प्राप्ति)
  • प्रकाशन सम्मेलन: 39वां तंत्रिका सूचना प्रसंस्करण प्रणाली सम्मेलन (NeurIPS 2025)
  • पेपर लिंक: https://arxiv.org/abs/2510.13193
  • कोड लिंक: https://github.com/kilgrims/ReMindRAG

सारांश

ज्ञान ग्राफ (KG) अपनी संरचित प्रतिनिधित्व क्षमता के कारण, संवर्धित पुनः प्राप्ति पीढ़ी (RAG) प्रणालियों को बेहतर बनाने के लिए एक आशाजनक मार्ग प्रदान करता है, जिससे KG-RAG प्रणालियों का विकास हुआ है। हालांकि, मौजूदा विधियां अक्सर प्रणाली प्रभावशीलता और लागत दक्षता के बीच प्रभावी सहयोग प्राप्त करने में विफल रहती हैं, जिससे खराब प्रदर्शन या अत्यधिक LLM प्रॉम्प्ट टोकन और अनुमान समय होता है। इसके लिए, यह पेपर REMINDRAG प्रस्तावित करता है, जो LLM-निर्देशित ग्राफ ट्रैवर्सल को नियोजित करता है, जिसमें नोड अन्वेषण, नोड दोहन, और सबसे महत्वपूर्ण रूप से स्मृति पुनरावृत्ति तंत्र शामिल है, प्रणाली प्रभावशीलता और लागत दक्षता में सुधार के लिए। विशेष रूप से, REMINDRAG KG किनारे एम्बेडिंग में ट्रैवर्सल अनुभव को स्मृति में रखता है, जैसे LLM अपने पैरामीटर में विश्व ज्ञान को "याद" करता है, लेकिन प्रशिक्षण-मुक्त तरीके को नियोजित करता है। हम सैद्धांतिक और प्रायोगिक दोनों पहलुओं से REMINDRAG की प्रभावशीलता की पुष्टि करते हैं, विभिन्न बेंचमार्क डेटासेट और LLM बैकबोन पर मौजूदा आधारभूत विधियों से इसकी श्रेष्ठता को प्रमाणित करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

पारंपरिक RAG विधियां मुख्य रूप से प्रासंगिक पाठ खंडों की पहचान करने के लिए घनी वेक्टर पुनः प्राप्ति पर निर्भर करती हैं, लेकिन बहु-हॉप तर्क या लंबी दूरी की निर्भरता को पकड़ने की आवश्यकता वाले जटिल कार्यों में सीमित प्रदर्शन करती हैं। ज्ञान ग्राफ अपने संरचित इकाई और संबंध प्रतिनिधित्व के साथ इस समस्या को हल करने के लिए एक नया मार्ग प्रदान करता है।

मौजूदा विधियों की सीमाएं

  1. पारंपरिक ग्राफ खोज एल्गोरिदम: जैसे PageRank और GNN विधियां, ग्राफ में सूक्ष्म शब्दार्थ संबंधों को पकड़ने में कठिनाई करती हैं, जिससे प्रणाली प्रभावशीलता अपर्याप्त होती है
  2. LLM-निर्देशित ग्राफ ट्रैवर्सल विधियां: हालांकि उत्कृष्ट प्रदर्शन दिखाती हैं, लेकिन बड़ी संख्या में LLM कॉल की आवश्यकता होती है, जिससे लागत और अनुमान समय में उल्लेखनीय वृद्धि होती है
  3. दक्षता और प्रभावशीलता का व्यापार: मौजूदा KG-RAG प्रणालियां प्रणाली प्रभावशीलता और लागत दक्षता के बीच प्रभावी संतुलन खोजने में कठिनाई करती हैं

अनुसंधान प्रेरणा

यह पेपर KG-RAG प्रणालियों में प्रणाली प्रभावशीलता और लागत दक्षता के सहयोगी अनुकूलन की समस्या को हल करने का लक्ष्य रखता है, जो व्यावहारिक तैनाती और स्केलेबिलिटी की मुख्य चुनौती है।

मुख्य योगदान

  1. मुख्य चुनौतियों की पहचान: KG-RAG प्रणालियों में प्रणाली प्रभावशीलता और लागत दक्षता के सहयोगी अनुकूलन की चुनौती को स्पष्ट रूप से इंगित करता है
  2. REMINDRAG ढांचा प्रस्तावित करता है: LLM-निर्देशित KG ट्रैवर्सल को नियोजित करता है, जिसमें नोड अन्वेषण, नोड दोहन और स्मृति पुनरावृत्ति तंत्र शामिल है
  3. सैद्धांतिक विश्लेषण: ग्राफ ट्रैवर्सल स्मृति पुनरावृत्ति की प्रभावशीलता को सैद्धांतिक रूप से प्रमाणित करता है
  4. प्रायोगिक सत्यापन: कई बेंचमार्क डेटासेट और LLM बैकबोन पर REMINDRAG की श्रेष्ठता को सत्यापित करता है

विधि विवरण

कार्य परिभाषा

गैर-संरचित पाठ दस्तावेज़ और उपयोगकर्ता क्वेरी दिए गए, लक्ष्य एक ज्ञान ग्राफ का निर्माण करना और कुशल ग्राफ ट्रैवर्सल तंत्र के माध्यम से प्रासंगिक जानकारी को पुनः प्राप्त करना है, सटीक उत्तर उत्पन्न करना, जबकि LLM कॉल लागत को कम करना है।

मॉडल आर्किटेक्चर

1. ज्ञान ग्राफ निर्माण

REMINDRAG विषमांगी ज्ञान ग्राफ का निर्माण करता है, जिसमें शामिल हैं:

  • इकाई नोड्स: पाठ से निकाली गई नामित इकाइयां
  • एंकर नोड्स: पाठ ब्लॉक शीर्षक संग्रहीत करते हैं
  • पाठ ब्लॉक संग्रह: विभाजित मूल दस्तावेज़
  • संबंध कनेक्शन: इकाई-संबंध-इकाई त्रिगुण और संदर्भ कंकाल नेटवर्क

2. LLM-निर्देशित ज्ञान ग्राफ ट्रैवर्सल

नोड अन्वेषण रणनीति:

  • संभावित नोड्स की प्राथमिकता से खोज करता है जो उत्तर की ओर ले जा सकते हैं
  • प्रत्येक पुनरावृत्ति में, LLM सबग्राफ S में सभी नोड्स का मूल्यांकन करता है, सबसे संभावित लक्ष्य नोड a को चुनता है जो उत्तर की ओर ले जाता है

नोड दोहन रणनीति:

  • पहले से अन्वेषित नोड्स के दोहन पर ध्यान केंद्रित करता है, इन नोड्स के साथ पथ का विस्तार करता है
  • चयनित नोड a दिया गया, LLM इसके आसन्न नोड्स के सेट Sa से सर्वोत्तम विस्तार नोड p को चुनता है

3. स्मृति पुनरावृत्ति तंत्र

स्मृति सामग्री:

  • प्रभावी पथ: सही उत्तर की ओर ले जाने वाले पथ (सकारात्मक सुदृढीकरण)
  • अप्रभावी पथ: उत्तर की ओर नहीं ले जाने वाले पथ (नकारात्मक सुदृढीकरण)

स्मृति विधि: बंद-रूप समीकरण का उपयोग करके किनारे एम्बेडिंग को अपडेट करता है:

भार फलन: δ(x) = (2/π)cos(π||x||₂/2)
प्रभावी पथ को बढ़ाता है: v̂ = v + δ(v) · q/||q||₂
अप्रभावी पथ को दंडित करता है: v̂ = v - δ(v·q/||q||₂) · v·q/||q||₂

तीव्र जागरण और अवमंदन अपडेट:

  • तीव्र जागरण: जब किनारे एम्बेडिंग v का मानदंड छोटा होता है, δ फलन बड़े दिशात्मक अपडेट का उत्पादन करता है
  • अवमंदन अपडेट: जब किनारे एम्बेडिंग v मानदंड बड़ा होता है, δ फलन केवल छोटे अपडेट का उत्पादन करता है, स्थिरता बनाए रखता है

तकनीकी नवाचार बिंदु

  1. प्रशिक्षण-मुक्त स्मृति तंत्र: किनारे एम्बेडिंग के माध्यम से ट्रैवर्सल अनुभव को स्मृति में रखता है, अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है
  2. अन्वेषण और दोहन को संतुलित करता है: नोड अन्वेषण और दोहन रणनीति को जोड़ता है, वैश्विक और स्थानीय इष्टतम खोज को प्राप्त करता है
  3. अनुकूली भार अपडेट: वेक्टर मानदंड के आधार पर अनुकूली अपडेट रणनीति, तीव्र सीखने और दीर्घकालीन स्थिरता दोनों को ध्यान में रखता है

प्रायोगिक सेटअप

डेटासेट

  1. लंबी निर्भरता QA: LooGLE डेटासेट, लंबी दूरी की शब्दार्थ पुनः प्राप्ति क्षमता का परीक्षण करता है
  2. बहु-हॉप QA: HotpotQA डेटासेट, बहु-चरण तर्क क्षमता का मूल्यांकन करता है
  3. सरल QA: LooGLE छोटी निर्भरता QA, प्रत्यक्ष संबद्ध जानकारी निष्कर्षण क्षमता का परीक्षण करता है

मूल्यांकन मेट्रिक्स

  1. प्रभावशीलता मूल्यांकन: GPT-4o का उपयोग LLM न्यायाधीश के रूप में करता है, उत्तर सटीकता का मूल्यांकन करता है
  2. लागत दक्षता मूल्यांकन: ट्रैवर्सल प्रक्रिया में प्रत्येक क्वेरी के लिए औसत खपत किए गए LLM टोकन

तुलना विधियां

  1. पारंपरिक पुनः प्राप्ति विधियां: BM25, NaiveRAG
  2. ग्राफ खोज एल्गोरिदम का उपयोग करने वाली KG-RAG प्रणालियां: GraphRAG, LightRAG, HippoRAG2
  3. LLM-निर्देशित KG-RAG प्रणालियां: Plan-on-Graph

कार्यान्वयन विवरण

  • LLM बैकबोन: GPT-4o-mini, Deepseek-V3
  • एम्बेडिंग मॉडल: nomic-ai/nomic-embed-text-v2-moe
  • पाठ खंडन: 750 टोकन लंबाई
  • मुख्य पैरामीटर: α=0.1 (नोड प्रासंगिकता भार), λ=0.55 (मजबूत कनेक्शन थ्रेशोल्ड)

प्रायोगिक परिणाम

मुख्य परिणाम

QA प्रकारGPT-4o-miniDeepseek-V3
लंबी निर्भरता QA57.04%59.73%
बहु-हॉप QA74.22%79.38%
सरल QA76.67%77.01%

REMINDRAG सभी कार्यों पर आधारभूत विधियों से काफी बेहतर है:

  • लंबी निर्भरता QA: औसत 12.08% सुधार
  • बहु-हॉप QA: औसत 10.31% सुधार
  • सरल QA: औसत 4.66% सुधार

लागत दक्षता विश्लेषण

सेटअप प्रकारसटीकताटोकन खपतलागत में कमी
स्मृति के बिना57.04%14.91K-
1 दौर स्मृति56.48%9.68K35.1%
2 दौर स्मृति58.01%7.55K49.4%
3 दौर स्मृति60.31%6.71K55.0%

बहु-दौर स्मृति के बाद, REMINDRAG औसत 58.8% टोकन खपत में कमी प्राप्त करता है।

विलोपन प्रयोग

संदर्भ कंकाल नेटवर्क का प्रभाव:

  • संदर्भ कंकाल नेटवर्क को हटाने के बाद, लंबी निर्भरता QA प्रदर्शन 57.04% से 51.01% तक गिरता है
  • संदर्भ जानकारी कैप्चर की महत्ता को सत्यापित करता है

हॉप संख्या सेटिंग का प्रभाव:

  • अधिकतम हॉप संख्या बढ़ने के साथ, प्रणाली प्रदर्शन एकरूप रूप से बढ़ता है
  • अधिक हॉप नोड्स को व्यापक पड़ोस जानकारी तक पहुंचने में सक्षम बनाता है

केस विश्लेषण

आत्म-सुधार क्षमता:

  • प्रारंभिक गलत उत्तर के बाद, प्रणाली स्मृति नियमों के आधार पर अप्रासंगिक नोड्स को दंडित कर सकती है
  • बाद की क्वेरी में स्मृति-अनुकूलित सबग्राफ में स्विच करता है, त्रुटि आत्म-सुधार को प्राप्त करता है

स्मृति स्थिरता:

  • जटिल बहु-दौर स्मृति सेटअप में स्थिर प्रदर्शन बनाए रखता है
  • विषमांगी डेटासेट को वैकल्पिक रूप से संभालते समय मजबूती प्रदर्शित करता है

सैद्धांतिक विश्लेषण

स्मृति क्षमता प्रमेय

एक निश्चित शब्दार्थ समानता वाली क्वेरी के सेट के लिए, जब एम्बेडिंग आयाम d पर्याप्त रूप से बड़ा हो, तो किनारे एम्बेडिंग प्रभावी रूप से क्वेरी जानकारी को स्मृति में रख सकता है, शर्त यह है:

θ ≤ lim[d→∞] [2 arcsin(√(1/2 sin(arccos(λ))))]

जहां θ क्वेरी एम्बेडिंग जोड़ी के बीच अधिकतम कोण है, λ मजबूत कनेक्शन थ्रेशोल्ड है।

सैद्धांतिक गारंटी

  • λ की सैद्धांतिक ऊपरी सीमा 0.775 है, जो मौजूदा शब्दार्थ समानता थ्रेशोल्ड 0.6 के अनुसंधान के साथ सुसंगत है
  • जब एम्बेडिंग आयाम 100 से अधिक हो, तो सैद्धांतिक सन्निकटन व्यावहारिक में महत्वपूर्ण व्यावहारिकता रखता है

संबंधित कार्य

KG-RAG प्रणाली विकास

  1. पारंपरिक ग्राफ खोज विधियां: PageRank, Random Walk, GNN आदि, सूक्ष्म शब्दार्थ संबंधों को पकड़ने में कठिनाई करती हैं
  2. LLM-निर्देशित विधियां: LLM की शब्दार्थ समझ क्षमता का उपयोग करती हैं, लेकिन लागत अधिक है
  3. ग्राफ प्रूनिंग और पथ योजना: मौजूदा अनुकूलन विधियों का प्रभाव सीमित है

स्मृति पुनरावृत्ति तंत्र

  • सुदृढीकरण सीखने में स्मृति पुनरावृत्ति अवधारणा से प्रेरित
  • नवीन रूप से स्मृति को ग्राफ में भार के रूप में एम्बेड करता है, स्पष्ट नमूना पुनरावृत्ति के बजाय

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. REMINDRAG प्रणाली प्रभावशीलता और लागत दक्षता के सहयोगी अनुकूलन को सफलतापूर्वक प्राप्त करता है
  2. स्मृति पुनरावृत्ति तंत्र बाद की क्वेरी की दक्षता में काफी सुधार करता है
  3. आत्म-सुधार क्षमता प्रणाली की मजबूती को बढ़ाती है

सीमाएं

  1. प्रारंभिक ग्राफ ट्रैवर्सल लागत: पहली ट्रैवर्सल को अभी भी कई LLM कॉल की आवश्यकता है
  2. बड़े पैमाने पर दस्तावेज़ प्रसंस्करण: ज्ञान ग्राफ निर्माण को बड़ी मात्रा में समय और कम्प्यूटेशनल संसाधनों की आवश्यकता है
  3. स्मृति क्षमता सीमा: सैद्धांतिक विश्लेषण अनंत आयाम धारणा पर आधारित है, व्यावहारिक अनुप्रयोग में सीमित हो सकता है

भविष्य की दिशा

  1. पूर्व-प्रशिक्षित स्मृति आरंभीकरण: डोमेन-विशिष्ट FAQ का उपयोग करके मॉडल स्मृति को पूर्व-आरंभ करता है
  2. वितरित ग्राफ निर्माण: बड़े पैमाने पर दस्तावेज़ के ग्राफ निर्माण दक्षता को अनुकूलित करता है
  3. गतिशील स्मृति प्रबंधन: दीर्घकालीन स्मृति के विस्मरण और अपडेट तंत्र का अनुसंधान करता है

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: पहली बार प्रशिक्षण-मुक्त ग्राफ ट्रैवर्सल स्मृति तंत्र प्रस्तावित करता है
  2. ठोस सिद्धांत: स्मृति क्षमता का सैद्धांतिक विश्लेषण और गारंटी प्रदान करता है
  3. व्यापक प्रयोग: कई डेटासेट, कई बैकबोन नेटवर्क का व्यापक मूल्यांकन
  4. उच्च व्यावहारिक मूल्य: उल्लेखनीय प्रदर्शन सुधार और लागत में कमी

कमियां

  1. पैरामीटर संवेदनशीलता: कई हाइपरपैरामीटर की सेटिंग प्रदर्शन को प्रभावित कर सकती है
  2. स्केलेबिलिटी समस्या: अति-बड़े पैमाने पर ज्ञान ग्राफ के लिए प्रयोज्यता पूरी तरह से सत्यापित नहीं है
  3. स्मृति अपडेट रणनीति: सरल रैखिक अपडेट सभी परिदृश्यों के लिए उपयुक्त नहीं हो सकता है

प्रभाव

  1. शैक्षणिक योगदान: KG-RAG क्षेत्र के लिए अनुकूलन के नए विचार प्रदान करता है
  2. व्यावहारिक अनुप्रयोग: प्रश्नोत्तर प्रणाली, सूचना पुनः प्राप्ति आदि क्षेत्रों में व्यापक अनुप्रयोग संभावना है
  3. पुनरुत्पादनीयता: खुला स्रोत कोड प्रदान करता है, अनुसंधान समुदाय को सत्यापन और विस्तार में सुविधा देता है

लागू परिदृश्य

  1. बहु-दौर संवाद प्रणाली: ऐतिहासिक इंटरैक्शन को स्मृति में रख सकता है, प्रतिक्रिया दक्षता में सुधार करता है
  2. डोमेन-विशिष्ट प्रश्नोत्तर: विशिष्ट डोमेन के भीतर ट्रैवर्सल अनुभव को जमा और उपयोग कर सकता है
  3. लागत-संवेदनशील अनुप्रयोग: LLM कॉल लागत पर कठोर आवश्यकता वाले परिदृश्य

संदर्भ

यह पेपर RAG, ज्ञान ग्राफ, ग्राफ तंत्रिका नेटवर्क आदि कई क्षेत्रों के महत्वपूर्ण कार्यों को उद्धृत करता है, जिसमें शामिल हैं:

  • Lewis et al. (2020): Retrieval-augmented generation for knowledge-intensive NLP tasks
  • Edge et al. (2024): GraphRAG approach to query-focused summarization
  • Guo et al. (2024): LightRAG simple and fast retrieval-augmented generation
  • और 55 संबंधित संदर्भ

समग्र मूल्यांकन: REMINDRAG एक उच्च-गुणवत्ता वाला अनुसंधान कार्य है, जो KG-RAG क्षेत्र में एक नवीन समाधान प्रस्तावित करता है। यह विधि न केवल तकनीकी रूप से सफलता दिखाती है, बल्कि अधिक महत्वपूर्ण रूप से व्यावहारिक अनुप्रयोग में मुख्य समस्या को हल करती है - प्रभाव और दक्षता का संतुलन। सैद्धांतिक विश्लेषण कठोर है, प्रायोगिक डिजाइन तर्कसंगत है, परिणाम विश्वास्पद हैं। हालांकि कुछ सीमाएं हैं, लेकिन इसका योगदान महत्वपूर्ण है, KG-RAG प्रौद्योगिकी के व्यावहारिकीकरण को आगे बढ़ाने में महत्वपूर्ण महत्व रखता है।