2025-11-12T08:22:09.411485

PRoH: Dynamic Planning and Reasoning over Knowledge Hypergraphs for Retrieval-Augmented Generation

Zai, Tan, Wang et al.
Knowledge Hypergraphs (KHs) have recently emerged as a knowledge representation for retrieval-augmented generation (RAG), offering a paradigm to model multi-entity relations into a structured form. However, existing KH-based RAG methods suffer from three major limitations: static retrieval planning, non-adaptive retrieval execution, and superficial use of KH structure and semantics, which constrain their ability to perform effective multi-hop question answering. To overcome these limitations, we propose PRoH, a dynamic Planning and Reasoning over Knowledge Hypergraphs framework. PRoH incorporates three core innovations: (i) a context-aware planning module that sketches the local KH neighborhood to guide structurally grounded reasoning plan generation; (ii) a structured question decomposition process that organizes subquestions as a dynamically evolving Directed Acyclic Graph (DAG) to enable adaptive, multi-trajectory exploration; and (iii) an Entity-Weighted Overlap (EWO)-guided reasoning path retrieval algorithm that prioritizes semantically coherent hyperedge traversals. Experiments across multiple domains demonstrate that PRoH achieves state-of-the-art performance, surpassing the prior SOTA model HyperGraphRAG by an average of 19.73% in F1 and 8.41% in Generation Evaluation (G-E) score, while maintaining strong robustness in long-range multi-hop reasoning tasks.
academic

PRoH: ज्ञान हाइपरग्राफ पर गतिशील योजना और तर्क के माध्यम से पुनर्प्राप्ति-संवर्धित पीढ़ी

मूल जानकारी

  • पेपर ID: 2510.12434
  • शीर्षक: PRoH: Dynamic Planning and Reasoning over Knowledge Hypergraphs for Retrieval-Augmented Generation
  • लेखक: Xiangjun Zai, Xingyu Tan, Xiaoyang Wang, Qing Liu, Xiwei Xu, Wenjie Zhang
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन तिथि: 14 अक्टूबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.12434

सारांश

ज्ञान हाइपरग्राफ (Knowledge Hypergraphs, KHs) पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) के लिए एक उभरता हुआ ज्ञान प्रतिनिधित्व रूप है, जो बहु-इकाई संबंधों को संरचित रूप में मॉडल करने का एक प्रतिमान प्रदान करता है। हालांकि, KH-आधारित RAG के मौजूदा तरीकों में तीन मुख्य सीमाएं हैं: स्थिर पुनर्प्राप्ति योजना, गैर-अनुकूली पुनर्प्राप्ति निष्पादन और KH संरचना शब्दार्थ का उथला उपयोग, जो प्रभावी बहु-हॉप प्रश्नोत्तर करने की क्षमता को सीमित करता है। इन सीमाओं को दूर करने के लिए, यह पेपर PRoH प्रस्तावित करता है—एक गतिशील ज्ञान हाइपरग्राफ योजना और तर्क ढांचा। PRoH में तीन मुख्य नवाचार शामिल हैं: (1) संदर्भ-जागरूक योजना मॉड्यूल, जो स्थानीय KH पड़ोस को रेखांकित करके संरचित तर्क योजना पीढ़ी का मार्गदर्शन करता है; (2) संरचित प्रश्न विघटन प्रक्रिया, जो उप-प्रश्नों को गतिशील रूप से विकसित होने वाले निर्देशित अचक्रीय ग्राफ (DAG) में संगठित करता है; (3) इकाई-भारित ओवरलैप (EWO) निर्देशित तर्क पथ पुनर्प्राप्ति एल्गोरिथ्म, जो शब्दार्थ रूप से सुसंगत हाइपरएज ट्रैवर्सल को प्राथमिकता देता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

पारंपरिक RAG प्रणालियां मुख्य रूप से शब्दार्थ समानता के लिए पुनर्प्राप्ति पर निर्भर करती हैं, कई सूचना क्षेत्रों में निहित संरचित संबंध ज्ञान को कैप्चर नहीं कर सकती हैं, और अक्सर अनावश्यक या शोर सामग्री को पुनः प्राप्त करती हैं। हालांकि ग्राफ-आधारित RAG ज्ञान ग्राफ (KG) के माध्यम से इस समस्या में सुधार करता है, अधिकांश मौजूदा ढांचे केवल दो इकाइयों को शामिल करने वाले संबंधों को मॉडल करते हैं, वास्तविक दुनिया में कई संबंधों की n-ary प्रकृति को अनदेखा करते हैं।

महत्व विश्लेषण

वास्तविक दुनिया के कई संबंध कई इकाइयों को शामिल करते हैं, जैसे "Mario + Rabbids Kingdom Battle निंटेंडो और यूबिसॉफ्ट के बीच पहला प्रमुख सहयोग है" यह संबंध एक साथ तीन इकाइयों को जोड़ता है। इन n-ary संबंधों को कई बाइनरी किनारों में विघटित करने से अनिवार्य रूप से महत्वपूर्ण संरचना और शब्दार्थ जानकारी का नुकसान होता है।

मौजूदा तरीकों की सीमाएं

KH-आधारित RAG के मौजूदा तरीकों में तीन मुख्य सीमाएं हैं:

  1. स्थिर पुनर्प्राप्ति योजना: पूर्वनिर्धारित हार्डकोडित पुनर्प्राप्ति पाइपलाइन पर निर्भर करता है, चाहे क्वेरी सामग्री या ग्राफ संदर्भ कुछ भी हो, समान संचालन अनुक्रम लागू करता है
  2. गैर-अनुकूली पुनर्प्राप्ति निष्पादन: एकबारी, गैर-पुनरावृत्ति पुनर्प्राप्ति दृष्टिकोण अपनाता है, मध्यवर्ती तर्क परिणामों का उपयोग करके पुनर्प्राप्ति को अनुकूलित नहीं कर सकता है
  3. ग्राफ संरचना शब्दार्थ का उथला उपयोग: मुख्य रूप से हाइपरएज को सरल लिंक या संबंधित पाठ ब्लॉक तक पहुंचने के लिए रूटिंग तंत्र के रूप में मानता है, हाइपरएज में एन्कोड किए गए समृद्ध संबंध शब्दार्थ को अनदेखा करता है

मुख्य योगदान

  1. PRoH ढांचा प्रस्तावित करना: एक गतिशील ज्ञान हाइपरग्राफ RAG ढांचा, जो बहु-हॉप प्रश्नोत्तर के लिए हाइपरग्राफ की अभिव्यक्तिशील क्षमता का पूर्ण उपयोग करता है
  2. संदर्भ-जागरूक योजना तंत्र: अंतर्निहित ज्ञान हाइपरग्राफ को रेखांकित करके और व्यावहारिक तर्क योजना उत्पन्न करने वाली योजना तंत्र
  3. EWO-निर्देशित तर्क पथ पुनर्प्राप्ति रणनीति: ज्ञान हाइपरग्राफ के लिए सूक्ष्म-दानेदार, शब्दार्थ-जागरूक अन्वेषण रणनीति
  4. उल्लेखनीय प्रदर्शन सुधार: कई ज्ञान क्षेत्रों पर SOTA प्रदर्शन प्राप्त करना, F1 स्कोर में औसतन 19.73% सुधार, पीढ़ी मूल्यांकन (G-E) स्कोर में 8.41% सुधार

विधि विवरण

कार्य परिभाषा

प्रश्न q और ज्ञान हाइपरग्राफ H = (V, E) दिए गए, हाइपरग्राफ RAG को H से प्रश्न-संबंधित ज्ञान (तथ्य सेट F) पुनः प्राप्त करना चाहिए, फिर q और F के आधार पर उत्तर a(q) उत्पन्न करना चाहिए।

मॉडल आर्किटेक्चर

PRoH ढांचे में चार मुख्य घटक शामिल हैं:

1. ग्राफ निर्माण और अनुक्रमण

  • KH निर्माण: दस्तावेजों से हाइपरएज निकालने, इकाइयों की पहचान करने और KH बनाने के लिए HyperGraphRAG की विधि अपनाता है
  • समानार्थी हाइपरएज वृद्धि: तीन-चरणीय प्रक्रिया के माध्यम से समानार्थी हाइपरएज जोड़कर ग्राफ कनेक्टिविटी बढ़ाता है:
    • इकाई जोड़ी के कोसाइन समानता की गणना करना
    • समानता उप-ग्राफ बनाना और जुड़े हुए घटकों की गणना करना
    • समानार्थी इकाइयों को निर्धारित करने के लिए LLM का उपयोग करना और समानार्थी हाइपरएज जोड़ना

2. ग्राफ एंकरिंग

  • विषय इकाई पहचान: LLM का उपयोग करके मुख्य शब्द निकालना, समानता मिलान के माध्यम से उम्मीदवार इकाइयों से जोड़ना
  • लक्ष्य हाइपरएज मिलान: प्रश्न के शब्दार्थ से संबंधित हाइपरएज पुनः प्राप्त करना
  • प्रश्न उप-ग्राफ निर्माण: विषय इकाइयों और लक्ष्य हाइपरएज के Dmax-हॉप पड़ोस के संघ को निकालना

3. तर्क योजना आरंभीकरण

  • प्रश्न उप-ग्राफ रेखांकन: योजना संदर्भ ग्राफ Hp का निर्माण, LLM को संरचित इनपुट प्रदान करना
  • प्रारंभिक तर्क योजना पीढ़ी: योजना संदर्भ के आधार पर तर्क योजना उत्पन्न करना
  • तर्क DAG निर्माण: तर्क योजना को निर्देशित अचक्रीय ग्राफ के रूप में प्रतिनिधित्व करना, न्यूनतम प्रतिनिधित्व प्राप्त करने के लिए Hasse कमी लागू करना

4. तर्क प्रक्रिया

  • स्थिति स्थान खोज: तर्क को DAG स्थिति पर खोज समस्या के रूप में मॉडल करना
  • स्थिति संक्रमण: वर्तमान स्तर के उप-प्रश्नों को हल करके अगली स्थिति में संक्रमण करना
  • गतिशील DAG अनुकूलन: मध्यवर्ती उत्तरों के आधार पर तर्क DAG को गतिशील रूप से अनुकूलित करना

तकनीकी नवाचार बिंदु

इकाई-भारित ओवरलैप (EWO) स्कोरिंग

EWO एल्गोरिथ्म दो-चरणीय गणना के माध्यम से खोज दिशा चयन का मार्गदर्शन करता है:

  1. इकाई स्कोरिंग:
EW(v|qj) = {
    LLMScore(v, qj), यदि SE(v|qj) ≥ θemb
    0, अन्यथा
}
  1. हाइपरएज स्कोरिंग:
EWO(e'|q,e) = Aggregate({SE(v,q) | v ∈ V(e) ∩ V(e')})

संरचित प्रश्न विघटन

  • उप-प्रश्नों को रैखिक अनुक्रम के बजाय गतिशील रूप से विकसित होने वाले DAG में संगठित करना
  • कई उम्मीदवार उत्तरों और कई तर्क पथों की सह-अस्तित्व का समर्थन करना
  • स्थानीय त्रुटियों से पुनर्प्राप्ति की अनुमति देना

प्रयोग सेटअप

डेटासेट

  • KHQA डेटासेट: चिकित्सा, कृषि, कंप्यूटर विज्ञान, कानून और मिश्रित पांच क्षेत्रों को शामिल करता है
  • दीर्घ-दूरी प्रश्न विस्तार: बहु-हॉप तर्क क्षमता का मूल्यांकन करने के लिए प्रत्येक क्षेत्र में अतिरिक्त 200 3-6 हॉप दीर्घ-दूरी प्रश्न उत्पन्न किए गए

मूल्यांकन मेट्रिक्स

  • F1 स्कोर: उत्तर सटीकता को मापना
  • पुनर्प्राप्ति समानता (R-S): पुनः प्राप्त सामग्री की गुणवत्ता का मूल्यांकन करना
  • पीढ़ी मूल्यांकन (G-E): उत्पन्न उत्तर की गुणवत्ता का मूल्यांकन करना

तुलनात्मक तरीके

  • LLM-only: केवल LLM की आंतरिक ज्ञान का उपयोग करना
  • StandardRAG: पारंपरिक ब्लॉक-आधारित RAG
  • PathRAG: पथ-आधारित RAG विधि
  • HippoRAG2: तंत्रिका जीव विज्ञान-प्रेरित दीर्घकालिक स्मृति विधि
  • HyperGraphRAG: वर्तमान SOTA हाइपरग्राफ RAG विधि

कार्यान्वयन विवरण

  • LLM: GPT-4o-mini
  • एम्बेडिंग मॉडल: text-embedding-3-small
  • मुख्य पैरामीटर: योजना गहराई dp=3, KH अन्वेषण गहराई सीमा dmax=3, प्रारंभिक योजना संख्या n0=2

प्रयोग परिणाम

मुख्य परिणाम

PRoH सभी क्षेत्रों में F1 और G-E स्कोर पर SOTA प्रदर्शन प्राप्त करता है:

क्षेत्रHyperGraphRAG F1PRoH F1सुधार
चिकित्सा35.3552.94+49.7%
कृषि33.8956.67+67.2%
कंप्यूटर विज्ञान31.3054.15+73.0%
कानून43.8158.81+34.2%
मिश्रित48.7169.16+42.0%

विघटन प्रयोग

विघटन प्रयोग प्रत्येक घटक की महत्ता दिखाते हैं:

  • EWO निर्देशन हटाना: F1 में अधिकतम 5.3% की कमी
  • समानार्थी विलय हटाना: F1 में अधिकतम 5.2% की कमी
  • योजना संदर्भ हटाना: F1 में अधिकतम 5.8% की कमी
  • लक्ष्य हाइपरएज मिलान हटाना: F1 में अधिकतम 8.6% की कमी

दीर्घ-दूरी तर्क प्रदर्शन

दीर्घ-दूरी बहु-हॉप प्रश्नोत्तर कार्यों में, PRoH मजबूत दृढ़ता प्रदर्शित करता है, औसत F1 में 26.68% सुधार, कंप्यूटर विज्ञान क्षेत्र में अधिकतम 44.87% सुधार।

दक्षता विश्लेषण

PRoH-L वेरिएंट प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए टोकन उपयोग में काफी कमी करता है, कृषि क्षेत्र में टोकन में 30.07% की कमी के साथ F1 में 16.58% सुधार।

संबंधित कार्य

ग्राफ-आधारित RAG

मौजूदा ग्राफ-आधारित RAG तरीके ज्ञान ग्राफ के माध्यम से अधिक सटीक पुनर्प्राप्ति और संबंध-जागरूक तर्क प्राप्त करते हैं, लेकिन अधिकांश बाइनरी संबंध प्रतिनिधित्व तक सीमित हैं।

ज्ञान हाइपरग्राफ RAG

HyperGraphRAG और Hyper-RAG जैसी प्रारंभिक प्रणालियां उच्च-क्रम संबंधों को कैप्चर करने के लिए हाइपरएज निकालती हैं, लेकिन फिर भी अनुमानी एकबारी पुनर्प्राप्ति पाइपलाइन पर निर्भर करती हैं, संदर्भ-जागरूकता और पुनरावृत्ति तर्क क्षमता की कमी है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

PRoH संदर्भ-जागरूक योजना, संरचित पुनरावृत्ति प्रश्न विघटन और EWO-निर्देशित तर्क पथ पुनर्प्राप्ति का परिचय देकर, KH-आधारित RAG तरीकों की तीन मुख्य सीमाओं को सफलतापूर्वक हल करता है, कई ज्ञान क्षेत्रों में उल्लेखनीय प्रदर्शन सुधार प्राप्त करता है।

सीमाएं

  1. कम्प्यूटेशनल जटिलता: गतिशील योजना और स्थिति स्थान खोज अतिरिक्त कम्प्यूटेशनल ओवरहेड ला सकते हैं
  2. पैरामीटर संवेदनशीलता: कई हाइपरपैरामीटर (जैसे dp, dmax, n0) को विभिन्न क्षेत्रों के लिए ट्यून करने की आवश्यकता है
  3. ग्राफ गुणवत्ता निर्भरता: प्रदर्शन प्रारंभिक ज्ञान हाइपरग्राफ की गुणवत्ता और पूर्णता पर अत्यधिक निर्भर है

भविष्य की दिशा

  1. अधिक कुशल स्थिति स्थान खोज रणनीतियों की खोज करना
  2. स्व-अनुकूली पैरामीटर समायोजन तंत्र का अनुसंधान करना
  3. बड़े पैमाने के ज्ञान हाइपरग्राफ और अधिक जटिल तर्क कार्यों तक विस्तार करना

गहन मूल्यांकन

लाभ

  1. मजबूत नवाचार: पहली बार KH-RAG ढांचे के लिए गतिशील योजना और तर्क प्रस्तावित करना, मौजूदा तरीकों की मुख्य सीमाओं को हल करना
  2. महत्वपूर्ण तकनीकी योगदान: EWO स्कोरिंग तंत्र और संरचित प्रश्न विघटन हाइपरग्राफ विशेषताओं के लिए महत्वपूर्ण नवाचार हैं
  3. व्यापक प्रयोग: कई क्षेत्रों और दीर्घ-दूरी तर्क कार्यों को शामिल करना, विघटन प्रयोग व्यापक हैं
  4. स्पष्ट प्रदर्शन सुधार: SOTA विधि की तुलना में महत्वपूर्ण और सुसंगत सुधार

कमियां

  1. उच्च जटिलता: विधि में कई मॉड्यूल और पैरामीटर शामिल हैं, जो वास्तविक तैनाती की सुविधा को प्रभावित कर सकते हैं
  2. कम्प्यूटेशनल लागत विश्लेषण अपर्याप्त: हालांकि टोकन उपयोग विश्लेषण प्रदान किया गया है, विस्तृत समय जटिलता विश्लेषण की कमी है
  3. सीमित सामान्यीकरण सत्यापन: प्रयोग मुख्य रूप से विशिष्ट KHQA डेटासेट पर केंद्रित हैं

प्रभाव

  1. शैक्षणिक मूल्य: KH-RAG क्षेत्र के लिए नई अनुसंधान दिशा और तकनीकी ढांचा प्रदान करता है
  2. व्यावहारिक मूल्य: जटिल बहु-हॉप तर्क की आवश्यकता वाले अनुप्रयोग परिदृश्यों में महत्वपूर्ण मूल्य है
  3. पुनरुत्पादनीयता: विस्तृत एल्गोरिथ्म विवरण और कार्यान्वयन विवरण प्रदान करता है

लागू परिदृश्य

PRoH विशेष रूप से निम्नलिखित के लिए उपयुक्त है:

  1. जटिल बहु-हॉप तर्क की आवश्यकता वाली प्रश्नोत्तर प्रणालियां
  2. बहु-इकाई संबंधों को शामिल करने वाले ज्ञान-गहन कार्य
  3. तर्क पथ व्याख्यात्मकता की आवश्यकता वाले अनुप्रयोग परिदृश्य

संदर्भ

पेपर ने 40 संबंधित संदर्भों का हवाला दिया है, जो ग्राफ-आधारित RAG, ज्ञान हाइपरग्राफ, बहु-हॉप तर्क और अन्य संबंधित क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, जो अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।