ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
Hu, Zhu, Tang et al.
Knowledge graphs (KGs), with their structured representation capabilities, offer promising avenue for enhancing Retrieval Augmented Generation (RAG) systems, leading to the development of KG-RAG systems. Nevertheless, existing methods often struggle to achieve effective synergy between system effectiveness and cost efficiency, leading to neither unsatisfying performance nor excessive LLM prompt tokens and inference time. To this end, this paper proposes REMINDRAG, which employs an LLM-guided graph traversal featuring node exploration, node exploitation, and, most notably, memory replay, to improve both system effectiveness and cost efficiency. Specifically, REMINDRAG memorizes traversal experience within KG edge embeddings, mirroring the way LLMs "memorize" world knowledge within their parameters, but in a train-free manner. We theoretically and experimentally confirm the effectiveness of REMINDRAG, demonstrating its superiority over existing baselines across various benchmark datasets and LLM backbones. Our code is available at https://github.com/kilgrims/ReMindRAG.
academic
ReMindRAG: اجتياز الرسم البياني للمعرفة موجه بـ LLM منخفض التكلفة لـ RAG فعال
توفر الرسوم البيانية للمعرفة (KG) طرقاً واعدة لتحسين أنظمة الاسترجاع المعزز بالتوليد (RAG) من خلال قدرتها على التمثيل المنظم، مما أدى إلى تطور أنظمة KG-RAG. ومع ذلك، غالباً ما تواجه الطرق الموجودة صعوبة في تحقيق تعاون فعال بين فعالية النظام وكفاءة التكلفة، مما يؤدي إلى أداء ضعيفة أو استهلاك مفرط لرموز LLM وأوقات الاستدلال. لهذا الغرض، نقترح REMINDRAG، الذي يستخدم اجتياز الرسم البياني الموجه بـ LLM، يتضمن استكشاف العقد واستغلال العقد، والأهم من ذلك آلية إعادة تشغيل الذاكرة لتحسين فعالية النظام وكفاءة التكلفة. بشكل محدد، يخزن REMINDRAG تجارب الاجتياز في تضمينات حافة KG، بطريقة مشابهة لكيفية "تذكر" LLM للمعرفة العالمية في معاملات النموذج، لكن بطريقة خالية من التدريب. نؤكد فعالية REMINDRAG من الناحية النظرية والتجريبية، مما يثبت تفوقها على الأساليب الموجودة عبر مجموعات بيانات معيارية مختلفة وأنظمة LLM الأساسية.
تعتمد طرق RAG التقليدية بشكل أساسي على استرجاع المتجهات الكثيفة لتحديد مقاطع النصوص ذات الصلة، لكنها محدودة في المهام المعقدة التي تتطلب استدلالاً متعدد الخطوات أو التقاط التبعيات طويلة المدى. توفر الرسوم البيانية للمعرفة بتمثيلها المنظم للكيانات والعلاقات طريقة جديدة لحل هذه المشكلة.
خوارزميات البحث في الرسم البياني التقليدية: مثل PageRank وطرق GNN، يصعب عليها التقاط العلاقات الدلالية الدقيقة في الرسم البياني، مما يؤدي إلى عدم كفاية فعالية النظام
طرق اجتياز الرسم البياني الموجهة بـ LLM: على الرغم من أدائها الممتاز، تتطلب استدعاءات LLM كثيرة، مما يزيد بشكل كبير من التكلفة وأوقات الاستدلال
المقايضة بين الكفاءة والفعالية: يصعب على أنظمة KG-RAG الموجودة إيجاد توازن فعال بين فعالية النظام وكفاءة التكلفة
بالنظر إلى مستندات نصية غير منظمة واستعلام المستخدم، الهدف هو بناء رسم بياني للمعرفة واسترجاع المعلومات ذات الصلة من خلال آلية اجتياز رسم بياني فعالة، وتوليد إجابات دقيقة مع تقليل تكلفة استدعاءات LLM.
بالنسبة لمجموعة من الاستعلامات ذات التشابه الدلالي معين، عندما يكون بُعد التضمين d كبيراً بما يكفي، يمكن لتضمينات الحافة تخزين معلومات الاستعلام بشكل فعال، بشرط:
θ ≤ lim[d→∞] [2 arcsin(√(1/2 sin(arccos(λ))))]
حيث θ هو الحد الأقصى للزاوية بين أزواج تضمينات الاستعلام، و λ هو عتبة الاتصال القوي.
تستشهد هذه الورقة بأعمال مهمة من مجالات متعددة بما في ذلك RAG والرسوم البيانية للمعرفة والشبكات العصبية للرسوم البيانية، بما في ذلك:
Lewis et al. (2020): استرجاع معزز بالتوليد لمهام معالجة اللغة الطبيعية الكثيفة المعرفة
Edge et al. (2024): نهج GraphRAG للتلخيص الموجه بالاستعلام
Guo et al. (2024): LightRAG استرجاع معزز بالتوليد بسيط وسريع
وغيرها من 55 مرجعاً ذا صلة
التقييم الشامل: ReMindRAG هو عمل بحثي عالي الجودة يقترح حلاً مبتكراً في مجال KG-RAG. لا تتمثل الطريقة فقط في اختراق تقني، بل الأهم من ذلك حل المشكلة الرئيسية في التطبيقات العملية - التوازن بين الفعالية والكفاءة. التحليل النظري صارم، وتصميم التجارب معقول، والنتائج مقنعة. على الرغم من وجود بعض القيود، فإن مساهماتها كبيرة وذات أهمية كبيرة في تعزيز عملية تطبيق تكنولوجيا KG-RAG.