2025-11-20T17:34:15.321910

ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG

Hu, Zhu, Tang et al.
Knowledge graphs (KGs), with their structured representation capabilities, offer promising avenue for enhancing Retrieval Augmented Generation (RAG) systems, leading to the development of KG-RAG systems. Nevertheless, existing methods often struggle to achieve effective synergy between system effectiveness and cost efficiency, leading to neither unsatisfying performance nor excessive LLM prompt tokens and inference time. To this end, this paper proposes REMINDRAG, which employs an LLM-guided graph traversal featuring node exploration, node exploitation, and, most notably, memory replay, to improve both system effectiveness and cost efficiency. Specifically, REMINDRAG memorizes traversal experience within KG edge embeddings, mirroring the way LLMs "memorize" world knowledge within their parameters, but in a train-free manner. We theoretically and experimentally confirm the effectiveness of REMINDRAG, demonstrating its superiority over existing baselines across various benchmark datasets and LLM backbones. Our code is available at https://github.com/kilgrims/ReMindRAG.
academic

ReMindRAG: اجتياز الرسم البياني للمعرفة موجه بـ LLM منخفض التكلفة لـ RAG فعال

المعلومات الأساسية

  • معرّف الورقة: 2510.13193
  • العنوان: ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
  • المؤلفون: Yikuan Hu, Jifeng Zhu, Lanrui Tang, Chen Huang
  • التصنيف: cs.IR (استرجاع المعلومات)
  • المؤتمر: المؤتمر الـ 39 حول أنظمة معالجة المعلومات العصبية (NeurIPS 2025)
  • رابط الورقة: https://arxiv.org/abs/2510.13193
  • رابط الكود: https://github.com/kilgrims/ReMindRAG

الملخص

توفر الرسوم البيانية للمعرفة (KG) طرقاً واعدة لتحسين أنظمة الاسترجاع المعزز بالتوليد (RAG) من خلال قدرتها على التمثيل المنظم، مما أدى إلى تطور أنظمة KG-RAG. ومع ذلك، غالباً ما تواجه الطرق الموجودة صعوبة في تحقيق تعاون فعال بين فعالية النظام وكفاءة التكلفة، مما يؤدي إلى أداء ضعيفة أو استهلاك مفرط لرموز LLM وأوقات الاستدلال. لهذا الغرض، نقترح REMINDRAG، الذي يستخدم اجتياز الرسم البياني الموجه بـ LLM، يتضمن استكشاف العقد واستغلال العقد، والأهم من ذلك آلية إعادة تشغيل الذاكرة لتحسين فعالية النظام وكفاءة التكلفة. بشكل محدد، يخزن REMINDRAG تجارب الاجتياز في تضمينات حافة KG، بطريقة مشابهة لكيفية "تذكر" LLM للمعرفة العالمية في معاملات النموذج، لكن بطريقة خالية من التدريب. نؤكد فعالية REMINDRAG من الناحية النظرية والتجريبية، مما يثبت تفوقها على الأساليب الموجودة عبر مجموعات بيانات معيارية مختلفة وأنظمة LLM الأساسية.

خلفية البحث والدافع

تعريف المشكلة

تعتمد طرق RAG التقليدية بشكل أساسي على استرجاع المتجهات الكثيفة لتحديد مقاطع النصوص ذات الصلة، لكنها محدودة في المهام المعقدة التي تتطلب استدلالاً متعدد الخطوات أو التقاط التبعيات طويلة المدى. توفر الرسوم البيانية للمعرفة بتمثيلها المنظم للكيانات والعلاقات طريقة جديدة لحل هذه المشكلة.

قيود الطرق الموجودة

  1. خوارزميات البحث في الرسم البياني التقليدية: مثل PageRank وطرق GNN، يصعب عليها التقاط العلاقات الدلالية الدقيقة في الرسم البياني، مما يؤدي إلى عدم كفاية فعالية النظام
  2. طرق اجتياز الرسم البياني الموجهة بـ LLM: على الرغم من أدائها الممتاز، تتطلب استدعاءات LLM كثيرة، مما يزيد بشكل كبير من التكلفة وأوقات الاستدلال
  3. المقايضة بين الكفاءة والفعالية: يصعب على أنظمة KG-RAG الموجودة إيجاد توازن فعال بين فعالية النظام وكفاءة التكلفة

دافع البحث

تهدف هذه الورقة إلى حل مشكلة التحسين المشترك بين فعالية النظام وكفاءة التكلفة في أنظمة KG-RAG، وهي التحديات الرئيسية للنشر العملي والقابلية للتوسع.

المساهمات الأساسية

  1. تحديد التحديات الرئيسية: توضيح التحديات المتعلقة بالتحسين المشترك بين فعالية النظام وكفاءة التكلفة في أنظمة KG-RAG
  2. اقتراح إطار عمل REMINDRAG: استخدام اجتياز KG موجه بـ LLM يتضمن استكشاف العقد واستغلال العقد وآلية إعادة تشغيل الذاكرة
  3. التحليل النظري: إثبات فعالية إعادة تشغيل الذاكرة في اجتياز الرسم البياني من الناحية النظرية
  4. التحقق التجريبي: التحقق من تفوق REMINDRAG على مجموعات بيانات معيارية متعددة وأنظمة LLM الأساسية

شرح الطريقة

تعريف المهمة

بالنظر إلى مستندات نصية غير منظمة واستعلام المستخدم، الهدف هو بناء رسم بياني للمعرفة واسترجاع المعلومات ذات الصلة من خلال آلية اجتياز رسم بياني فعالة، وتوليد إجابات دقيقة مع تقليل تكلفة استدعاءات LLM.

معمارية النموذج

1. بناء الرسم البياني للمعرفة

يبني REMINDRAG رسماً بيانياً للمعرفة غير متجانس يتضمن:

  • عقد الكيانات: الكيانات المسماة المستخرجة من النص
  • عقد الأوكار: تخزين عناوين كتل النصوص
  • مجموعات كتل النصوص: المستندات الأصلية المقسمة
  • الاتصالات العلائقية: ثلاثيات الكيان-العلاقة-الكيان وشبكة الهيكل العظمي السياقي

2. اجتياز الرسم البياني للمعرفة الموجه بـ LLM

استراتيجية استكشاف العقد:

  • إعطاء الأولوية لاستكشاف العقد المحتملة التي قد تؤدي إلى الإجابة
  • في كل تكرار، يقيّم LLM جميع العقد في الرسم البياني الجزئي S ويختار عقدة الهدف الأكثر احتمالاً للوصول إلى الإجابة

استراتيجية استغلال العقد:

  • التركيز على استغلال العقد المستكشفة مسبقاً، وتوسيع المسارات على طول هذه العقد
  • بالنظر إلى العقدة المختارة a، يختار LLM عقدة التوسع الأمثل p من مجموعة العقد المجاورة Sa

3. آلية إعادة تشغيل الذاكرة

محتوى الذاكرة:

  • المسارات الفعالة: المسارات التي تؤدي إلى الإجابة الصحيحة (التعزيز الإيجابي)
  • المسارات غير الفعالة: المسارات التي لا تؤدي إلى الإجابة (التعزيز السلبي)

طريقة الذاكرة: تحديث تضمينات الحافة باستخدام معادلة مغلقة:

دالة الوزن: δ(x) = (2/π)cos(π||x||₂/2)
تعزيز المسارات الفعالة: v̂ = v + δ(v) · q/||q||₂
معاقبة المسارات غير الفعالة: v̂ = v - δ(v·q/||q||₂) · v·q/||q||₂

الاستيقاظ السريع والتحديث المخفف:

  • الاستيقاظ السريع: عندما يكون معيار تضمين الحافة v صغيراً، تنتج دالة δ تحديثات اتجاهية كبيرة
  • التحديث المخفف: عندما يكون معيار تضمين الحافة v كبيراً، تنتج دالة δ تحديثات صغيرة فقط، مما يحافظ على الاستقرار

نقاط الابتكار التقني

  1. آلية ذاكرة خالية من التدريب: تخزين تجارب الاجتياز في تضمينات الحافة دون الحاجة إلى تدريب إضافي
  2. موازنة الاستكشاف والاستغلال: الجمع بين استراتيجيات استكشاف واستغلال العقد لتحقيق بحث محلي وعام أمثل
  3. تحديث الأوزان التكيفي: استراتيجية تحديث تكيفية بناءً على معيار المتجه، توازن بين التعلم السريع والاستقرار طويل الأجل

إعداد التجارب

مجموعات البيانات

  1. الأسئلة والأجوبة ذات التبعية الطويلة: مجموعة بيانات LooGLE، اختبار قدرة استرجاع الدلالات طويلة المدى
  2. الأسئلة والأجوبة متعددة الخطوات: مجموعة بيانات HotpotQA، تقييم قدرة الاستدلال متعدد الخطوات
  3. الأسئلة والأجوبة البسيطة: أسئلة وأجوبة LooGLE قصيرة التبعية، اختبار استخراج المعلومات المرتبطة مباشرة

مقاييس التقييم

  1. تقييم الفعالية: استخدام GPT-4o كحكم LLM لتقييم دقة الإجابة
  2. تقييم كفاءة التكلفة: متوسط رموز LLM المستهلكة لكل استعلام أثناء عملية الاجتياز

الطرق المقارنة

  1. طرق الاسترجاع التقليدية: BM25، NaiveRAG
  2. أنظمة KG-RAG باستخدام خوارزميات البحث في الرسم البياني: GraphRAG، LightRAG، HippoRAG2
  3. أنظمة KG-RAG الموجهة بـ LLM: Plan-on-Graph

تفاصيل التنفيذ

  • نظام LLM الأساسي: GPT-4o-mini، Deepseek-V3
  • نموذج التضمين: nomic-ai/nomic-embed-text-v2-moe
  • تقسيم النص: طول 750 رمز
  • المعاملات الرئيسية: α=0.1 (وزن صلة العقدة)، λ=0.55 (عتبة الاتصال القوي)

نتائج التجارب

النتائج الرئيسية

نوع الأسئلة والأجوبةGPT-4o-miniDeepseek-V3
أسئلة وأجوبة ذات التبعية الطويلة57.04%59.73%
أسئلة وأجوبة متعددة الخطوات74.22%79.38%
أسئلة وأجوبة بسيطة76.67%77.01%

يتفوق REMINDRAG بشكل كبير على الطرق الأساسية في جميع المهام:

  • أسئلة وأجوبة ذات التبعية الطويلة: متوسط تحسن 12.08%
  • أسئلة وأجوبة متعددة الخطوات: متوسط تحسن 10.31%
  • أسئلة وأجوبة بسيطة: متوسط تحسن 4.66%

تحليل كفاءة التكلفة

نوع الإعداددقةاستهلاك الرموزتقليل التكلفة
بدون ذاكرة57.04%14.91K-
ذاكرة جولة واحدة56.48%9.68K35.1%
ذاكرة جولتين58.01%7.55K49.4%
ذاكرة ثلاث جولات60.31%6.71K55.0%

بعد جولات ذاكرة متعددة، يحقق REMINDRAG متوسط تقليل 58.8% في استهلاك الرموز.

تجارب الاستبدال

تأثير شبكة الهيكل العظمي السياقي:

  • بعد إزالة شبكة الهيكل العظمي السياقي، انخفضت أداء أسئلة وأجوبة ذات التبعية الطويلة من 57.04% إلى 51.01%
  • يتحقق من أهمية التقاط المعلومات السياقية

تأثير إعدادات عدد الخطوات:

  • مع زيادة الحد الأقصى لعدد الخطوات، تزداد أداء النظام بشكل رتيب
  • يسمح عدد الخطوات الأكبر للعقد بالوصول إلى نطاق أوسع من المعلومات المجاورة

تحليل الحالات

القدرة على التصحيح الذاتي:

  • بعد إجابة خاطئة أولية، يمكن للنظام معاقبة العقد غير ذات الصلة بناءً على قواعد الذاكرة
  • في الاستعلامات اللاحقة، يتحول إلى الرسم البياني الجزئي المحسّن بالذاكرة، مما يحقق التصحيح الذاتي للأخطاء

استقرار الذاكرة:

  • الحفاظ على أداء مستقرة في إعدادات الذاكرة المعقدة متعددة الجولات
  • إظهار المتانة عند التعامل مع مجموعات بيانات غير متجانسة

التحليل النظري

نظرية سعة الذاكرة

بالنسبة لمجموعة من الاستعلامات ذات التشابه الدلالي معين، عندما يكون بُعد التضمين d كبيراً بما يكفي، يمكن لتضمينات الحافة تخزين معلومات الاستعلام بشكل فعال، بشرط:

θ ≤ lim[d→∞] [2 arcsin(√(1/2 sin(arccos(λ))))]

حيث θ هو الحد الأقصى للزاوية بين أزواج تضمينات الاستعلام، و λ هو عتبة الاتصال القوي.

الضمانات النظرية

  • الحد الأعلى النظري لـ λ هو 0.775، وهو متسق مع أبحاث التشابه الدلالي الموجودة بقيمة 0.6
  • عندما يتجاوز بُعد التضمين 100، يكون التقريب النظري ذا فائدة عملية كبيرة في الممارسة

الأعمال ذات الصلة

تطور أنظمة KG-RAG

  1. طرق البحث في الرسم البياني التقليدية: PageRank، Random Walk، GNN وغيرها، يصعب عليها التقاط العلاقات الدلالية الدقيقة
  2. طرق موجهة بـ LLM: الاستفادة من قدرات فهم LLM الدلالية، لكن بتكاليف عالية
  3. قص الرسم البياني وتخطيط المسار: طرق التحسين الموجودة ذات فعالية محدودة

آليات إعادة تشغيل الذاكرة

  • الاستفادة من مفهوم إعادة تشغيل الذاكرة في التعلم المعزز
  • تحديث مبتكر لتضمين الذاكرة كأوزان في الرسم البياني، بدلاً من إعادة تشغيل العينات الصريحة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. يحقق REMINDRAG بنجاح التحسين المشترك بين فعالية النظام وكفاءة التكلفة
  2. تحسن آلية إعادة تشغيل الذاكرة بشكل كبير من كفاءة الاستعلامات اللاحقة
  3. تعزز القدرة على التصحيح الذاتي من متانة النظام

القيود

  1. تكلفة الاجتياز الأولي: لا يزال الاجتياز الأول يتطلب استدعاءات LLM متعددة
  2. معالجة المستندات الكبيرة: يتطلب بناء الرسم البياني للمعرفة وقتاً وموارد حسابية كبيرة
  3. حدود سعة الذاكرة: يعتمد التحليل النظري على افتراض البُعد اللانهائي، قد يكون محدوداً في التطبيقات العملية

الاتجاهات المستقبلية

  1. تهيئة الذاكرة المدربة مسبقاً: استخدام الأسئلة الشائعة الخاصة بالمجال لتهيئة ذاكرة النموذج مسبقاً
  2. بناء الرسم البياني الموزع: تحسين كفاءة بناء الرسم البياني للمستندات الكبيرة جداً
  3. إدارة الذاكرة الديناميكية: دراسة آليات النسيان والتحديث للذاكرة طويلة الأجل

التقييم المتعمق

المميزات

  1. ابتكار قوي: أول من يقترح آلية ذاكرة اجتياز رسم بياني خالية من التدريب
  2. نظرية صلبة: توفير تحليل نظري وضمانات لسعة الذاكرة
  3. تجارب شاملة: تقييم شامل عبر مجموعات بيانات متعددة وأنظمة LLM أساسية
  4. قيمة عملية عالية: تحسن أداء كبير وتقليل التكلفة

أوجه القصور

  1. حساسية المعاملات: قد يؤثر إعداد معاملات متعددة على الأداء
  2. مشاكل القابلية للتوسع: لم يتم التحقق بشكل كافٍ من قابلية التطبيق على الرسوم البيانية الضخمة جداً للمعرفة
  3. استراتيجية تحديث الذاكرة: قد لا يكون التحديث الخطي البسيط مناسباً لجميع السيناريوهات

التأثير

  1. المساهمة الأكاديمية: توفير أفكار تحسين جديدة لمجال KG-RAG
  2. التطبيق العملي: آفاق تطبيق واسعة في أنظمة الأسئلة والأجوبة واسترجاع المعلومات
  3. قابلية إعادة الإنتاج: توفير كود مفتوح المصدر يسهل على مجتمع البحث التحقق والتوسع

السيناريوهات المناسبة

  1. أنظمة الحوار متعددة الجولات: القدرة على تذكر التفاعلات التاريخية وتحسين كفاءة الاستجابة
  2. الأسئلة والأجوبة الخاصة بالمجال: القدرة على تجميع واستخدام تجارب الاجتياز في مجال معين
  3. التطبيقات الحساسة للتكلفة: السيناريوهات التي لها متطلبات صارمة لتكلفة استدعاءات LLM

المراجع

تستشهد هذه الورقة بأعمال مهمة من مجالات متعددة بما في ذلك RAG والرسوم البيانية للمعرفة والشبكات العصبية للرسوم البيانية، بما في ذلك:

  • Lewis et al. (2020): استرجاع معزز بالتوليد لمهام معالجة اللغة الطبيعية الكثيفة المعرفة
  • Edge et al. (2024): نهج GraphRAG للتلخيص الموجه بالاستعلام
  • Guo et al. (2024): LightRAG استرجاع معزز بالتوليد بسيط وسريع
  • وغيرها من 55 مرجعاً ذا صلة

التقييم الشامل: ReMindRAG هو عمل بحثي عالي الجودة يقترح حلاً مبتكراً في مجال KG-RAG. لا تتمثل الطريقة فقط في اختراق تقني، بل الأهم من ذلك حل المشكلة الرئيسية في التطبيقات العملية - التوازن بين الفعالية والكفاءة. التحليل النظري صارم، وتصميم التجارب معقول، والنتائج مقنعة. على الرغم من وجود بعض القيود، فإن مساهماتها كبيرة وذات أهمية كبيرة في تعزيز عملية تطبيق تكنولوجيا KG-RAG.