ReMindRAG: Low-Cost LLM-Guided Knowledge Graph Traversal for Efficient RAG
Hu, Zhu, Tang et al.
Knowledge graphs (KGs), with their structured representation capabilities, offer promising avenue for enhancing Retrieval Augmented Generation (RAG) systems, leading to the development of KG-RAG systems. Nevertheless, existing methods often struggle to achieve effective synergy between system effectiveness and cost efficiency, leading to neither unsatisfying performance nor excessive LLM prompt tokens and inference time. To this end, this paper proposes REMINDRAG, which employs an LLM-guided graph traversal featuring node exploration, node exploitation, and, most notably, memory replay, to improve both system effectiveness and cost efficiency. Specifically, REMINDRAG memorizes traversal experience within KG edge embeddings, mirroring the way LLMs "memorize" world knowledge within their parameters, but in a train-free manner. We theoretically and experimentally confirm the effectiveness of REMINDRAG, demonstrating its superiority over existing baselines across various benchmark datasets and LLM backbones. Our code is available at https://github.com/kilgrims/ReMindRAG.
academic
ReMindRAG: কম খরচের LLM-গাইডেড নলেজ গ্রাফ ট্রাভার্সাল দক্ষ RAG এর জন্য
নলেজ গ্রাফ (KG) তার কাঠামোগত প্রতিনিধিত্ব ক্ষমতার মাধ্যমে, পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) সিস্টেম উন্নত করার জন্য প্রতিশ্রুতিশীল পথ প্রদান করে, KG-RAG সিস্টেমের উন্নয়ন প্রচার করেছে। তবে, বিদ্যমান পদ্ধতিগুলি প্রায়শই সিস্টেম কার্যকারিতা এবং খরচ দক্ষতার মধ্যে কার্যকর সমন্বয় অর্জনে সংগ্রাম করে, যা দুর্বল কর্মক্ষমতা বা অত্যধিক LLM প্রম্পট টোকেন এবং অনুমান সময়ের দিকে পরিচালিত করে। এই সমস্যা সমাধানের জন্য, এই পেপারটি REMINDRAG প্রস্তাব করে, যা LLM-গাইডেড গ্রাফ ট্রাভার্সাল ব্যবহার করে, যার মধ্যে রয়েছে নোড অন্বেষণ, নোড ব্যবহার, এবং সবচেয়ে গুরুত্বপূর্ণভাবে স্মৃতি পুনরায় চালানোর প্রক্রিয়া, সিস্টেম কার্যকারিতা এবং খরচ দক্ষতা উন্নত করতে। নির্দিষ্টভাবে, REMINDRAG KG এজ এম্বেডিংয়ে ট্রাভার্সাল অভিজ্ঞতা স্মরণ করে, LLM যেভাবে তার পরামিতিতে বিশ্ব জ্ঞান "স্মরণ" করে তার অনুরূপ, কিন্তু প্রশিক্ষণ-মুক্ত পদ্ধতি ব্যবহার করে। আমরা তাত্ত্বিক এবং পরীক্ষামূলক উভয় দিক থেকে REMINDRAG এর কার্যকারিতা নিশ্চিত করি, বিভিন্ন বেঞ্চমার্ক ডেটাসেট এবং LLM ব্যাকবোন জুড়ে বিদ্যমান বেসলাইনকে ছাড়িয়ে যাওয়ার প্রমাণ দিই।
ঐতিহ্যবাহী RAG পদ্ধতি প্রাসঙ্গিক পাঠ্য অংশ চিহ্নিত করতে প্রধানত ঘন ভেক্টর পুনরুদ্ধারের উপর নির্ভর করে, কিন্তু বহু-হপ যুক্তি বা দীর্ঘ-পরিসর নির্ভরতা ক্যাপচার করার প্রয়োজন এমন জটিল কাজে সীমিত কর্মক্ষমতা প্রদর্শন করে। নলেজ গ্রাফ তার কাঠামোগত সত্তা এবং সম্পর্ক প্রতিনিধিত্বের মাধ্যমে এই সমস্যা সমাধানের জন্য নতুন পথ প্রদান করে।
ঐতিহ্যবাহী গ্রাফ অনুসন্ধান অ্যালগরিদম: PageRank এবং GNN পদ্ধতির মতো, গ্রাফে সূক্ষ্ম শব্দার্থিক সম্পর্ক ক্যাপচার করতে অসুবিধা, সিস্টেম কার্যকারিতা অপর্যাপ্ত করে
LLM-গাইডেড গ্রাফ ট্রাভার্সাল পদ্ধতি: যদিও উচ্চতর কর্মক্ষমতা প্রদর্শন করে, তবে প্রচুর LLM আহ্বান প্রয়োজন, খরচ এবং অনুমান সময় উল্লেখযোগ্যভাবে বৃদ্ধি করে
দক্ষতা এবং কার্যকারিতার ভারসাম্য: বিদ্যমান KG-RAG সিস্টেমগুলি সিস্টেম কার্যকারিতা এবং খরচ দক্ষতার মধ্যে কার্যকর ভারসাম্য খুঁজে পেতে অসুবিধা করে
এই পেপারটি KG-RAG সিস্টেমে সিস্টেম কার্যকারিতা এবং খরচ দক্ষতার সহ-অপ্টিমাইজেশন সমস্যা সমাধানের লক্ষ্য রাখে, যা বাস্তব স্থাপনা এবং স্কেলেবিলিটির প্রধান চ্যালেঞ্জ।
মূল চ্যালেঞ্জ চিহ্নিত করা: KG-RAG সিস্টেমে সিস্টেম কার্যকারিতা এবং খরচ দক্ষতার সহ-অপ্টিমাইজেশনের চ্যালেঞ্জ স্পষ্টভাবে নির্দেশ করা
REMINDRAG ফ্রেমওয়ার্ক প্রস্তাব: LLM-গাইডেড KG ট্রাভার্সাল ব্যবহার করে, যার মধ্যে নোড অন্বেষণ, নোড ব্যবহার এবং স্মৃতি পুনরায় চালানোর প্রক্রিয়া রয়েছে
তাত্ত্বিক বিশ্লেষণ: গ্রাফ ট্রাভার্সাল স্মৃতি পুনরায় চালানোর কার্যকারিতা তাত্ত্বিকভাবে প্রমাণ করা
পরীক্ষামূলক যাচাইকরণ: একাধিক বেঞ্চমার্ক ডেটাসেট এবং LLM ব্যাকবোন জুড়ে REMINDRAG এর উচ্চতর কর্মক্ষমতা যাচাই করা
অ-কাঠামোগত পাঠ্য নথি এবং ব্যবহারকারী প্রশ্ন দেওয়া, লক্ষ্য হল একটি নলেজ গ্রাফ তৈরি করা এবং দক্ষ গ্রাফ ট্রাভার্সাল প্রক্রিয়ার মাধ্যমে প্রাসঙ্গিক তথ্য পুনরুদ্ধার করা, নির্ভুল উত্তর তৈরি করা, একই সাথে LLM আহ্বান খরচ কমানো।
এই পেপারটি RAG, নলেজ গ্রাফ, গ্রাফ নিউরাল নেটওয়ার্ক ইত্যাদি একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করেছে, যার মধ্যে রয়েছে:
Lewis et al. (2020): জ্ঞান-নিবিড় NLP কাজের জন্য পুনরুদ্ধার-বর্ধিত প্রজন্ম
Edge et al. (2024): প্রশ্ন-কেন্দ্রিক সংক্ষিপ্তকরণের জন্য GraphRAG পদ্ধতি
Guo et al. (2024): LightRAG সাধারণ এবং দ্রুত পুনরুদ্ধার-বর্ধিত প্রজন্ম
এবং অন্যান্য ५५টি সম্পর্কিত সাহিত্য
সামগ্রিক মূল্যায়ন: REMINDRAG একটি উচ্চ-মানের গবেষণা কাজ, KG-RAG ক্ষেত্রে একটি উদ্ভাবনী সমাধান প্রস্তাব করেছে। এই পদ্ধতি শুধুমাত্র প্রযুক্তিগতভাবে অগ্রগামী নয়, আরও গুরুত্বপূর্ণভাবে বাস্তব প্রয়োগে মূল সমস্যা সমাধান করেছে—কার্যকারিতা এবং দক্ষতার ভারসাম্য। তাত্ত্বিক বিশ্লেষণ কঠোর, পরীক্ষামূলক ডিজাইন যুক্তিসঙ্গত, ফলাফল প্রভাবশালী। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর অবদান উল্লেখযোগ্য, KG-RAG প্রযুক্তির ব্যবহারিকীকরণ প্রচারে গুরুত্বপূর্ণ অর্থ রাখে।