2025-11-22T07:19:16.386176

MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems

Zhao, Ji, Niu et al.

The traditional RAG paradigm, which typically engages in the comprehension of relevant text chunks in response to received queries, inherently restricts both the depth of knowledge internalization and reasoning capabilities. To address this limitation, our research transforms the text processing in RAG from passive chunking to proactive understanding, defining this process as document memory extraction with the objective of simulating human cognitive processes during reading. Building upon this, we propose the Mixtures of scenario-aware document Memories (MoM) framework, engineered to efficiently handle documents from multiple domains and train small language models (SLMs) to acquire the ability to proactively explore and construct document memories. The MoM initially instructs large language models (LLMs) to simulate domain experts in generating document logical outlines, thereby directing structured chunking and core content extraction. It employs a multi-path sampling and multi-perspective evaluation mechanism, specifically designing comprehensive metrics that represent chunk clarity and extraction completeness to select the optimal document memories. Additionally, to infuse deeper human-like reading abilities during the training of SLMs, we incorporate a reverse reasoning strategy, which deduces refined expert thinking paths from high-quality outcomes. Finally, leveraging diverse forms of content generated by MoM, we develop a three-layer document memory retrieval mechanism, which is grounded in our theoretical proof from the perspective of probabilistic modeling. Extensive experimental results across three distinct domains demonstrate that the MoM framework not only resolves text chunking challenges in existing RAG systems, providing LLMs with semantically complete document memories, but also paves the way for SLMs to achieve human-centric intelligent text processing.

academic

MoM: পুনরুদ্ধার-বর্ধিত প্রজন্ম সিস্টেমের জন্য পরিস্থিতি-সচেতন নথি স্মৃতির মিশ্রণ

মৌলিক তথ্য

পত্রের আইডি: 2510.14252
শিরোনাম: MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems
লেখক: Jihao Zhao, Zhiyuan Ji, Simin Niu, Hanyu Wang, Feiyu Xiong, Zhiyu Li
শ্রেণীবিভাগ: cs.CL (কম্পিউটেশনাল ভাষাবিজ্ঞান)
প্রকাশনার সময়: ২০২৪ সালের ১৬ অক্টোবর (arXiv প্রাক-মুদ্রণ)
পত্রের লিঙ্ক: https://arxiv.org/abs/2510.14252
কোড লিঙ্ক: https://github.com/MemTensor/MoM

সারসংক্ষেপ

ঐতিহ্যবাহী পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) প্রতিমান সাধারণত প্রাসঙ্গিক পাঠ্য খণ্ড বোঝার মাধ্যমে প্রশ্নের উত্তর দেয়, যা জ্ঞান অভ্যন্তরীণকরণের গভীরতা এবং যুক্তিযুক্ত ক্ষমতাকে মৌলিকভাবে সীমাবদ্ধ করে। এই সীমাবদ্ধতা সমাধানের জন্য, এই গবেষণা RAG-তে পাঠ্য প্রক্রিয়াকরণকে নিষ্ক্রিয় খণ্ডায়ন থেকে সক্রিয় বোঝাপড়ায় রূপান্তরিত করে, যা নথি স্মৃতি নিষ্কাশন প্রক্রিয়া হিসাবে সংজ্ঞায়িত করা হয়, যার লক্ষ্য মানুষের পড়ার সময় জ্ঞানীয় প্রক্রিয়া অনুকরণ করা। এর উপর ভিত্তি করে, লেখকরা পরিস্থিতি-সচেতন নথি স্মৃতির মিশ্রণ (MoM) কাঠামো প্রস্তাব করেছেন, যা বহু-ডোমেইন নথি দক্ষতার সাথে পরিচালনা করতে এবং ছোট ভাষা মডেল (SLM) প্রশিক্ষণ দিতে লক্ষ্য করে যাতে তারা সক্রিয়ভাবে নথি স্মৃতি অন্বেষণ এবং নির্মাণ করতে পারে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

ঐতিহ্যবাহী RAG সিস্টেমে একটি মৌলিক জ্ঞানীয় ব্যবধান রয়েছে: নথি প্রক্রিয়াকরণকে যান্ত্রিক প্রাক-প্রক্রিয়াকরণ পদক্ষেপে সরল করা, "প্রথমে বিভাজন তারপর বোঝা" এর নিষ্ক্রিয় পদ্ধতি গ্রহণ করা, যা মানব বিশেষজ্ঞদের জ্ঞানীয় প্রক্রিয়ার বিরুদ্ধে।

সমস্যার গুরুত্ব

শব্দার্থগত সম্পূর্ণতার অভাব: ঐতিহ্যবাহী খণ্ডায়ন পদ্ধতি (নির্দিষ্ট দৈর্ঘ্য, পুনরাবৃত্তিমূলক খণ্ডায়ন ইত্যাদি) নথির গভীর শব্দার্থগত সংযোগ এবং যুক্তিগত কাঠামো উপেক্ষা করে
জ্ঞান বিখণ্ডন: বিদ্যমান পদ্ধতি নীচে-থেকে-উপরে নির্মাণ যুক্তি অনুসরণ করে, নথির সামগ্রিক স্থাপত্যের ম্যাক্রো বোঝার অভাব রয়েছে
যুক্তিযুক্ত ক্ষমতা সীমাবদ্ধ: নিষ্ক্রিয় খণ্ডায়ন মডেলের জ্ঞান অভ্যন্তরীণকরণের গভীরতা এবং যুক্তিযুক্ত ক্ষমতা সীমাবদ্ধ করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

নিয়ম-ভিত্তিক পদ্ধতি: সম্পূর্ণভাবে শব্দার্থগত সংযোগ উপেক্ষা করে, নির্দিষ্ট আকার বা বাক্যতাত্ত্বিক সীমানার উপর ভিত্তি করে বিভাজন
শব্দার্থগত খণ্ডায়ন পদ্ধতি: স্থানীয় শব্দার্থ সংরক্ষণ করে, কিন্তু বৈশ্বিক নথি বোঝার অভাব রয়েছে
LLM পুনরাবৃত্তিমূলক বিভাজন: গণনা খরচ বেশি, মূলত স্থানীয় বিচ্ছেদ বিন্দু খুঁজছে

গবেষণা প্রেরণা

জটিল নথি পড়ার সময় মানব বিশেষজ্ঞদের জ্ঞানীয় প্রক্রিয়া অনুকরণ করা: প্রথমে ম্যাক্রো যুক্তিগত কাঠামো বোঝা, মূল যুক্তি চিহ্নিত করা, অবশেষে কাঠামোগত, স্তরযুক্ত স্মৃতি গঠন করা।

মূল অবদান

সক্রিয় স্মৃতি নিষ্কাশন প্যারাডাইম: নিষ্ক্রিয় পাঠ্য খণ্ডায়নের পরিবর্তে সক্রিয় স্মৃতি নিষ্কাশন প্রস্তাব করা, বৈশ্বিক বোঝার মাধ্যমে কাঠামোগত নথি স্মৃতি নির্মাণ
তিন-স্তরীয় নথি স্মৃতি পুনরুদ্ধার প্রক্রিয়া: সম্ভাব্যতা মডেলিংয়ের উপর ভিত্তি করে তাত্ত্বিক প্রমাণ সহ পুনরুদ্ধার অ্যালগরিদম বিকাশ করা, ঐতিহ্যবাহী সংমিশ্রণ কৌশলের তুলনায় আরও কার্যকরভাবে তথ্য ক্ষতি হ্রাস করা
বিপরীত যুক্তিযুক্ত কৌশল: CoM (স্মৃতি নিষ্কাশনের শৃঙ্খল) নির্মাণ পদ্ধতি ডিজাইন করা, SLM-কে স্বাধীনভাবে জটিল স্মৃতি নিষ্কাশন কাজ সম্পাদন করতে সক্ষম করা
বহু-ডোমেইন যাচাইকরণ: তিনটি ভিন্ন ডোমেইন ডেটাসেটে MoM কাঠামোর কার্যকারিতা যাচাই করা, ৪০K প্রশিক্ষণ নমুনা নির্মাণ এবং একাধিক MemReader মডেল প্রশিক্ষণ

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

নথি স্মৃতি তিন-গুণ হিসাবে সংজ্ঞায়িত করা: Mdoc = {O, C, A}, যেখানে:

O (রূপরেখা): নথির ম্যাক্রো যুক্তিগত কাঠামো, মূল বিষয়গুলির একটি অর্ডার করা সেট দ্বারা গঠিত
C (মূল বিষয়বস্তু): নথির মূল দৃষ্টিভঙ্গি, প্রতিটি রূপরেখা নোডের সাথে সম্পর্কিত অত্যন্ত ঘনীভূত জ্ঞান পয়েন্ট
A (পরমাণু খণ্ড): O দ্বারা পরিচালিত কাঠামোগত, সূক্ষ্ম-দানাদার বিষয়বস্তু বিভাজন

মডেল স্থাপত্য

১. পরিস্থিতি-সচেতন নথি স্মৃতি নিষ্কাশন

বিশেষজ্ঞ অনুকরণ: নির্দিষ্ট ডোমেইন বিশেষজ্ঞ অনুকরণ করতে বড় ভাষা মডেল MG ব্যবহার করা, পরিস্থিতি-সচেতন প্রম্পটের মাধ্যমে নথি যুক্তিগত রূপরেখা O তৈরি করা।

বহু-পথ নমুনা: MG এর ডিকোডিং প্যারামিটার সামঞ্জস্য করা, একই নথি D এর জন্য N টি প্রার্থী নথি স্মৃতি সেট তৈরি করা।

বহু-মাত্রিক মূল্যায়ন: দুটি মূল পরিমাণগত মূল্যায়ন সূচক ডিজাইন করা:

পরমাণু খণ্ড স্পষ্টতা:

Sclarity(Mdoc) = 1/(n-1) * Σ PMeval(bi,i+1|ai, ai+1)

মূল বিষয়বস্তু সম্পূর্ণতা:

Scomp(Mdoc) = 1/n * Σ 1/(PPL(ai|ci) · log(|ci|))

সর্বোত্তম নির্বাচন: পারস্পরিক র‍্যাঙ্কিং ফিউশন অ্যালগরিদম (RRF) ব্যবহার করে সমন্বিত স্কোর গণনা করা:

SRRF(M(i)doc) = 1/(k + rank(i)clarity) + 1/(k + rank(i)comp)

২. CoM বিপরীত নির্মাণ

নির্দেশনা মডেল MG ব্যবহার করা, মূল নথি D এবং সর্বোত্তম নথি স্মৃতি Mdoc ইনপুট করা, যুক্তিযুক্ত পথ P তৈরি করা, উচ্চ-মানের CoM ডেটা গঠন করা।

৩. MemReader প্রশিক্ষণ

তিন-গুণ (D, P, Mdoc) এর উপর ভিত্তি করে SLM প্রশিক্ষণ দেওয়া, ক্ষতি ফাংশন:

LF(θ) = -1/τ * Σ log P(ot|o<t, s; θ)

তিন-স্তরীয় নথি স্মৃতি পুনরুদ্ধার প্রক্রিয়া

তাত্ত্বিক ভিত্তি

অনুমান ১ (শব্দার্থগত বিচ্যুতি অনুমান): বৈশ্বিক প্রশ্ন এবং স্থানীয় প্রশ্ন এম্বেডিং স্থানে শব্দার্থগত কেন্দ্রে উল্লেখযোগ্যভাবে বিচ্ছিন্ন:

||μabs - μquery||2 > 0

উপপাদ্য ১: ব্যবহারকারী প্রশ্নের জন্য, স্তরযুক্ত বহু-ভেক্টর (HMV) প্রত্যাশিত সাদৃশ্যে একক-ভেক্টর সংমিশ্রণ (SVF) এর চেয়ে উন্নত।

উপপাদ্য ২: HMV কৌশল আদর্শ পরিস্থিতি থেকে বিচ্যুত হওয়ার সম্ভাবনা SVF কৌশলের চেয়ে কম, শক্তিশালী সম্ভাব্যতা নিশ্চয়তা প্রদান করে।

পুনরুদ্ধার অ্যালগরিদম

O, C, A এর সাথে সম্পর্কিত তিন-স্তরীয় পুনরুদ্ধার প্রক্রিয়া নির্মাণ করা, স্বাধীনভাবে পুনরুদ্ধার করার পরে ফলাফল সংমিশ্রণ করা, তাত্ত্বিকভাবে প্রমাণিত যে এটি আরও কার্যকরভাবে তথ্য ক্ষতি এড়াতে পারে।

পরীক্ষামূলক সেটআপ

ডেটাসেট

CRUD: সংবাদ ডোমেইন, দীর্ঘ উত্তর প্রজন্মে ফোকাস করা
OmniEval: আর্থিক ডোমেইন, ৫ ধরনের কাজ এবং ১৬টি আর্থিক বিষয় অন্তর্ভুক্ত
MultiFieldQA_zh: বহু-ডোমেইন ডেটাসেট, LongBench বেঞ্চমার্ক থেকে উৎস

মূল্যায়ন মেট্রিক্স

BLEU সিরিজ: n-গ্রাম ওভারল্যাপ পরিমাপ
ROUGE-L: দীর্ঘতম সাধারণ সাবসিকোয়েন্স
METEOR: সমার্থক এবং বাক্যতাত্ত্বিক পরিবর্তন ম্যাচিং ডিগ্রি

তুলনামূলক পদ্ধতি

Original chunking: নির্দিষ্ট দৈর্ঘ্য খণ্ডায়ন
Llama_index: বাক্য সীমানা বজায় রাখা খণ্ডায়ন
Similarity chunking: শব্দার্থগত সাদৃশ্যের উপর ভিত্তি করে বিভাজন
LumberChunker: প্রথমবার LLM প্রবর্তন করা বিভাজন পদ্ধতি
MoC MetaChunker: নির্ভুলতা এবং দক্ষতার ভারসাম্য রাখা প্যারামিটার-দক্ষ খণ্ডায়ন

বাস্তবায়ন বিবরণ

নির্দেশনা মডেল: DeepSeek-R1
ভিত্তি মডেল: Qwen2.5 সিরিজ (1.5B, 3B, 7B, 14B)
এম্বেডিং মডেল: bge-base-zh-v1.5
হার্ডওয়্যার: NVIDIA A800 80G (প্রশিক্ষণ), MetaX C500 64G (মূল্যায়ন)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	CRUD (ROUGE-L)	OmniEval (ROUGE-L)	MultiFieldQA (ROUGE-L)
Original	0.5654	0.2254	0.2315
Llama_index	0.5896	0.2350	0.2363
Semantic Chunking	0.5823	0.2240	0.2191
LumberChunker	0.5701	0.2375	0.2426
MoC MetaChunker	0.6031	0.2457	0.2255
MemReader-7B	0.6152	0.2500	0.2637

মূল আবিষ্কার

স্কেল প্রভাব: এমনকি ছোট MemReader-3B এবং MemReader-1.5B সমস্ত ভিত্তি পদ্ধতির চেয়ে উন্নত
ডোমেইন অভিযোজন: আর্থিক ডোমেইনে (OmniEval) চ্যালেঞ্জের সম্মুখীন, কিন্তু MemReader-7B তিনটি মেট্রিক্সে এখনও ভাল পারফরম্যান্স করে
শব্দার্থগত সুবিধা: ROUGE-L এবং METEOR মেট্রিক্সে উল্লেখযোগ্য পারফরম্যান্স, শব্দার্থগত সাদৃশ্যে সুবিধা প্রমাণ করে

বিলোপন পরীক্ষা

মূল্যায়ন মেট্রিক্সের কার্যকারিতা

পরমাণু খণ্ড স্পষ্টতা এবং ROUGE-L এর মধ্যে সম্পর্ক সহগ তিনটি মূল্যায়ন মডেলের অধীনে যথাক্রমে 0.7044, 0.7585 এবং 0.7248 এ পৌঁছায়, শক্তিশালী ইতিবাচক সম্পর্ক প্রদর্শন করে।

তথ্য সমর্থন বিশ্লেষণ

উত্তরের জন্য পুনরুদ্ধার করা বিষয়বস্তুর সমর্থনের ডিগ্রি মূল্যায়ন করতে তথ্য সমর্থন স্কোর ডিজাইন করা:

Ssupport(A|C) = -1/m * Σ log P(ai|a1,...,ai-1,C)

MemReader-3B সমস্ত মূল্যায়ন মডেলে সর্বোত্তম পারফরম্যান্স অর্জন করে, প্রমাণ করে যে নিষ্কাশিত স্মৃতি ডাউনস্ট্রিম কাজের জন্য আরও তথ্য প্রদান করতে পারে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

MoM কাঠামো সফলভাবে নথি প্রক্রিয়াকরণকে পৃষ্ঠ অপারেশন থেকে গভীর জ্ঞানে উন্নীত করেছে
তিন-স্তরীয় নথি স্মৃতি পুনরুদ্ধার প্রক্রিয়া তাত্ত্বিক এবং ব্যবহারিক উভয় ক্ষেত্রেই ঐতিহ্যবাহী পদ্ধতির চেয়ে উন্নত
SLM MoM দ্বারা ক্ষমতায়িত হওয়ার পরে বহু-ডোমেইন নথি বোঝা এবং সংগঠনে ব্যতিক্রমী ক্ষমতা প্রদর্শন করে

সীমাবদ্ধতা

ডোমেইন নির্ভরতা: আর্থিক এবং অন্যান্য বিচ্ছিন্ন তথ্য-ঘন ডোমেইনে পারফরম্যান্স সীমাবদ্ধ
গণনা খরচ: বহু-পথ নমুনা এবং মূল্যায়ন গণনা ওভারহেড বৃদ্ধি করে
প্রশিক্ষণ ডেটা: উচ্চ-মানের বিশেষজ্ঞ অনুকরণ ডেটার উপর নির্ভর করে

ভবিষ্যত দিকনির্দেশনা

আরও পেশাদার ডোমেইনে অভিযোজনযোগ্যতা প্রসারিত করা
গণনা দক্ষতা এবং অনুমান গতি অপ্টিমাইজ করা
আরও জটিল স্মৃতি কাঠামো এবং পুনরুদ্ধার কৌশল অন্বেষণ করা

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবন: প্রথমবার সক্রিয় স্মৃতি নিষ্কাশন প্যারাডাইম প্রস্তাব করা, ঐতিহ্যবাহী RAG সীমাবদ্ধতা অতিক্রম করা
দৃঢ় তত্ত্ব: সম্পূর্ণ সম্ভাব্যতা মডেলিং তাত্ত্বিক প্রমাণ প্রদান করা
ব্যাপক পরীক্ষা: তিনটি ডোমেইন জুড়ে সম্পূর্ণ মূল্যায়ন, বিস্তারিত বিলোপন পরীক্ষা অন্তর্ভুক্ত
উচ্চ ব্যবহারিক মূল্য: খোলা উৎস কোড, বিদ্যমান RAG সিস্টেমে সরাসরি প্রয়োগ করা যায়

অপূর্ণতা

মূল্যায়ন সীমাবদ্ধতা: প্রধানত চীনা ভাষার ডেটাসেটে যাচাই করা, আন্তর্জাতিকীকরণের ডিগ্রি সীমাবদ্ধ
ভিত্তি তুলনা: সর্বশেষ SOTA পদ্ধতির সাথে তুলনার অভাব
গণনা বিশ্লেষণ: গণনা জটিলতা এবং অনুমান দক্ষতার বিস্তারিত বিশ্লেষণের অভাব

প্রভাব

একাডেমিক অবদান: RAG ক্ষেত্রে নতুন গবেষণা প্যারাডাইম প্রদান করা
প্রকৌশল মূল্য: বিদ্যমান RAG সিস্টেমের কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে
পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ কোড এবং বিস্তারিত বাস্তবায়ন বিবরণ প্রদান করা

প্রযোজ্য পরিস্থিতি

জ্ঞান-নিবিড় অ্যাপ্লিকেশন: আইনি নথি বিশ্লেষণ, একাডেমিক কাগজপত্র বোঝা
বহু-ডোমেইন QA সিস্টেম: ক্রস-ডোমেইন নথি বোঝার প্রয়োজন এমন অ্যাপ্লিকেশন
এন্টারপ্রাইজ জ্ঞান ব্যবস্থাপনা: অভ্যন্তরীণ নথির বুদ্ধিমান পুনরুদ্ধার এবং প্রশ্নোত্তর

সংদর্ভ

পত্রটি ৩২টি সম্পর্কিত সাহিত্য উদ্ধৃত করেছে, যা RAG মৌলিক তত্ত্ব, পাঠ্য খণ্ডায়ন পদ্ধতি, স্মৃতি সিস্টেম ডিজাইন ইত্যাদি মূল ক্ষেত্র অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি RAG ক্ষেত্রে গুরুত্বপূর্ণ উদ্ভাবন মূল্যের একটি পত্র, জ্ঞানীয় বিজ্ঞানের দৃষ্টিভঙ্গি প্রবর্তন করে নথি প্রক্রিয়াকরণ প্যারাডাইম পুনর্সংজ্ঞায়িত করা, শুধুমাত্র তাত্ত্বিকভাবে অগ্রগতি নয় বরং ব্যবহারিকভাবেও উল্লেখযোগ্য ফলাফল অর্জন করেছে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর অগ্রগামী চিন্তাভাবনা এবং দৃঢ় পরীক্ষামূলক যাচাইকরণ এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।