Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
Peng, Kumar, Wu et al.
Retrieval-Augmented Generation (RAG) systems leverage Large Language Models (LLMs) to generate accurate and reliable responses that are grounded in retrieved context. However, LLMs often generate inconsistent outputs for semantically equivalent inputs, a problem compounded by the scarcity of consistency-focused training data and the limitations of current fine-tuning techniques in enhancing output consistency. We propose a new approach combining systematic synthetic data generation, triplet loss for better embeddings, and a novel layer-wise model merging approach. Using consistency-aware weights derived from intermediate layer activations, our method effectively integrates knowledge from specialized models. Experimental results how that our merged model significantly enhances output consistency, achieving a ~47.5\% improvement in response similarity over the baseline, thus offering a practical solution for increasing the reliability of an industrial RAG system.
academic
বৈচিত্র্যময় মডেলগুলিকে সামঞ্জস্যপূর্ণ করা: সামঞ্জস্যপূর্ণ প্রজন্মের জন্য একটি স্তর-ভিত্তিক মার্জিং কৌশল
পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) সিস্টেমগুলি বৃহৎ ভাষা মডেল (LLM) ব্যবহার করে পুনরুদ্ধৃত প্রসঙ্গের উপর ভিত্তি করে নির্ভুল এবং নির্ভরযোগ্য প্রতিক্রিয়া তৈরি করে। তবে, LLM গুলি শব্দার্থগতভাবে সমতুল্য ইনপুটের মুখোমুখি হলে প্রায়শই অসামঞ্জস্যপূর্ণ আউটপুট তৈরি করে, এই সমস্যাটি সামঞ্জস্য-ভিত্তিক প্রশিক্ষণ ডেটার অভাব এবং আউটপুট সামঞ্জস্য বৃদ্ধিতে বর্তমান সূক্ষ্ম-সুরক্ষা কৌশলের সীমাবদ্ধতার কারণে আরও বৃদ্ধি পায়। এই পেপারটি সিস্টেমেটাইজড সিন্থেটিক ডেটা প্রজন্ম, ট্রিপলেট লস এবং উপন্যাস স্তর-ভিত্তিক মডেল মার্জিং একত্রিত একটি পদ্ধতি প্রস্তাব করে। মধ্যবর্তী স্তরের সক্রিয়করণ থেকে উদ্ভূত সামঞ্জস্য-সচেতন ওজন ব্যবহার করে, এই পদ্ধতিটি বিশেষায়িত মডেলগুলির জ্ঞান কার্যকরভাবে একীভূত করে। পরীক্ষামূলক ফলাফলগুলি দেখায় যে মার্জড মডেলটি আউটপুট সামঞ্জস্য উল্লেখযোগ্যভাবে উন্নত করেছে, প্রতিক্রিয়া সাদৃশ্যে বেসলাইনের তুলনায় ৪৭.৫% উন্নতি অর্জন করেছে।
এই গবেষণা যে মূল সমস্যাটি সমাধান করে তা হল RAG সিস্টেমে প্রজন্ম মডেলের আউটপুট সামঞ্জস্য সমস্যা। এটি নির্দিষ্টভাবে প্রকাশ পায়:
শব্দার্থগতভাবে সমতুল্য প্রশ্নগুলি বিভিন্ন প্রতিক্রিয়া তৈরি করে: চিত্র ১-এ দেখা যায়, শুধুমাত্র প্রশ্ন চিহ্নের উপস্থিতি বা অনুপস্থিতি RAG সিস্টেমকে সম্পূর্ণ ভিন্ন উত্তর দিতে পারে
শিল্প স্থাপনায় ব্যবহারিক চ্যালেঞ্জ: উৎপাদন পরিবেশে, ব্যবহারকারী প্রশ্নের বৈচিত্র্যময় রূপগুলি সিস্টেমের নির্ভরযোগ্যতার জন্য হুমকি সৃষ্টি করে
নির্ভরযোগ্যতার প্রয়োজনীয়তা: আর্থিক, চিকিৎসা এবং অন্যান্য উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্রে, অসামঞ্জস্যপূর্ণ প্রতিক্রিয়া ব্যবহারকারীর বিশ্বাসকে গুরুতরভাবে প্রভাবিত করে
ব্যবহারিক প্রভাব: পেপারটি অভিজ্ঞতামূলক পর্যবেক্ষণের মাধ্যমে আবিষ্কার করে যে পুনরুদ্ধারকারীর তুলনায় প্রজন্মকারী প্রশ্নের পরিবর্তনের প্রতি আরও সংবেদনশীল
সিস্টেম স্থিতিশীলতা: আউটপুট অসামঞ্জস্য সরাসরি শিল্প পরিবেশে RAG সিস্টেমের গ্রহণযোগ্যতাকে প্রভাবিত করে
প্রশ্ন রূপান্তর শ্রেণীবিভাগ: শিল্প RAG সিস্টেমে প্রতিক্রিয়া অসামঞ্জস্য সৃষ্টিকারী প্রশ্ন রূপান্তরের প্রকারগুলি সিস্টেমেটিকভাবে চিহ্নিত এবং শ্রেণীবদ্ধ করা
সামঞ্জস্য পরিমাপ ফ্রেমওয়ার্ক: নির্ভুল ম্যাচিং (EM), প্রতিক্রিয়া সাদৃশ্য (RS) এবং BERT সাদৃশ্য (BS) সহ সামঞ্জস্য মূল্যায়ন মেট্রিক্স স্থাপন করা
স্তর-ভিত্তিক মডেল মার্জিং পদ্ধতি: সামঞ্জস্য-সচেতন ওজনের উপর ভিত্তি করে একটি উপন্যাস স্তর-ভিত্তিক মডেল মার্জিং কৌশল প্রস্তাব করা
সমন্বিত সমাধান: সিন্থেটিক ডেটা প্রজন্ম, ট্রিপলেট লস প্রশিক্ষণ এবং মডেল মার্জিং একীভূত করা
একটি মূল প্রশ্ন Q এবং এর শব্দার্থগতভাবে সমতুল্য রূপান্তর Q' দেওয়া, লক্ষ্য হল RAG সিস্টেমের প্রজন্মকারীকে উভয়ের জন্য সামঞ্জস্যপূর্ণ প্রতিক্রিয়া S এবং S' তৈরি করতে সক্ষম করা, অর্থাৎ S এবং S' এর মধ্যে শব্দার্থগত সাদৃশ্য সর্বাধিক করা, যখন প্রতিক্রিয়ার নির্ভুলতা বজায় রাখা।
পেপারটি একাধিক গুরুত্বপূর্ণ সম্পর্কিত কাজ উদ্ধৃত করেছে, যার মধ্যে রয়েছে:
Lewis et al. (2020): RAG ফ্রেমওয়ার্কের ভিত্তিস্থাপক কাজ
Yu et al. (2024), Yadav et al. (2023): DARE-TIES মডেল মার্জিং পদ্ধতি
Schroff et al. (2015): ট্রিপলেট লসের মূল কাজ
Patwardhan et al. (2024): LLM সামঞ্জস্যের সংজ্ঞা এবং বিশ্লেষণ
সামগ্রিক মূল্যায়ন: এটি বাস্তব শিল্প সমস্যার জন্য একটি উচ্চ-মানের প্রয়োগ গবেষণা পেপার, যা পদ্ধতি উদ্ভাবন এবং ব্যবহারিক মূল্য উভয় ক্ষেত্রেই উল্লেখযোগ্য অবদান রাখে। যদিও তাত্ত্বিক গভীরতা এবং সাধারণীকরণ যাচাইকরণে উন্নতির অবকাশ রয়েছে, তবে এটি যে সমস্যার সমাধান করে তা উল্লেখযোগ্য ব্যবহারিক গুরুত্ব রাখে এবং প্রস্তাবিত পদ্ধতি ভাল অপারেশনযোগ্যতা এবং কার্যকারিতা প্রদর্শন করে।