2025-11-12T19:43:10.253640

Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation

Peng, Kumar, Wu et al.
Retrieval-Augmented Generation (RAG) systems leverage Large Language Models (LLMs) to generate accurate and reliable responses that are grounded in retrieved context. However, LLMs often generate inconsistent outputs for semantically equivalent inputs, a problem compounded by the scarcity of consistency-focused training data and the limitations of current fine-tuning techniques in enhancing output consistency. We propose a new approach combining systematic synthetic data generation, triplet loss for better embeddings, and a novel layer-wise model merging approach. Using consistency-aware weights derived from intermediate layer activations, our method effectively integrates knowledge from specialized models. Experimental results how that our merged model significantly enhances output consistency, achieving a ~47.5\% improvement in response similarity over the baseline, thus offering a practical solution for increasing the reliability of an industrial RAG system.
academic

विविध मॉडलों को सामंजस्यपूर्ण बनाना: सुसंगत पीढ़ी के लिए परत-वार विलय रणनीति

बुनियादी जानकारी

  • पेपर ID: 2510.14915
  • शीर्षक: Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
  • लेखक: Xujun Peng, Anoop Kumar, Jingyu Wu, Parker Glenn, Daben Liu (Capital One AI Foundations)
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन समय: 16 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.14915

सारांश

पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) प्रणालियाँ बड़े भाषा मॉडल (LLMs) का उपयोग करके पुनर्प्राप्त संदर्भ के आधार पर सटीक और विश्वसनीय प्रतिक्रियाएँ उत्पन्न करती हैं। हालांकि, LLMs अक्सर शब्दार्थ रूप से समतुल्य इनपुट के सामने असंगत आउटपुट उत्पन्न करते हैं, यह समस्या सुसंगतता-उन्मुख प्रशिक्षण डेटा की कमी और आउटपुट सुसंगतता बढ़ाने में वर्तमान सूक्ष्म-ट्यूनिंग तकनीकों की सीमाओं के कारण बढ़ जाती है। यह पेपर व्यवस्थित सिंथेटिक डेटा पीढ़ी, ट्रिपलेट हानि और नोवल परत-वार मॉडल विलय को जोड़ने वाली एक विधि प्रस्तावित करता है। मध्यवर्ती परत सक्रियकरण से प्राप्त सुसंगतता-जागरूक भार का उपयोग करके, यह विधि विशेषज्ञ मॉडलों के ज्ञान को प्रभावी ढंग से एकीकृत करती है। प्रायोगिक परिणाम दर्शाते हैं कि विलय मॉडल आउटपुट सुसंगतता में महत्वपूर्ण सुधार करता है, प्रतिक्रिया समानता पर आधारभूत की तुलना में 47.5% सुधार प्राप्त करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान RAG प्रणालियों में पीढ़ी मॉडल की आउटपुट सुसंगतता समस्या को संबोधित करता है। विशेष रूप से निम्नलिखित के रूप में प्रकट होता है:

  1. शब्दार्थ रूप से समतुल्य क्वेरीज़ विभिन्न प्रतिक्रियाएँ उत्पन्न करती हैं: जैसा कि चित्र 1 में दिखाया गया है, केवल प्रश्न चिह्न की उपस्थिति या अनुपस्थिति RAG प्रणाली को बिल्कुल अलग उत्तर देने के लिए प्रेरित कर सकती है
  2. औद्योगिक तैनाती में व्यावहारिक चुनौतियाँ: उत्पादन वातावरण में, उपयोगकर्ता क्वेरीज़ के विविध रूप सिस्टम की विश्वसनीयता के लिए खतरा पैदा करते हैं

समस्या की महत्ता

  1. विश्वसनीयता आवश्यकता: वित्त, चिकित्सा और अन्य उच्च-जोखिम क्षेत्रों में, असंगत प्रतिक्रियाएँ उपयोगकर्ता विश्वास को गंभीरता से प्रभावित करती हैं
  2. व्यावहारिक प्रभाव: पेपर अनुभवजन्य अवलोकन के माध्यम से पाता है कि पुनर्प्राप्ति के सापेक्ष, जनरेटर क्वेरी परिवर्तनों के प्रति अधिक संवेदनशील है
  3. सिस्टम स्थिरता: आउटपुट असंगतता सीधे औद्योगिक वातावरण में RAG प्रणाली को अपनाने को प्रभावित करती है

मौजूदा विधियों की सीमाएँ

  1. प्रशिक्षण डेटा की कमी: सुसंगतता के लिए विशेष रूप से लक्षित प्रशिक्षण डेटा की कमी
  2. सूक्ष्म-ट्यूनिंग तकनीकों की सीमा: पारंपरिक सूक्ष्म-ट्यूनिंग विधियाँ आउटपुट सुसंगतता बढ़ाने में सीमित प्रभावी हैं
  3. मूल्यांकन बेंचमार्क की कमी: विशेष सुसंगतता मूल्यांकन बेंचमार्क और डेटासेट की कमी

मुख्य योगदान

  1. क्वेरी वेरिएंट वर्गीकरण: औद्योगिक RAG प्रणालियों में प्रतिक्रिया असंगतता का कारण बनने वाले क्वेरी वेरिएंट प्रकारों की व्यवस्थित पहचान और वर्गीकरण
  2. सुसंगतता माप प्रणाली: सटीक मिलान (EM), प्रतिक्रिया समानता (RS) और BERT समानता (BS) सहित सुसंगतता मूल्यांकन मेट्रिक्स की स्थापना
  3. परत-वार मॉडल विलय विधि: सुसंगतता-जागरूक भार के आधार पर नोवल परत-वार मॉडल विलय रणनीति का प्रस्ताव
  4. व्यापक समाधान: सिंथेटिक डेटा पीढ़ी, ट्रिपलेट हानि प्रशिक्षण और मॉडल विलय के पूर्ण पद्धति को एकीकृत करना

विधि विवरण

कार्य परिभाषा

मूल क्वेरी Q और इसके शब्दार्थ रूप से समतुल्य वेरिएंट Q' को देखते हुए, लक्ष्य RAG प्रणाली के जनरेटर को दोनों के लिए सुसंगत प्रतिक्रियाएँ S और S' उत्पन्न करना है, अर्थात् S और S' के बीच शब्दार्थ समानता को अधिकतम करना, साथ ही प्रतिक्रिया की सटीकता बनाए रखना।

मॉडल आर्किटेक्चर

1. सिंथेटिक डेटा पीढ़ी रणनीति

उत्पादन क्वेरीज़ के विश्लेषण के आधार पर, तीन मुख्य वेरिएंट प्रकार की पहचान की गई:

कैसे करें/करो वेरिएंट:

  • विधि संबंधी प्रश्नों का पुनः प्रस्तुतिकरण
  • नियमित अभिव्यक्ति नियमों का उपयोग करके व्यवस्थित पीढ़ी

एकवचन/बहुवचन/लेख वेरिएंट:

  • संज्ञा संख्या परिवर्तन (जैसे "apple" बनाम "apples")
  • लेख उपयोग परिवर्तन (जैसे "a", "an", "the")
  • एकवचन/बहुवचन रूपों और लेखों को यादृच्छिक रूप से स्वैप करना

शब्दार्थ वेरिएंट:

  • मूल अर्थ बनाए रखते हुए विभिन्न शब्दावली का उपयोग करके परिवर्तन
  • Llama-3.1-70B-Instruct का उपयोग करके पुनर्वाक्य पीढ़ी

2. ट्रिपलेट हानि प्रशिक्षण

मॉडल की शब्दार्थ प्रतिनिधित्व क्षमता बढ़ाने के लिए ट्रिपलेट हानि का परिचय:

L(A,P,N) = max(0, d(f(A), f(P)) - d(f(A), f(N)) + α)

जहाँ:

  • A एंकर क्वेरी है
  • P सकारात्मक नमूना है (शब्दार्थ रूप से समान)
  • N नकारात्मक नमूना है (शब्दार्थ रूप से असमान)
  • α सीमा पैरामीटर है

अंतिम हानि फ़ंक्शन क्रॉस-एंट्रॉपी हानि और ट्रिपलेट हानि को जोड़ता है:

L = L_CE + α · L_Triplet

3. परत-वार मॉडल विलय एल्गोरिथ्म

मुख्य विचार: प्रत्येक परत के सुसंगतता में योगदान के आधार पर विलय भार को गतिशील रूप से आवंटित करना।

भार गणना प्रवाह:

  1. सक्रियकरण निष्कर्षण: विकास सेट S_dev से प्रत्येक मॉडल k की प्रत्येक परत l की सक्रियकरण α_k^(l) निकालना
  2. समानता मैट्रिक्स गणना: सक्रियकरण की समानता मैट्रिक्स Σ_k^(l) की गणना करना
  3. संदर्भ मैट्रिक्स निर्माण: वाक्य एनकोडर का उपयोग करके संदर्भ समानता मैट्रिक्स Σ_r का निर्माण करना
  4. दूरी गणना: d_k^(l) = |Σ_k^(l) - Σ_r|
  5. भार सामान्यीकरण: विपरीत गैर-रैखिक सामान्यीकरण के माध्यम से अंतिम भार w_k^(l) प्राप्त करना

विलय सूत्र:

θ_merged^(l) = θ_P^(l) + Σ_k w_k^(l) · Δθ_k^(l)

तकनीकी नवाचार बिंदु

  1. सुसंगतता-उन्मुख भार डिजाइन: पहली बार परत-वार सक्रियकरण समानता के आधार पर मॉडल विलय भार गणना विधि का प्रस्ताव
  2. विविध सिंथेटिक डेटा रणनीति: औद्योगिक परिदृश्य विशेषताओं के लिए डिज़ाइन की गई क्वेरी वेरिएंट पीढ़ी विधि
  3. ट्रिपलेट हानि एकीकरण: मेट्रिक लर्निंग से ट्रिपलेट हानि को LLM सूक्ष्म-ट्यूनिंग में शामिल करना, शब्दार्थ प्रतिनिधित्व गुणवत्ता में सुधार

प्रायोगिक सेटअप

डेटासेट

  • आधार डेटा: 2,738 प्रतिनिधि क्वेरीज़ और उनके पुनर्प्राप्त संदर्भ, डोमेन विशेषज्ञों द्वारा एनोटेट किए गए
  • डेटा विभाजन: 1,421 प्रशिक्षण नमूने, 1,317 परीक्षण नमूने
  • सिंथेटिक डेटा:
    • 150 "कैसे करें/करो" वेरिएंट क्वेरीज़
    • 1,421 पुनर्वाक्य क्वेरीज़
    • 952 एकवचन/बहुवचन/लेख वेरिएंट क्वेरीज़
  • सुसंगतता परीक्षण सेट: 1,579 वेरिएंट (176 "कैसे करें/करो", 912 पुनर्वाक्य, 491 एकवचन/बहुवचन/लेख परिवर्तन)

मूल्यांकन मेट्रिक्स

सटीकता मेट्रिक्स:

  • ROUGE-L: पाठ ओवरलैप माप
  • BLEU (अधिकतम 4-ग्राम): शब्दावली संरेखण माप

सुसंगतता मेट्रिक्स:

  • सटीक मिलान (EM): पूर्ण स्ट्रिंग मिलान
  • प्रतिक्रिया समानता (RS): ROUGE थ्रेसहोल्ड के आधार पर शब्दार्थ समतुल्यता निर्णय
  • BERT समानता (BS): BERT-आधारित शब्दार्थ समानता

तुलनात्मक विधियाँ

  • आधारभूत मॉडल (Llama-3.1-8B-Instruct, Gemma-3-12B-Instruct)
  • मानक पर्यवेक्षित सूक्ष्म-ट्यूनिंग (SFT)
  • SFT + ट्रिपलेट हानि
  • एकल वेरिएंट प्रकार विशेषज्ञ मॉडल
  • सभी डेटा संयुक्त प्रशिक्षण मॉडल

कार्यान्वयन विवरण

  • आधार मॉडल: Llama-3.1-8B-Instruct और Gemma-3-12B-Instruct
  • प्रशिक्षण एपोक्स: 2 एपोक्स
  • ट्रिपलेट निर्माण: शब्दार्थ विशेषता स्थान के शीर्ष-10 और निचले-10 निकटतम पड़ोसियों से नमूनाकरण

प्रायोगिक परिणाम

मुख्य परिणाम

Llama-3.1-8B-Instruct मॉडल परिणाम:

विधिROUGEBLEUEMRSBS
आधारभूत0.51230.29280.10510.27990.9246
विलय मॉडल0.53790.33800.25210.41290.9292

मुख्य निष्कर्ष:

  • सुसंगतता में महत्वपूर्ण सुधार: EM में 139.87% सुधार, RS में 47.52% सुधार
  • सटीकता बनाए रखना: ROUGE और BLEU प्रतिस्पर्धी स्तर पर बने रहते हैं
  • सर्वोत्तम संतुलन: विलय मॉडल सभी सुसंगतता मेट्रिक्स पर इष्टतम प्राप्त करता है

Gemma-3-12B-Instruct मॉडल परिणाम:

  • समान सुधार प्रवृत्ति, विधि की सार्वभौमिकता को सत्यापित करता है
  • बड़े मॉडल सटीकता में मामूली लाभ दिखाते हैं, लेकिन सुसंगतता सुधार पैटर्न सुसंगत है

विलोपन प्रयोग

प्रत्येक घटक के योगदान का विश्लेषण:

  1. ट्रिपलेट हानि प्रभाव: मानक SFT की तुलना में, EM में 73.4% सुधार, RS में 26.1% सुधार
  2. विशेषज्ञ मॉडल लाभ: एकल वेरिएंट प्रशिक्षण के मॉडल सटीकता और सुसंगतता दोनों में आधारभूत से बेहतर हैं
  3. विलय रणनीति प्रभाव: विलय मॉडल सुसंगतता मेट्रिक्स पर सभी एकल मॉडलों से बेहतर है

प्रायोगिक निष्कर्ष

  1. जनरेटर बनाम पुनर्प्राप्तकर्ता: यह सत्यापित करता है कि जनरेटर पुनर्प्राप्तकर्ता की तुलना में क्वेरी परिवर्तनों के प्रति अधिक संवेदनशील हैं
  2. विशेषज्ञता बनाम सामान्यीकरण: विशेषज्ञ मॉडल संयुक्त प्रशिक्षण मॉडलों की तुलना में सटीकता में बेहतर हैं, लेकिन संयुक्त प्रशिक्षण सुसंगतता में अधिक श्रेष्ठ है
  3. मॉडल आकार प्रभाव: बड़े मॉडल स्वचालित रूप से बेहतर सुसंगतता की गारंटी नहीं देते हैं

संबंधित कार्य

सुसंगतता परिभाषा और मूल्यांकन

  • सैद्धांतिक आधार: Patwardhan आदि द्वारा शब्दार्थ समतुल्यता परिभाषा पर आधारित
  • मूल्यांकन विधि: Raj आदि द्वारा शब्दार्थ सुसंगतता माप ढांचे से उधार लिया गया
  • स्वचालित मूल्यांकन: Zhao आदि द्वारा सुसंगतता मूल्यांकन उपकरणों का संदर्भ

LLM सुसंगतता सुधार

  • प्रॉम्प्ट इंजीनियरिंग: Wang आदि की आत्म-सुसंगतता विधि
  • सिंथेटिक डेटा: Raj आदि की बहु-चरणीय प्रॉम्प्टिंग और सिंथेटिक डेटा विधि
  • एकत्रीकरण विधि: Wu आदि की लॉजिट-आधारित एकत्रीकरण विधि

मॉडल विलय तकनीकें

  • आधार विधि: DARE-TIES विलय एल्गोरिथ्म
  • भार औसत: पारंपरिक मॉडल विलय तकनीकों की सीमाएँ
  • पैरामीटर स्पेस संचालन: निरपेक्ष भार के बजाय पैरामीटर अंतर पर संचालन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. समस्या प्रतिनिधित्व: औद्योगिक RAG प्रणालियों में सुसंगतता समस्या की सफलतापूर्वक पहचान और परिमाणीकरण
  2. विधि प्रभावशीलता: प्रस्तावित परत-वार विलय विधि आउटपुट सुसंगतता में महत्वपूर्ण सुधार करती है (47.5% सुधार)
  3. व्यावहारिक मूल्य: औद्योगिक RAG प्रणालियों के लिए विश्वसनीयता सुधार का एक व्यावहारिक समाधान प्रदान करता है

सीमाएँ

  1. डेटा रेंज सीमा: प्रयोग मुख्य रूप से औद्योगिक डेटा पर आधारित हैं, सार्वजनिक बेंचमार्क परीक्षण की कमी
  2. पुनर्प्राप्तकर्ता धारणा: मानता है कि पुनर्प्राप्तकर्ता परिणाम स्थिर हैं, पुनर्प्राप्ति असंगतता को शामिल नहीं करता है
  3. मॉडल रेंज: केवल दो LLMs पर सत्यापित, हाइपरपैरामीटर कॉन्फ़िगरेशन में आगे की खोज की आवश्यकता है

भविष्य की दिशाएँ

  1. सार्वजनिक बेंचमार्क निर्माण: सुसंगतता मूल्यांकन बेंचमार्क का निर्माण और सार्वजनिक रिलीज की योजना
  2. पुनर्प्राप्ति सुसंगतता: पुनर्प्राप्तकर्ता असंगतता समस्या तक विस्तार
  3. अनुकूली विलय: विलय रणनीति को गतिशील रूप से समायोजित करने की विधियों की खोज
  4. क्रॉस-डोमेन सत्यापन: अधिक सार्वजनिक डेटासेट पर विधि प्रभावशीलता का सत्यापन

गहन मूल्यांकन

लाभ

  1. समस्या लक्ष्यीकरण मजबूत: औद्योगिक RAG प्रणालियों की वास्तविक समस्याओं को सीधे संबोधित करता है
  2. विधि नवाचार: परत-वार सुसंगतता-जागरूक भार डिजाइन में नवीनता है
  3. प्रयोग व्यापकता: कई मॉडलों, कई मेट्रिक्स के व्यवस्थित मूल्यांकन को शामिल करता है
  4. व्यावहारिक मूल्य उच्च: 47.5% सुसंगतता सुधार का महत्वपूर्ण व्यावहारिक महत्व है

कमियाँ

  1. सैद्धांतिक विश्लेषण अपर्याप्त: परत-वार विलय सुसंगतता में सुधार क्यों करता है, इसके गहरे सैद्धांतिक स्पष्टीकरण की कमी
  2. कम्प्यूटेशनल ओवरहेड विश्लेषण अनुपस्थित: परत-वार भार गणना और विलय प्रक्रिया की कम्प्यूटेशनल जटिलता का विश्लेषण नहीं किया गया
  3. सामान्यीकरण क्षमता सत्यापन सीमित: मुख्य रूप से विशिष्ट औद्योगिक परिदृश्य में सत्यापित, क्रॉस-डोमेन सामान्यीकरण क्षमता प्रमाणित होनी बाकी है
  4. बेंचमार्क डेटा सीमा: मानक सार्वजनिक डेटासेट पर सत्यापन की कमी

प्रभाव

  1. शैक्षणिक योगदान: LLM सुसंगतता अनुसंधान के लिए नई तकनीकी पथ प्रदान करता है
  2. औद्योगिक मूल्य: RAG प्रणाली तैनाती में मुख्य समस्या को सीधे हल करता है
  3. विधि पुनरुत्पादनीयता: एल्गोरिथ्म विवरण अपेक्षाकृत स्पष्ट है, पुनरुत्पादनीयता है
  4. अनुवर्ती अनुसंधान प्रेरणा: मॉडल विलय और सुसंगतता अनुकूलन के लिए नई दिशाएँ खोलता है

लागू परिदृश्य

  1. उच्च विश्वसनीयता आवश्यकता परिदृश्य: वित्त, चिकित्सा, कानून आदि जहाँ सुसंगतता के लिए अत्यधिक आवश्यकता है
  2. औद्योगिक RAG तैनाती: बड़े पैमाने पर उत्पादन वातावरण में प्रश्नोत्तर प्रणाली
  3. बहु-मॉडल एकीकरण परिदृश्य: कई विशेषज्ञ मॉडलों के ज्ञान को एकीकृत करने की आवश्यकता वाले अनुप्रयोग
  4. उपयोगकर्ता अनुभव संवेदनशील अनुप्रयोग: प्रतिक्रिया सुसंगतता के लिए कठोर आवश्यकताओं वाली इंटरैक्टिव प्रणाली

संदर्भ

पेपर कई महत्वपूर्ण संबंधित कार्यों का हवाला देता है, जिनमें शामिल हैं:

  • Lewis et al. (2020): RAG ढांचे का मौलिक कार्य
  • Yu et al. (2024), Yadav et al. (2023): DARE-TIES मॉडल विलय विधि
  • Schroff et al. (2015): ट्रिपलेट हानि का मूल कार्य
  • Patwardhan et al. (2024): LLM सुसंगतता की परिभाषा और विश्लेषण

समग्र मूल्यांकन: यह वास्तविक औद्योगिक समस्याओं के लिए एक उच्च-गुणवत्ता वाला अनुप्रयोग अनुसंधान पेपर है, जो विधि नवाचार और व्यावहारिक मूल्य दोनों में महत्वपूर्ण योगदान देता है। हालांकि सैद्धांतिक गहराई और सामान्यीकरण सत्यापन में सुधार की गुंजाइश है, लेकिन यह जो समस्या हल करता है वह महत्वपूर्ण व्यावहारिक महत्व रखती है, और प्रस्तावित विधि अच्छी परिचालनीयता और प्रभावशीलता रखती है।