Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
Peng, Kumar, Wu et al.
Retrieval-Augmented Generation (RAG) systems leverage Large Language Models (LLMs) to generate accurate and reliable responses that are grounded in retrieved context. However, LLMs often generate inconsistent outputs for semantically equivalent inputs, a problem compounded by the scarcity of consistency-focused training data and the limitations of current fine-tuning techniques in enhancing output consistency. We propose a new approach combining systematic synthetic data generation, triplet loss for better embeddings, and a novel layer-wise model merging approach. Using consistency-aware weights derived from intermediate layer activations, our method effectively integrates knowledge from specialized models. Experimental results how that our merged model significantly enhances output consistency, achieving a ~47.5\% improvement in response similarity over the baseline, thus offering a practical solution for increasing the reliability of an industrial RAG system.
academic
توافق النماذج المتنوعة: استراتيجية دمج متعددة الطبقات للإنشاء المتسق
تستفيد أنظمة الإنشاء المعزز بالاسترجاع (RAG) من نماذج اللغة الكبيرة (LLMs) لإنشاء استجابات دقيقة وموثوقة بناءً على السياق المسترجع. ومع ذلك، غالباً ما تنتج نماذج اللغة الكبيرة مخرجات غير متسقة عند مواجهة مدخلات متكافئة دلالياً، وتتفاقم هذه المشكلة بسبب نقص بيانات التدريب الموجهة نحو الاتساق والقيود الحالية في تقنيات الضبط الدقيق. تقترح هذه الورقة منهجاً يجمع بين توليد البيانات الاصطناعية المنظمة وخسارة الثلاثيات ودمج النماذج متعددة الطبقات المبتكر. من خلال استخدام أوزان واعية بالاتساق المشتقة من تفعيلات الطبقات الوسيطة، يدمج هذا المنهج بفعالية معرفة النماذج المتخصصة. تُظهر النتائج التجريبية أن نموذج الدمج يحسّن بشكل كبير من اتساق المخرجات، محققاً تحسناً بنسبة 47.5% في تشابه الاستجابة مقارنة بالخط الأساسي.
يعالج هذا البحث المشكلة الأساسية المتمثلة في مشكلة اتساق المخرجات في أنظمة RAG. وتتجلى بشكل محدد في:
الاستعلامات المتكافئة دلالياً تنتج استجابات مختلفة: كما هو موضح في الشكل 1، مجرد وجود أو عدم وجود علامة استفهام يمكن أن يؤدي إلى إجابات مختلفة تماماً من نظام RAG
التحديات العملية في النشر الصناعي: في بيئات الإنتاج، تشكل متغيرات الاستعلامات المتنوعة من المستخدمين تهديداً لموثوقية النظام
بالنظر إلى استعلام أصلي Q ومتغيراته المتكافئة دلالياً Q'، الهدف هو جعل مولد نظام RAG ينتج استجابات متسقة S و S' لكليهما، أي تعظيم التشابه الدلالي بين S و S' مع الحفاظ على دقة الاستجابة.
تستشهد الورقة بأعمال ذات صلة مهمة متعددة، بما في ذلك:
Lewis et al. (2020): العمل الأساسي لإطار RAG
Yu et al. (2024), Yadav et al. (2023): طريقة دمج النماذج DARE-TIES
Schroff et al. (2015): العمل الأصلي لخسارة الثلاثيات
Patwardhan et al. (2024): تعريف وتحليل اتساق نماذج اللغة الكبيرة
التقييم الإجمالي: هذه ورقة بحثية عالية الجودة في البحث التطبيقي الموجه نحو مشاكل صناعية فعلية، مع مساهمات كبيرة في كل من ابتكار الطريقة والقيمة العملية. بينما لا تزال هناك مجالات للتحسين من حيث العمق النظري والتحقق من التعميم، فإن المشكلة التي تحلها ذات أهمية عملية كبيرة، والطريقة المقترحة تتمتع بقابلية تشغيلية جيدة وفعالية.