2025-11-12T19:43:10.253640

Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation

Peng, Kumar, Wu et al.
Retrieval-Augmented Generation (RAG) systems leverage Large Language Models (LLMs) to generate accurate and reliable responses that are grounded in retrieved context. However, LLMs often generate inconsistent outputs for semantically equivalent inputs, a problem compounded by the scarcity of consistency-focused training data and the limitations of current fine-tuning techniques in enhancing output consistency. We propose a new approach combining systematic synthetic data generation, triplet loss for better embeddings, and a novel layer-wise model merging approach. Using consistency-aware weights derived from intermediate layer activations, our method effectively integrates knowledge from specialized models. Experimental results how that our merged model significantly enhances output consistency, achieving a ~47.5\% improvement in response similarity over the baseline, thus offering a practical solution for increasing the reliability of an industrial RAG system.
academic

توافق النماذج المتنوعة: استراتيجية دمج متعددة الطبقات للإنشاء المتسق

المعلومات الأساسية

  • معرّف الورقة: 2510.14915
  • العنوان: Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
  • المؤلفون: Xujun Peng, Anoop Kumar, Jingyu Wu, Parker Glenn, Daben Liu (Capital One AI Foundations)
  • التصنيف: cs.CL (اللسانيات الحاسوبية)
  • تاريخ النشر: 16 أكتوبر 2025 (نسخة arXiv المسبقة)
  • رابط الورقة: https://arxiv.org/abs/2510.14915

الملخص

تستفيد أنظمة الإنشاء المعزز بالاسترجاع (RAG) من نماذج اللغة الكبيرة (LLMs) لإنشاء استجابات دقيقة وموثوقة بناءً على السياق المسترجع. ومع ذلك، غالباً ما تنتج نماذج اللغة الكبيرة مخرجات غير متسقة عند مواجهة مدخلات متكافئة دلالياً، وتتفاقم هذه المشكلة بسبب نقص بيانات التدريب الموجهة نحو الاتساق والقيود الحالية في تقنيات الضبط الدقيق. تقترح هذه الورقة منهجاً يجمع بين توليد البيانات الاصطناعية المنظمة وخسارة الثلاثيات ودمج النماذج متعددة الطبقات المبتكر. من خلال استخدام أوزان واعية بالاتساق المشتقة من تفعيلات الطبقات الوسيطة، يدمج هذا المنهج بفعالية معرفة النماذج المتخصصة. تُظهر النتائج التجريبية أن نموذج الدمج يحسّن بشكل كبير من اتساق المخرجات، محققاً تحسناً بنسبة 47.5% في تشابه الاستجابة مقارنة بالخط الأساسي.

السياق البحثي والدافع

تعريف المشكلة

يعالج هذا البحث المشكلة الأساسية المتمثلة في مشكلة اتساق المخرجات في أنظمة RAG. وتتجلى بشكل محدد في:

  1. الاستعلامات المتكافئة دلالياً تنتج استجابات مختلفة: كما هو موضح في الشكل 1، مجرد وجود أو عدم وجود علامة استفهام يمكن أن يؤدي إلى إجابات مختلفة تماماً من نظام RAG
  2. التحديات العملية في النشر الصناعي: في بيئات الإنتاج، تشكل متغيرات الاستعلامات المتنوعة من المستخدمين تهديداً لموثوقية النظام

أهمية المشكلة

  1. متطلبات الموثوقية: في المجالات عالية المخاطر مثل المالية والطب، قد تؤثر الاستجابات غير المتسقة بشكل خطير على ثقة المستخدم
  2. التأثير العملي: تكتشف الورقة من خلال الملاحظة التجريبية أن المولد أكثر حساسية لتغييرات الاستعلام مقارنة بالمسترجع
  3. استقرار النظام: يؤثر عدم اتساق المخرجات بشكل مباشر على اعتماد نظام RAG في البيئات الصناعية

قيود الطرق الموجودة

  1. ندرة بيانات التدريب: نقص البيانات المتخصصة الموجهة نحو الاتساق
  2. قيود تقنيات الضبط الدقيق: تتمتع طرق الضبط الدقيق التقليدية بفعالية محدودة في تحسين اتساق المخرجات
  3. غياب معايير التقييم: نقص المعايير والمجموعات البيانات المتخصصة لتقييم الاتساق

المساهمات الأساسية

  1. تصنيف متغيرات الاستعلام: تحديد وتصنيف منهجي لأنواع متغيرات الاستعلام التي تسبب عدم اتساق الاستجابة في أنظمة RAG الصناعية
  2. نظام قياس الاتساق: إنشاء مقاييس تقييم اتساق تشمل المطابقة الدقيقة (EM) وتشابه الاستجابة (RS) وتشابه BERT (BS)
  3. طريقة دمج النماذج متعددة الطبقات: اقتراح استراتيجية دمج نماذج متعددة الطبقات مبتكرة بناءً على أوزان واعية بالاتساق
  4. حل شامل: دمج توليد البيانات الاصطناعية وتدريب خسارة الثلاثيات ودمج النماذج في منهجية متكاملة

شرح الطريقة

تعريف المهمة

بالنظر إلى استعلام أصلي Q ومتغيراته المتكافئة دلالياً Q'، الهدف هو جعل مولد نظام RAG ينتج استجابات متسقة S و S' لكليهما، أي تعظيم التشابه الدلالي بين S و S' مع الحفاظ على دقة الاستجابة.

معمارية النموذج

1. استراتيجية توليد البيانات الاصطناعية

بناءً على تحليل الاستعلامات الإنتاجية، تم تحديد ثلاث فئات متغيرة رئيسية:

متغيرات "كيفية/هل":

  • إعادة صياغة مسائل الطريقة
  • توليد منهجي باستخدام قواعد التعبيرات النمطية

متغيرات المفرد/الجمع والأدوات:

  • تغييرات عدد الأسماء (مثل "apple" مقابل "apples")
  • تغييرات استخدام الأدوات (مثل "a"، "an"، "the")
  • تبديل عشوائي للمفرد/الجمع وتعديل الأدوات

متغيرات دلالية:

  • تغييرات تحافظ على المعنى الأساسي لكن تستخدم مفردات مختلفة
  • استخدام Llama-3.1-70B-Instruct لتوليد إعادة الصياغة

2. تدريب خسارة الثلاثيات

إدخال خسارة الثلاثيات لتعزيز قدرة النموذج على التمثيل الدلالي:

L(A,P,N) = max(0, d(f(A), f(P)) - d(f(A), f(N)) + α)

حيث:

  • A هو استعلام الإرساء
  • P هو العينة الموجبة (متشابهة دلالياً)
  • N هو العينة السالبة (غير متشابهة دلالياً)
  • α هو معامل الهامش

دالة الخسارة النهائية تجمع بين خسارة الإنتروبيا والخسارة الثلاثية:

L = L_CE + α · L_Triplet

3. خوارزمية دمج النماذج متعددة الطبقات

الفكرة الأساسية: تخصيص أوزان الدمج ديناميكياً بناءً على مساهمة كل طبقة في الاتساق.

تدفق حساب الأوزان:

  1. استخراج التفعيلات: استخراج التفعيلات α_k^(l) لكل نموذج k وكل طبقة l من مجموعة التطوير S_dev
  2. حساب مصفوفة التشابه: حساب مصفوفة التشابه Σ_k^(l) للتفعيلات
  3. بناء مصفوفة المرجع: استخدام مشفر الجملة لبناء مصفوفة التشابه المرجعية Σ_r
  4. حساب المسافة: d_k^(l) = |Σ_k^(l) - Σ_r|
  5. تطبيع الأوزان: الحصول على الأوزان النهائية w_k^(l) من خلال التطبيع غير الخطي العكسي

صيغة الدمج:

θ_merged^(l) = θ_P^(l) + Σ_k w_k^(l) · Δθ_k^(l)

نقاط الابتكار التقني

  1. تصميم الأوزان الموجهة نحو الاتساق: أول اقتراح لطريقة حساب أوزان دمج النماذج بناءً على تشابه التفعيلات متعددة الطبقات
  2. استراتيجية البيانات الاصطناعية المتنوعة: طرق توليد متغيرات الاستعلام المصممة لخصائص السيناريوهات الصناعية
  3. دمج خسارة الثلاثيات: إدخال خسارة الثلاثيات من التعلم المتري في الضبط الدقيق لنماذج اللغة الكبيرة لتحسين جودة التمثيل الدلالي

إعداد التجارب

مجموعات البيانات

  • البيانات الأساسية: 2,738 استعلام تمثيلي وسياقاتها المسترجعة، معلّمة من قبل خبراء المجال
  • تقسيم البيانات: 1,421 عينة تدريب، 1,317 عينة اختبار
  • البيانات الاصطناعية:
    • 150 استعلام متغير "كيفية/هل"
    • 1,421 استعلام إعادة صياغة
    • 952 استعلام متغير مفرد/جمع وأدوات
  • مجموعة اختبار الاتساق: 1,579 متغير (176 "كيفية/هل"، 912 إعادة صياغة، 491 تغيير مفرد/جمع وأدوات)

مقاييس التقييم

مقاييس الدقة:

  • ROUGE-L: قياس تداخل النصوص
  • BLEU (حتى 4-gram): قياس محاذاة المفردات

مقاييس الاتساق:

  • المطابقة الدقيقة (EM): مطابقة السلسلة الكاملة
  • تشابه الاستجابة (RS): الحكم على التكافؤ الدلالي بناءً على عتبة ROUGE
  • تشابه BERT (BS): درجة التشابه الدلالي بناءً على BERT

الطرق المقارنة

  • النموذج الأساسي (Llama-3.1-8B-Instruct, Gemma-3-12B-Instruct)
  • الضبط الدقيق الخاضع للإشراف القياسي (SFT)
  • SFT + خسارة الثلاثيات
  • نماذج متخصصة لنوع متغير واحد
  • نموذج التدريب المشترك على جميع البيانات

تفاصيل التنفيذ

  • النماذج الأساسية: Llama-3.1-8B-Instruct و Gemma-3-12B-Instruct
  • عدد فترات التدريب: فترتان
  • بناء الثلاثيات: أخذ العينات من أفضل 10 وأسفل 10 جيران في فضاء الميزات الدلالية

نتائج التجارب

النتائج الرئيسية

نتائج نموذج Llama-3.1-8B-Instruct:

الطريقةROUGEBLEUEMRSBS
الخط الأساسي0.51230.29280.10510.27990.9246
نموذج الدمج0.53790.33800.25210.41290.9292

الاكتشافات الرئيسية:

  • تحسن كبير في الاتساق: تحسن EM بنسبة 139.87%، تحسن RS بنسبة 47.52%
  • الحفاظ على الدقة: يحافظ ROUGE و BLEU على مستويات تنافسية
  • أفضل توازن: يحقق نموذج الدمج أفضل النتائج في جميع مقاييس الاتساق

نتائج نموذج Gemma-3-12B-Instruct:

  • اتجاهات تحسن مماثلة، مما يتحقق من عمومية الطريقة
  • يتمتع النموذج الأكبر بميزة طفيفة في الدقة، لكن نمط تحسن الاتساق متسق

تجارب الاستئصال

تحليل مساهمة المكونات:

  1. تأثير خسارة الثلاثيات: مقارنة بـ SFT القياسي، تحسن EM بنسبة 73.4%، تحسن RS بنسبة 26.1%
  2. ميزة النماذج المتخصصة: تتفوق النماذج المدربة على متغير واحد على الخط الأساسي في الدقة والاتساق
  3. تأثير استراتيجية الدمج: يتفوق نموذج الدمج على جميع النماذج الفردية في مقاييس الاتساق

اكتشافات التجارب

  1. المولد مقابل المسترجع: التحقق من الفرضية القائلة بأن المولد أكثر حساسية لتغييرات الاستعلام من المسترجع
  2. التخصص مقابل التعميم: تتفوق النماذج المتخصصة على النماذج المدربة بشكل مشترك في الدقة، لكن التدريب المشترك أفضل في الاتساق
  3. تأثير حجم النموذج: لا تضمن النماذج الأكبر تلقائياً اتساقاً أفضل

الأعمال ذات الصلة

تعريف الاتساق والتقييم

  • الأساس النظري: بناءً على تعريف التكافؤ الدلالي من Patwardhan وآخرون
  • طرق التقييم: الاستفادة من إطار قياس الاتساق الدلالي من Raj وآخرون
  • التقييم الآلي: الرجوع إلى أدوات تقييم الاتساق من Zhao وآخرون

تحسين اتساق نماذج اللغة الكبيرة

  • هندسة الطلب: طريقة الاتساق الذاتي من Wang وآخرون
  • البيانات الاصطناعية: طرق الطلب متعدد الخطوات والبيانات الاصطناعية من Raj وآخرون
  • طرق التجميع: طرق التجميع القائمة على logit من Wu وآخرون

تقنيات دمج النماذج

  • الطرق الأساسية: خوارزمية دمج DARE-TIES
  • متوسط الأوزان: قيود تقنيات دمج النماذج التقليدية
  • عمليات فضاء المعاملات: العمليات على الفروقات المعاملية وليس الأوزان المطلقة

الخلاصة والنقاش

الاستنتاجات الرئيسية

  1. تمثيل المشكلة: نجح في تحديد وقياس مشكلة الاتساق في أنظمة RAG الصناعية
  2. فعالية الطريقة: تحسن طريقة الدمج متعددة الطبقات المقترحة بشكل كبير من اتساق المخرجات (تحسن 47.5%)
  3. القيمة العملية: توفير حل عملي قابل للتطبيق لتحسين موثوقية أنظمة RAG الصناعية

القيود

  1. قيود نطاق البيانات: تركز التجارب بشكل أساسي على البيانات الصناعية، وتفتقر إلى اختبارات المعايير العامة
  2. افتراضات المسترجع: افتراض استقرار نتائج المسترجع، عدم تناول عدم اتساق المسترجع
  3. نطاق النموذج: التحقق فقط على نموذجي LLM، تتطلب المزيد من الاستكشاف لتكوينات المعاملات الفائقة

الاتجاهات المستقبلية

  1. بناء معايير عامة: خطة لبناء ونشر معايير تقييم الاتساق علناً
  2. اتساق المسترجع: التوسع إلى مشكلة عدم اتساق المسترجع
  3. الدمج التكيفي: استكشاف طرق لتعديل استراتيجية الدمج ديناميكياً
  4. التحقق عبر المجالات: التحقق من فعالية الطريقة على مزيد من مجموعات البيانات العامة

التقييم المتعمق

المزايا

  1. استهداف المشكلة قوي: حل مباشر للمشاكل العملية الفعلية في أنظمة RAG الصناعية
  2. ابتكار الطريقة: تصميم الأوزان الواعية بالاتساق متعددة الطبقات يتمتع بالجدة
  3. شمول التجارب: تقييم منهجي يغطي نماذج متعددة ومقاييس متعددة
  4. قيمة عملية عالية: تحسن الاتساق بنسبة 47.5% له أهمية عملية كبيرة

أوجه القصور

  1. نقص التحليل النظري: غياب التفسير النظري العميق لسبب قدرة الدمج متعدد الطبقات على تحسين الاتساق
  2. غياب تحليل التكلفة الحسابية: عدم تحليل التعقيد الحسابي لحساب الأوزان متعددة الطبقات وعملية الدمج
  3. التحقق المحدود من القدرة على التعميم: التحقق بشكل أساسي في سيناريو صناعي محدد، تتطلب قدرة التعميم عبر المجالات مزيداً من الإثبات
  4. قيود بيانات المعايير: غياب التحقق على مجموعات البيانات العامة القياسية

التأثير

  1. المساهمة الأكاديمية: توفير مسار تقني جديد لأبحاث اتساق نماذج اللغة الكبيرة
  2. القيمة الصناعية: حل مباشر للمشاكل الحرجة في نشر أنظمة RAG
  3. قابلية إعادة الإنتاج: وصف الخوارزمية واضح نسبياً، يتمتع بقابلية إعادة الإنتاج
  4. الإلهام للأبحاث اللاحقة: فتح اتجاهات جديدة لدمج النماذج وتحسين الاتساق

السيناريوهات القابلة للتطبيق

  1. السيناريوهات عالية الموثوقية: المجالات التي تتطلب اتساقاً عالياً جداً مثل المالية والطب والقانون
  2. نشر RAG الصناعي: أنظمة الأسئلة والأجوبة في بيئات الإنتاج واسعة النطاق
  3. سيناريوهات تكامل النماذج المتعددة: التطبيقات التي تتطلب دمج معرفة نماذج متخصصة متعددة
  4. التطبيقات الحساسة لتجربة المستخدم: الأنظمة التفاعلية التي لها متطلبات صارمة لاتساق الاستجابة

المراجع

تستشهد الورقة بأعمال ذات صلة مهمة متعددة، بما في ذلك:

  • Lewis et al. (2020): العمل الأساسي لإطار RAG
  • Yu et al. (2024), Yadav et al. (2023): طريقة دمج النماذج DARE-TIES
  • Schroff et al. (2015): العمل الأصلي لخسارة الثلاثيات
  • Patwardhan et al. (2024): تعريف وتحليل اتساق نماذج اللغة الكبيرة

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة في البحث التطبيقي الموجه نحو مشاكل صناعية فعلية، مع مساهمات كبيرة في كل من ابتكار الطريقة والقيمة العملية. بينما لا تزال هناك مجالات للتحسين من حيث العمق النظري والتحقق من التعميم، فإن المشكلة التي تحلها ذات أهمية عملية كبيرة، والطريقة المقترحة تتمتع بقابلية تشغيلية جيدة وفعالية.