Гармонизация разнообразных моделей: стратегия послойного слияния для согласованной генерации

Основная информация

• ID статьи: 2510.14915
• Название: Harmonizing Diverse Models: A Layer-wise Merging Strategy for Consistent Generation
• Авторы: Xujun Peng, Anoop Kumar, Jingyu Wu, Parker Glenn, Daben Liu (Capital One AI Foundations)
• Категория: cs.CL (Вычислительная лингвистика)
• Дата публикации: 16 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.14915

Аннотация

Системы генерации с дополнением поиском (RAG) используют большие языковые модели (LLM) для генерации точных и надежных ответов на основе извлеченного контекста. Однако LLM часто генерируют несогласованные выходные данные при столкновении с семантически эквивалентными входными данными. Эта проблема усугубляется отсутствием ориентированных на согласованность обучающих данных и ограничениями современных методов тонкой настройки в повышении согласованности выходных данных. В данной работе предлагается подход, сочетающий систематическую генерацию синтетических данных, триплетную потерю и новый метод послойного слияния моделей. Используя веса, осведомленные о согласованности, полученные из активаций промежуточных слоев, метод эффективно интегрирует знания специализированных моделей. Экспериментальные результаты показывают, что объединенная модель значительно повышает согласованность выходных данных, достигая 47,5% улучшения в сравнении с базовым уровнем по метрике сходства ответов.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, решаемая в данном исследовании, — это проблема согласованности выходных данных в системах RAG. Конкретные проявления:

1. Семантически эквивалентные запросы генерируют различные ответы: как показано на рисунке 1, простое наличие или отсутствие вопросительного знака может привести к совершенно различным ответам системы RAG
2. Практические вызовы при развертывании в промышленности: в производственной среде разнообразные варианты пользовательских запросов представляют угрозу надежности системы

Значимость проблемы

1. Требования надежности: в высокорисковых областях, таких как финансы и здравоохранение, несогласованные ответы серьезно влияют на доверие пользователей
2. Практическое воздействие: в работе эмпирически показано, что генератор более чувствителен к вариациям запросов, чем поисковик
3. Стабильность системы: несогласованность выходных данных напрямую влияет на внедрение систем RAG в промышленной среде

Ограничения существующих методов

1. Дефицит обучающих данных: отсутствие специализированных данных для обучения, ориентированных на согласованность
2. Ограничения методов тонкой настройки: традиционные методы тонкой настройки имеют ограниченную эффективность в повышении согласованности выходных данных
3. Отсутствие эталонных оценок: нехватка специализированных эталонов и наборов данных для оценки согласованности

Основные вклады

1. Классификация вариантов запросов: систематическое выявление и классификация типов вариантов запросов, вызывающих несогласованность ответов в промышленных системах RAG
2. Система метрик согласованности: разработка системы оценки согласованности, включающей точное совпадение (EM), сходство ответов (RS) и сходство BERT (BS)
3. Метод послойного слияния моделей: предложение новой стратегии послойного слияния моделей на основе весов, осведомленных о согласованности
4. Комплексное решение: интеграция генерации синтетических данных, обучения с триплетной потерей и слияния моделей в единую методологию

Подробное описание метода

Определение задачи

Дано исходный запрос Q и его семантически эквивалентный вариант Q'. Цель состоит в том, чтобы генератор системы RAG производил согласованные ответы S и S' для обоих запросов, то есть максимизировать семантическое сходство между S и S' при сохранении точности ответов.

Архитектура модели

1. Стратегия генерации синтетических данных

На основе анализа производственных запросов выявлены три основных типа вариантов:

Варианты "How to/do":

• Переформулировка методологических вопросов
• Систематическая генерация с использованием регулярных выражений

Варианты единственного/множественного числа и артиклей:

• Изменение числа существительных (например, "apple" vs "apples")
• Изменение использования артиклей (например, "a", "an", "the")
• Случайное переключение между единственным и множественным числом и изменение артиклей

Семантические варианты:

• Изменения, сохраняющие основное значение, но использующие различный словарь
• Генерация парафраз с использованием Llama-3.1-70B-Instruct

2. Обучение с триплетной потерей

Введение триплетной потери для повышения способности модели к семантическому представлению:

L(A,P,N) = max(0, d(f(A), f(P)) - d(f(A), f(N)) + α)

Где:

• A — опорный запрос
• P — положительный образец (семантически сходный)
• N — отрицательный образец (семантически несходный)
• α — параметр границы

Итоговая функция потерь объединяет потерю кросс-энтропии и триплетную потерю:

L = L_CE + α · L_Triplet

3. Алгоритм послойного слияния моделей

Основная идея: динамическое распределение весов слияния на основе вклада каждого слоя в согласованность.

Процесс вычисления весов:

1. Извлечение активаций: извлечение активаций α_k^(l) каждого слоя l каждой модели k из набора разработки S_dev
2. Вычисление матриц сходства: вычисление матриц сходства активаций Σ_k^(l)
3. Построение эталонной матрицы: использование кодировщика предложений для построения эталонной матрицы сходства Σ_r
4. Вычисление расстояния: d_k^(l) = |Σ_k^(l) - Σ_r|
5. Нормализация весов: получение итоговых весов w_k^(l) посредством обратной нелинейной нормализации

Формула слияния:

θ_merged^(l) = θ_P^(l) + Σ_k w_k^(l) · Δθ_k^(l)

Технические инновации

1. Проектирование весов, ориентированное на согласованность: впервые предложен метод вычисления весов слияния моделей на основе сходства активаций послойных слоев
2. Разнообразная стратегия синтетических данных: методы генерации вариантов запросов, разработанные с учетом особенностей промышленных сценариев
3. Интеграция триплетной потери: применение триплетной потери из метрического обучения к тонкой настройке LLM для повышения качества семантического представления

Экспериментальная установка

Наборы данных

• Базовые данные: 2 738 репрезентативных запросов с извлеченным контекстом, аннотированные экспертами в предметной области
• Разделение данных: 1 421 обучающий образец, 1 317 тестовых образцов
• Синтетические данные:
  • 150 вариантов запросов "how to/do"
  • 1 421 парафразированный запрос
  • 952 варианта с изменением единственного/множественного числа и артиклей
• Набор для тестирования согласованности: 1 579 вариантов (176 "how to/do", 912 парафраз, 491 изменение единственного/множественного числа)

Метрики оценки

Метрики точности:

• ROUGE-L: мера перекрытия текста
• BLEU (до 4-грамм): мера выравнивания словарного запаса

Метрики согласованности:

• Точное совпадение (EM): полное совпадение строк
• Сходство ответов (RS): определение семантической эквивалентности на основе порога ROUGE
• Сходство BERT (BS): семантическое сходство на основе BERT

Методы сравнения

• Базовые модели (Llama-3.1-8B-Instruct, Gemma-3-12B-Instruct)
• Стандартная контролируемая тонкая настройка (SFT)
• SFT + триплетная потеря
• Специализированные модели для отдельных типов вариантов
• Модель совместного обучения на всех данных

Детали реализации

• Базовые модели: Llama-3.1-8B-Instruct и Gemma-3-12B-Instruct
• Количество эпох обучения: 2
• Построение триплетов: выборка из топ-10 и нижних 10 соседей в пространстве семантических признаков

Экспериментальные результаты

Основные результаты

Результаты для модели Llama-3.1-8B-Instruct:

Ключевые находки:

• Значительное повышение согласованности: улучшение EM на 139,87%, улучшение RS на 47,52%
• Сохранение точности: ROUGE и BLEU остаются на конкурентном уровне
• Оптимальный баланс: объединенная модель достигает оптимальных результатов по всем метрикам согласованности

Результаты для модели Gemma-3-12B-Instruct:

• Аналогичные тенденции улучшения, подтверждающие универсальность метода
• Более крупная модель показывает небольшое преимущество в точности, но закономерность улучшения согласованности остается неизменной

Абляционные исследования

Анализ вклада каждого компонента:

1. Эффект триплетной потери: по сравнению со стандартной SFT, улучшение EM на 73,4%, улучшение RS на 26,1%
2. Преимущества специализированных моделей: модели, обученные на одном типе вариантов, превосходят базовую модель как по точности, так и по согласованности
3. Эффект стратегии слияния: объединенная модель превосходит все отдельные модели по метрикам согласованности

Экспериментальные находки

1. Генератор vs поисковик: подтверждена гипотеза о том, что генератор более чувствителен к вариациям запросов, чем поисковик
2. Специализация vs универсальность: специализированные модели превосходят совместно обученные модели по точности, но совместно обученные модели лучше по согласованности
3. Влияние размера модели: более крупные модели не автоматически гарантируют лучшую согласованность

Связанные работы

Определение и оценка согласованности

• Теоретическая база: основана на определении семантической эквивалентности Patwardhan et al.
• Методы оценки: заимствованы из фреймворка оценки семантической согласованности Raj et al.
• Автоматизированная оценка: ссылка на инструменты оценки согласованности Zhao et al.

Улучшение согласованности LLM

• Инженерия подсказок: метод самосогласованности Wang et al.
• Синтетические данные: методы многошагового подсказывания и синтетических данных Raj et al.
• Методы ансамбля: методы ансамбля на основе логитов Wu et al.

Технологии слияния моделей

• Базовые методы: алгоритм слияния DARE-TIES
• Усреднение весов: ограничения традиционных методов слияния моделей
• Операции в пространстве параметров: операции над разностями параметров, а не над абсолютными весами

Выводы и обсуждение

Основные выводы

1. Характеристика проблемы: успешное выявление и количественная оценка проблемы согласованности в промышленных системах RAG
2. Эффективность метода: предложенный метод послойного слияния значительно повышает согласованность выходных данных (улучшение на 47,5%)
3. Практическая ценность: предоставление практического решения для повышения надежности промышленных систем RAG

Ограничения

1. Ограничения по диапазону данных: эксперименты в основном основаны на промышленных данных, отсутствуют тесты на открытых эталонах
2. Предположение о поисковике: предполагается стабильность результатов поиска, не рассматривается несогласованность поиска
3. Диапазон моделей: проверка только на двух LLM, конфигурация гиперпараметров требует дальнейшего изучения

Направления будущих исследований

1. Построение открытого эталона: планируется построение и публикация эталона оценки согласованности
2. Согласованность поиска: расширение на проблему несогласованности поисковика
3. Адаптивное слияние: исследование методов динамической корректировки стратегии слияния
4. Проверка на разных доменах: верификация эффективности метода на большем количестве открытых наборов данных

Глубокая оценка

Преимущества

1. Высокая целевая направленность проблемы: прямое решение практических проблем промышленных систем RAG
2. Инновационность метода: новизна проектирования весов послойного слияния, осведомленного о согласованности
3. Полнота экспериментов: систематическая оценка на нескольких моделях и метриках
4. Высокая практическая ценность: улучшение согласованности на 47,5% имеет значительное практическое значение

Недостатки

1. Недостаточный теоретический анализ: отсутствие глубокого теоретического объяснения того, почему послойное слияние повышает согласованность
2. Отсутствие анализа вычислительных затрат: не проведен анализ вычислительной сложности вычисления послойных весов и процесса слияния
3. Ограниченная проверка способности к обобщению: проверка в основном в специфическом промышленном сценарии, способность к обобщению на разные домены требует доказательства
4. Ограничения эталонных данных: отсутствие проверки на стандартных открытых наборах данных

Влияние

1. Академический вклад: предоставление нового технического пути для исследований согласованности LLM
2. Промышленная ценность: прямое решение ключевых проблем при развертывании систем RAG
3. Воспроизводимость метода: относительно четкое описание алгоритма, обладающее хорошей воспроизводимостью
4. Вдохновение для последующих исследований: открытие новых направлений для исследований слияния моделей и оптимизации согласованности

Применимые сценарии

1. Сценарии с высокими требованиями к надежности: области финансов, здравоохранения, права и других, где согласованность критична
2. Развертывание промышленных систем RAG: системы вопросов и ответов в крупномасштабной производственной среде
3. Сценарии интеграции нескольких моделей: приложения, требующие интеграции знаний из нескольких специализированных моделей
4. Приложения, чувствительные к пользовательскому опыту: интерактивные системы со строгими требованиями к согласованности ответов

Библиография

В статье цитируются многие важные связанные работы, включая:

• Lewis et al. (2020): основополагающая работа по фреймворку RAG
• Yu et al. (2024), Yadav et al. (2023): методы слияния моделей DARE-TIES
• Schroff et al. (2015): оригинальная работа по триплетной потере
• Patwardhan et al. (2024): определение и анализ согласованности LLM

Общая оценка: это высококачественная прикладная исследовательская работа, ориентированная на решение практических промышленных проблем, с значительными вкладами как в методологическую инновацию, так и в практическую ценность. Хотя существует место для улучшения в теоретической глубине и проверке способности к обобщению, решаемая проблема имеет важное практическое значение, а предложенный метод обладает хорошей операциональностью и эффективностью.