Могут ли LLMs Разрешить Конфликты Знаний в Контрфактическом Рассуждении

Основная информация

• ID статьи: 2506.15732
• Название: Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning?
• Авторы: Khurram Yamin*, Gaurav Ghosal*, Bryan Wilder (Carnegie Mellon University)
• Классификация: cs.AI cs.LG
• Дата публикации/конференция: ICLR 2026
• Ссылка на статью: https://arxiv.org/abs/2506.15732v2

Аннотация

Большие языковые модели (LLMs) содержат богатые мировые знания в своих параметрах и демонстрируют отличные результаты на многих задачах, требующих знаний. Однако при развертывании в новых окружениях LLMs часто сталкиваются с необходимостью объединения параметризованного знания с новой или незнакомой информацией. Данное исследование изучает, способны ли LLMs объединять контекстное знание с параметризованным знанием через призму контрфактического рассуждения. На основе синтетических и реальных экспериментов с многошаговыми задачами рассуждения исследование показывает, что LLMs испытывают повсеместные трудности с контрфактическим рассуждением, часто полагаясь исключительно на параметризованное знание. Кроме того, простая постфактум дообучение с трудом внедряет способность к контрфактическому рассуждению и часто приводит к деградации сохраненного параметризованного знания. В конечном итоге, данная работа выявляет важные ограничения современных LLMs в переиспользовании параметризованного знания в новых условиях.

Исследовательский контекст и мотивация

Основной вопрос исследования

Основной вопрос, который решает данное исследование: способны ли современные LLMs избирательно объединять параметризованное знание с контрфактическими предпосылками в контексте для правильного ответа на многошаговые вопросы?

Важность проблемы

1. Практические требования приложений: Многие сценарии реального мира требуют от LLMs объединения предварительно обученного знания с новой или гипотетической информацией, предоставляемой во время вывода
2. Вызовы конфликтов знаний: Генерация с увеличением поиска (RAG) сталкивается с трудностями, когда внешние документы конфликтуют с внутренним знанием
3. Приложения, критичные по безопасности: Точное условное рассуждение имеет решающее значение в интерактивных системах, конвейерах увеличения поиска и приложениях, критичных по безопасности

Ограничения существующих методов

• Существующие многошаговые бенчмарки QA в основном оценивают способность модели вспоминать сохраненные факты или комбинировать цепочки параметризованного знания, не проверяя двойное требование
• Исследование конфликтов знаний не содержит систематического изучения контрфактического многошагового рассуждения
• Методы RAG, хотя и могут объединять внешнюю информацию, не могут обработать уникальные вызовы контрфактического рассуждения

Мотивация исследования

Через конкретную задачу контрфактического рассуждения систематически изучить производительность LLMs при столкновении с конфликтами знаний, особенно требующих одновременно контекстного переопределения (Contextual Override) и избирательного поиска (Selective Retrieval).

Основные вклады

1. Бенчмарк контрфактических вопросов: Введение задач на основе синтетических графов и сценариев причинного рассуждения реального мира, разделяющих (i) усиление, (ii) добавление, (iii) противоречие и (iv) нерелевантные контекстные случаи относительно предварительно обученного графа знаний
2. Эмпирический анализ: Через эксперименты с GPT-4o и другими моделями SOTA выявление двух основных режимов отказа: (a) игнорирование контекста (модель по умолчанию использует сохраненные факты) и (b) переобучение контексту (модель слепо следует подсказке)
3. Анализ ловушек дообучения: Доказательство того, что простое постфактум дообучение часто приносит только маргинальные выгоды на контрфактических примерах и может снизить производительность на стандартных бенчмарках фактов путем индуцирования непредвиденных эвристик
4. Практическое значение: Обсуждение последствий выводов исследования для интерактивных систем, конвейеров увеличения поиска и приложений, критичных по безопасности

Подробное описание методологии

Определение задачи

Исследование определяет задачу контрфактического многошагового рассуждения, требующую от модели:

1. Контекстное переопределение: Временное подавление стандартных фактов, принятие гипотетических предпосылок
2. Избирательный поиск: Поиск и использование релевантных ассоциаций, сохраненных в весах, даже если некоторая информация была изменена

Пример: "Если Париж находится в Италии, в какой стране будет Эйфелева башня?"

• Требуется переопределить параметризованное знание "Париж находится во Франции"
• Требуется сохранить ассоциацию "Эйфелева башня находится в Париже"

Дизайн экспериментов

Эксперименты с реальными LLMs

Контекстная информация разделена на 4 сценария:

1. Сценарий 1 (усиление предыдущего знания): Предоставление отношений, уже существующих в параметризованном графе знаний
2. Сценарий 2 (добавление новой информации): Предоставление информации, необходимой для ответа на запрос, но отсутствующей в параметризованном графе знаний
3. Сценарий 3 (противоречие предыдущему знанию): Предоставление информации, которая сильно конфликтует с существующим параметризованным знанием
4. Сценарий 4 (нерелевантная информация): Предоставление информации, не связанной с запросом

Эксперименты в синтетической среде

В контролируемой синтетической среде графа знаний:

• Случайное создание ориентированного графа G, где вершины представляют сущности, ребра представляют отношения
• Различие между атомарными фактами (одиночные ребра) и выводимыми фактами (двухшаговые комбинации)
• Тестирование трех типов контрфактических сценариев:
  • Релевантные для первого шага: контрфактические предпосылки изменяют первый шаг выводимого факта
  • Релевантные для второго шага: контрфактические предпосылки изменяют связь между промежуточной сущностью и финальным ответом
  • Нерелевантные контрфактические: контрфактические предпосылки полностью не связаны с многошаговым запросом

Стратегии подсказок

Сравнение трех стратегий:

1. Стандартная: Прямой причинный запрос
2. CoT: Подсказка цепочки мышления
3. FT: Дообучение на контрфактических примерах с объяснениями CoT

Экспериментальная установка

Наборы данных

• Эксперименты реального мира: Задачи бинарной классификации на основе причинных отношений, случайный базовый уровень 50%
• Синтетические эксперименты: Случайно сгенерированные графы знаний, содержащие атомарные и выводимые факты

Метрики оценки

• Точность (Accuracy)
• Производительность на задачах одношагового и двухшагового рассуждения

Методы сравнения

• GPT-4o (стандартная, CoT, дообученная версии)
• GPT-5 (Thinking)
• Llama 3.1 8B

Детали реализации

• Дообучение GPT: 38,754 токена обучения, 3 эпохи, размер пакета 1, множитель скорости обучения 2
• Дообучение Llama: 5 эпох, LoRA rank 8, скорость обучения 0.0001
• Синтетические эксперименты: Использование 4 GPU NVIDIA A6000, всего 72 GPU-часа

Результаты экспериментов

Основные результаты

Производительность реальных LLMs

1. Сценарий 1 (усиление предыдущего): Все модели показывают отличные результаты, точность 90%-100%
2. Сценарий 2 (добавление информации): Недообученные модели достигают точности 60-75%, после дообучения повышается до ~90%
3. Сценарий 3 (конфликт предыдущего): Производительность падает до уровня ~50% базовой линии, дообучение приносит только маргинальные улучшения
4. Сценарий 4 (нерелевантная информация): Сильная производительность, GPT-5 достигает почти идеальной точности

Выводы из синтетической среды

• Дообучение индуцирует ярлыки: Модели быстро учатся повторять сущности, показанные в контрфактических предпосылках, вместо проведения истинного рассуждения
• Трудности избирательного переопределения: Модели не могут научиться различать, когда контрфактические предпосылки релевантны
• Включение контрфактических данных во время предварительного обучения: Может улучшить производительность контрфактического рассуждения, но может повредить производительность фактических задач

Абляционные эксперименты

Контролируемые эксперименты доказывают, что деградация производительности не вызвана изменениями формата:

• Построение задач CoT, не требующих контекстного переопределения
• Дообучение быстро адаптируется к такой задаче (100% точность на тесте)
• Указывает на то, что отказ в контрфактическом рассуждении происходит из-за сложности самой задачи, а не из-за общей катастрофической забывчивости

Ключевые выводы

1. Два основных режима отказа:
   • Игнорирование контекста: модель по умолчанию использует сохраненные факты
   • Переобучение контексту: модель слепо следует подсказке, но забывает релевантные связи
2. Влияние выравнивания: Современные производственные LLMs прошли обучение выравниванию по фактичности и безопасности, что предрасполагает их полагаться на предварительно обученное параметризованное знание
3. Ограничения дообучения: Простое постфактум дообучение с трудом внедряет надежную способность к контрфактическому рассуждению

Связанные работы

Многошаговые вопросы и ответы

• Бенчмарки, такие как HotpotQA, тестируют способность многошагового рассуждения
• Существующие работы в основном сосредоточены на многошаговом рассуждении, включающем только параметризованное знание
• Данная работа уникально изучает случаи, требующие объединения параметризованного и контекстного знания

Конфликты знаний

• Методы RAG пытаются объединить параметризованную память с полученной информацией
• Существующие методы обычно не подходят для уникальных вызовов контрфактического рассуждения
• Требуется избирательное сохранение и интеграция параметризованного знания, а не полное отклонение

Причинное рассуждение и контрфактические сценарии

• Способность LLMs к причинному рассуждению является активной областью исследования
• Существующие бенчмарки (CLadder, CounterBench и др.) выявляют ограничения LLM в формальном контрфактическом рассуждении
• Данная работа заполняет пробел в понимании того, как LLMs интегрируют параметризованное знание и контрфактические предпосылки в многошаговом рассуждении

Заключение и обсуждение

Основные выводы

1. Фундаментальные ограничения: Современные LLMs не имеют надежных механизмов для динамического изменения или расширения внутреннего графа знаний в ответ на конфликтующую или новую информацию
2. Универсальность режимов отказа: Проблемы игнорирования контекста и переобучения контексту сохраняются в различных стратегиях подсказок и методах дообучения
3. Ограниченная эффективность дообучения: Простые методы дообучения не могут эффективно решить проблему контрфактического рассуждения и могут повредить исходное знание

Ограничения

1. Упрощенная установка: В синтетической среде контрфактические предпосылки выражены как статические редактирования одиночных ребер графа знаний, запросы ограничены двухшаговыми цепочками
2. Недостаточная сложность: Сценарии реального мира включают взаимодействия многих предикатов, нечеткие или вероятностные отношения, многоисточниковые зашумленные доказательства
3. Ограничение глубины: Не расширено на более глубокие и более зашумленные многошаговые отношения

Направления будущих исследований

1. Новые парадигмы моделирования: Необходимо разработать новые парадигмы моделирования и обучения, которые могут динамически интегрировать сохраненное и контекстное знание без ущерба для любого из них
2. Исследование механизмов: Углубленное изучение механизмов реализации избирательного переопределения знания
3. Расширение сложности: Расширение анализа на более глубокие, более сложные многошаговые отношения и сценарии реального мира

Глубокая оценка

Преимущества

1. Важность проблемы: Выявление и систематическое изучение критических ограничений LLMs в сценариях конфликтов знаний
2. Строгий дизайн экспериментов: Сочетание реальных и синтетических окружений обеспечивает всестороннюю аналитическую перспективу
3. Проницательные выводы: Выявление двух четких режимов отказа обеспечивает важное понимание поведения LLMs
4. Методологический вклад: Предложение эффективной структуры для оценки способности контрфактического рассуждения

Недостатки

1. Отсутствие решений: В основном выявляет проблемы, но не предлагает эффективные решения
2. Ограниченный диапазон моделей: Главным образом тестирует несколько моделей, не хватает более широкой оценки моделей
3. Сложность задачи: Текущая установка задачи относительно проста, существует разрыв с реальными приложениями
4. Недостаточный теоретический анализ: Отсутствует глубокое теоретическое объяснение механизмов отказа

Влияние

1. Академическая ценность: Предоставление важной основы для исследования интеграции знаний LLMs, потенциально вдохновляющей направления будущих исследований
2. Практическое значение: Важное руководство для систем RAG и приложений, требующих динамической интеграции знаний
3. Предупреждающее действие: Напоминание исследователям и практикам об ограничениях LLMs в сценариях конфликтов знаний

Применимые сценарии

1. Системы с увеличением поиска: Руководство по проектированию систем RAG при обработке конфликтующей информации
2. Интерактивный AI: Справочная информация для диалоговых систем, требующих обработки гипотетических сценариев
3. Приложения, критичные по безопасности: Требуется особая осторожность при применении в областях, требующих точного условного рассуждения

Библиография

Статья цитирует важные работы в соответствующих областях, включая:

• Бенчмарки многошаговых вопросов и ответов (HotpotQA, NaturalQuestions)
• Методы обработки конфликтов знаний (RAG, REALM, DPR)
• Оценку причинного рассуждения (CLadder, CounterBench)
• Анализ механизмов LLMs (Grokking transformers и др.)

Общая оценка: Это высококачественная исследовательская статья, которая систематически выявляет и анализирует важные ограничения LLMs в контрфактическом рассуждении. Хотя она не предоставляет полные решения, она закладывает важную основу для понимания и улучшения способности LLMs к интеграции знаний, оказывая значительное содействие развитию этой области.