2025-11-13T14:19:10.992196

Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning

Yamin, Ghosal, Wilder

Large Language Models have been shown to contain extensive world knowledge in their parameters, enabling impressive performance on many knowledge intensive tasks. However, when deployed in novel settings, LLMs often encounter situations where they must integrate parametric knowledge with new or unfamiliar information. In this work, we explore whether LLMs can combine knowledge in-context with their parametric knowledge through the lens of counterfactual reasoning. Through synthetic and real experiments in multi-hop reasoning problems, we show that LLMs generally struggle with counterfactual reasoning, often resorting to exclusively using their parametric knowledge. Moreover, we show that simple post-hoc finetuning can struggle to instill counterfactual reasoning ability -- often leading to degradation in stored parametric knowledge. Ultimately, our work reveals important limitations of current LLM's abilities to re-purpose parametric knowledge in novel settings.

academic

LLMは反事実推論における知識の矛盾を調和させることができるか

基本情報

論文ID: 2506.15732
タイトル: Can LLMs Reconcile Knowledge Conflicts in Counterfactual Reasoning?
著者: Khurram Yamin*, Gaurav Ghosal*, Bryan Wilder (Carnegie Mellon University)
分類: cs.AI cs.LG
発表時期/会議: ICLR 2026
論文リンク: https://arxiv.org/abs/2506.15732v2

要旨

大規模言語モデル（LLM）はパラメータに豊富な世界知識を含有し、多くの知識集約的タスクで優れた性能を示している。しかし、新しい環境に配置される際、LLMはパラメータ化された知識を新規または不慣れな情報と組み合わせる必要がある状況に頻繁に直面する。本研究は反事実推論の観点からLLMが文脈知識とパラメータ化知識を組み合わせることができるかどうかを探究する。多段階推論問題における合成および実験的検証を通じて、本研究はLLMが反事実推論において広範な困難を示し、しばしばパラメータ化知識のみに依存することを示している。さらに、単純な事後微調整は反事実推論能力の植え込みに困難であり、しばしば保存されたパラメータ化知識の劣化をもたらす。最終的に、本研究は現在のLLMが新しい設定においてパラメータ化知識を再利用する能力における重要な限界を明らかにする。

研究背景と動機

核心的問題

本研究が解決しようとする核心的問題は以下の通りである：現代のLLMは、パラメータ化知識を文脈内の反事実前提と選択的に組み合わせて、多段階問題に正しく答えることができるか？

問題の重要性

実践的応用の必要性：現実世界の多くのシナリオでは、LLMが事前学習知識を推論時に提供される新規または仮説的情報と組み合わせる必要がある
知識矛盾の課題：外部文書が内部知識と矛盾する場合、検索拡張生成は困難に直面する
安全性が重要なアプリケーション：対話型システム、検索拡張パイプライン、および安全性が重要なアプリケーションでは、正確な条件付き推論が不可欠である

既存方法の限界

既存の多段階QAベンチマークは主に、モデルが保存事実を想起するか、パラメータ化知識チェーンを組み合わせる能力を評価するが、二重要件をテストしない
知識矛盾研究は反事実多段階推論の体系的な探究に欠ける
RAG方法は外部情報を統合できるが、反事実推論の独特の課題に対処できない

研究動機

反事実推論という具体的なタスクを通じて、LLMが知識矛盾に直面した場合の性能を体系的に研究する。特に、文脈的上書き（Contextual Override）と選択的検索（Selective Retrieval）の能力を同時に必要とする場合を研究する。

核心的貢献

反事実QAベンチマーク：合成グラフベースのタスクと現実世界の因果推論シナリオに基づいて、事前学習知識グラフに対する(i)強化、(ii)追加、(iii)矛盾、(iv)無関連な文脈の場合を分離するベンチマークを導入
実証的分析：GPT-4oおよび他の最先端モデルの実験を通じて、2つの主要な失敗パターンを特定：(a)文脈無視（モデルが保存事実をデフォルトで使用）および(b)文脈過剰適合（モデルがプロンプトに盲目的に従う）
微調整の落とし穴分析：単純な事後微調整が反事実例に対してわずかな利益しかもたらさず、予期しないヒューリスティックを誘導することで標準事実ベンチマークの性能を低下させる可能性があることを証明
実践的意義：研究結果が対話型システム、検索拡張パイプライン、および安全性が重要なアプリケーションに与える影響を議論

方法論の詳細

タスク定義

本研究は反事実多段階推論タスクを定義し、モデルに以下を要求する：

文脈的上書き：デフォルト事実を一時的に抑制し、仮説的前提を受け入れる
選択的検索：重みに保存された関連する関連性を検索して利用する。ただし、一部の情報は既に変更されている

例：「パリがイタリアに位置していた場合、エッフェル塔はどの国にあるだろうか？」

「パリはフランスにある」というパラメータ化知識を上書きする必要がある
「エッフェル塔はパリにある」という関連性を保持する必要がある

実験設計

実世界のLLM実験

文脈情報を4つのシナリオに分類：

シナリオ1（事前知識の強化）：パラメータ化知識グラフに既に存在する関係を提供
シナリオ2（新情報の追加）：クエリに答えるために必要だがパラメータ化知識グラフに欠落している情報を提供
シナリオ3（事前知識との矛盾）：既存のパラメータ化知識と強く矛盾する情報を提供
シナリオ4（無関連情報）：クエリと無関係な情報を提供

合成環境実験

制御された合成知識グラフ設定で：

有向グラフGをランダムに生成。頂点はエンティティ、辺は関係を表す
原子事実（単一辺）と推論事実（2段階の組み合わせ）を区別
3つの反事実タイプをテスト：
- ホップ1関連：反事実前提が推論事実の最初のホップを修正
- ホップ2関連：反事実前提がブリッジエンティティと最終回答のリンクを修正
- 無関連反事実：反事実前提が多段階クエリと完全に無関係