信頼性集合アンサンブル蒸留による不確実性定量化

基本情報

• 論文ID: 2511.13766
• タイトル: Credal Ensemble Distillation for Uncertainty Quantification
• 著者: Kaizheng Wang (KU Leuven)、Fabio Cuzzolin (Oxford Brookes University)、David Moens (KU Leuven)、Hans Hallez (KU Leuven)
• 分類: cs.LG、cs.AI
• 発表時期/会議: AAAI 2026
• 論文リンク: https://arxiv.org/abs/2511.13766

要約

深層アンサンブル（Deep Ensembles, DE）は、予測の不確実性を定量化し、偶然的不確実性（aleatoric uncertainty）と認識論的不確実性（epistemic uncertainty）を区別することで、モデルのロバスト性と信頼性を向上させる強力な方法として確立されている。しかし、推論時の高い計算コストとメモリ消費は、広範な実用的展開に大きな課題をもたらしている。この問題を克服するため、本論文は信頼性集合アンサンブル蒸留（Credal Ensemble Distillation, CED）フレームワークを提案し、DEを分類タスク用の単一モデルCREDITに圧縮する。CREDITは単一のsoftmax確率分布を予測するのではなく、信頼性集合（確率分布の凸集合）を定義するクラス確率区間を予測し、不確実性定量化に用いる。分布外検出ベンチマークの実験結果は、CEDがDEに対する推論オーバーヘッドを大幅に削減しながら、優れた、またはそれに匹敵する不確実性推定性能を達成することを示している。

研究背景と動機

問題背景

1. 不確実性定量化の重要性：ニューラルネットワークの不確実性定量化（UQ）への関心が高まっており、主に2つのタイプの不確実性を区別する：
   • 偶然的不確実性（AU）：データ生成プロセスの固有の確率性に由来
   • 認識論的不確実性（EU）：証拠不足に起因し、真の条件付き分布に対するモデルの不完全な知識を反映
2. 深層アンサンブルの制限：
   • DEは複数の標準ニューラルネットワーク（SNN）を組み合わせて有限分布集合を予測することで、強力なUQベースラインとなっている
   • しかし、DEは大量のメモリと計算リソースを必要とし、推論時にはM個の独立したモデルを実行する必要がある
   • これにより、リソース制約のあるシナリオでの実用的な展開が制限される
3. 既存蒸留方法の不足：
   • アンサンブル蒸留（ED）：DEを単一のSNNに蒸留するが、単一の予測分布のみを生成し、AU定量化能力を制限する
   • アンサンブル分布蒸留（EDD）：Dirichlet分布を二次予測として出力するが、訓練用の真のDirichletラベルが欠如しており、理論的にはEUの定義から逸脱している
   • ベイズニューラルネットワーク（BNN）：スケーラビリティの課題と事前分布選択への感度に直面している

研究動機

本論文は、以下の中心的な研究問題を提起する：DEから二次表現として信頼性集合を予測する単一ニューラルネットワークを蒸留でき、既存蒸留フレームワークのUQ性能を改善できるか？

核心的貢献

1. CEDフレームワークの提案：DEを信頼性集合を予測する単一モデルに蒸留する新規フレームワークを初めて提案し、これまで未探索のタスクである
2. CREDITモデルの設計：
   • 2C+1次元ベクトル（Cはクラス数）を出力し、交集確率（p*）、区間長ベクトル（Δp）、重み係数（β）を含む
   • クラス確率区間システムを再構成し、UQ用の信頼性集合を定義できる
3. 革新的な蒸留損失：交叉エントロピーと平均二乗誤差を組み合わせた専用蒸留損失関数を提案し、DE教師の信頼性情報を効果的に学習する
4. 優れた実験性能：
   • 複数のOOD検出ベンチマークにおいて、EU推定が基線方法を大幅に上回る
   • TU推定は優れた、またはそれに匹敵する性能を達成
   • DEと比較して推論オーバーヘッドを大幅削減（5×単一モデルから1×へ）
5. 理論的貢献：信頼性集合理論を活用して、不確実性定量化のためのより原則的な数学的フレームワークを提供

方法の詳細

タスク定義

• 入力：分類タスクの入力サンプルx
• 出力：
  • クラス予測：交集確率p*を通じて
  • 不確実性定量化：再構成された信頼性集合Qを通じて
• 目標：M個のSNNで構成されるDE教師を単一のCREDIT学生モデルに圧縮し、UQ性能を維持または向上させる

モデルアーキテクチャ

1. アンサンブル教師用信頼性ラッパー

DEのM個の予測確率{pm}^M_が与えられた場合、クラス確率区間を構成する：

$\overline{p}_k = \max_{m=1,..,M} p_{m,k}, \quad \underline{p}_k = \min_{m=1,..,M} p_{m,k}$

これらの区間は有効な信頼性集合を定義する：

$Q = \{p | p_k \in [\underline{p}_k, \overline{p}_k] \forall k\}$

制約を満たす：$\sum^C_{k=1} \underline{p}_k \leq 1 \leq \sum^C_{k=1} \overline{p}_k$

交集確率の計算（唯一のクラス予測用）：

$p^*_k = \underline{p}_k + \beta(\overline{p}_k - \underline{p}_k)$

ここで重み係数は：

$\beta = \left(1 - \sum^C_{k=1} \underline{p}_k\right) / \left(\sum^C_{k=1} \Delta p_k\right)$

ここで$\Delta p_k = \overline{p}_k - \underline{p}_k$は区間長である。

2. CREDIT学生モデルの設計

アーキテクチャ修正：

• 任意のニューラルネットワークバックボーンと互換性がある
• 最後の分類層をC個の出力ニューロンから2C+1個のノードに修正
• 出力ベクトルv := (p*_S ∈ R^C, Δp_S ∈ R^C, β_S ∈ R)

出力計算（ロジットz_S ∈ R^{2C+1}が与えられた場合）：

$p^*_S = \text{softmax}(z_{S_{1:C}})$$\Delta p_S = \text{sigmoid}(z_{S_{C+1:2C}})$$\beta_S = \text{sigmoid}(z_{S_{2C+1}})$

これにより以下が保証される：

• p*_Sは正規化される
• 各区間長Δp_{S,k} ∈ 0,1
• β_S ∈ 0,1

区間の再構成：

$\underline{p}_{S,k} = p^*_{S,k} - \beta_S \Delta p_{S,k}$$\overline{p}_{S,k} = p^*_{S,k} + (1-\beta_S) \Delta p_{S,k}$

有効性の保証：クリッピング操作により確率区間の有効性を保証する：

$\underline{p}_{S,k} \leftarrow \max\{\underline{p}_{S,k}, 0\}, \quad \overline{p}_{S,k} \leftarrow \min\{\overline{p}_{S,k}, 1\}$

3. 不確実性定量化

一般化エントロピー度量を採用：

• 総不確実性（TU）：上Shannon エントロピー$\overline{H}(Q_S)$
• 偶然的不確実性（AU）：下Shannon エントロピー$\underline{H}(Q_S)$
• 認識論的不確実性（EU）：$\overline{H}(Q_S) - \underline{H}(Q_S)$

上エントロピーは最適化問題を通じて計算される：

$\overline{H}(Q_S) = \max_{p \in Q_S} \sum^C_{k=1} -p_k \log p_k$

制約条件：$\sum^C_{k=1} p_k = 1$かつ$p_k \in [\underline{p}_{S,k}, \overline{p}_{S,k}]$

蒸留戦略

CED損失関数：

$\mathcal{L}_{\text{ced}} = N^{-1} \sum^N_{n=1} \left( \sum^C_{k=1} -p^{*n}_k \log p^{*n}_{S,k} + \sum^C_{k=1} (\Delta p^n_k - \Delta p^n_{S,k})^2 + (\beta^n - \beta^n_S)^2 \right)$

3つの構成要素：

1. 交叉エントロピー項：交集確率を学習し、予測性能を維持
2. 区間長MSE：確率区間の不精密性を学習
3. 重み係数MSE：重み係数を学習

温度スケーリング：知識蒸留強化のため温度T=2.5を適用し、損失関数にT²を乗算

技術的革新点

1. 初の信頼性集合蒸留：信頼性集合理論と知識蒸留を組み合わせ、アンサンブルから単一モデルへの不確実性保持問題を革新的に解決
2. コンパクト表現：(p*, Δp, β)三つ組を通じた信頼性集合のコンパクト表現により、すべての区間端点の直接保存を回避
3. 理論的保証：再構成された確率区間が信頼性集合の有効性条件を満たすことを数学的に証明
4. エンドツーエンド訓練：複雑な学習率スケジュールや温度アニーリングを必要としない（EDDと比較）
5. 計算効率：推論時に単一の前向きパスのみが必要であり、不確実性定量化の最適化問題（C≤10時）のオーバーヘッドは無視できる

実験設定

データセット

主要実験：

1. CIFAR10 vs. SVHN：標準OOD検出ペア
2. CIFAR10 vs. CIFAR10-C：
   • CIFAR10-Cは15種類の破損を含む
   • 各破損に5つの重大度レベル
   • 合計75の破損バリエーション

医療画像ケーススタディ：

• Camelyon17：組織病理学的乳腺リンパ節画像
• 二値分類タスク：{腫瘍、非腫瘍}
• 強いドメインシフト設定：IDとOODは異なるスキャナーを使用

評価指標

OOD検出性能（OOD検出を二値分類として扱う）：

• AUROC（受信者動作特性曲線下面積）：真陽性率と偽陽性率を評価
• AUPRC（精度-再現率曲線下面積）：異なる信頼度レベルでの性能を評価
• より高い値はより良いUQ性能を示す

ID性能：

• テスト精度（ACC）
• 期待較正誤差（ECE）：モデルの信頼度と真の確率の整合性を評価

医療画像評価：

• 精度-拒否（AR）曲線：選択的分類における拒否率に伴う精度の変化
• AUARC（AR曲線下面積）：より高い値はより良い不確実性較正を示す

比較方法

1. DE：5つのSNNの深層アンサンブル（M=5）
2. SNN：単一の標準ニューラルネットワーク
3. ED：標準アンサンブル蒸留
4. EDD*：元の論文の設定を採用したアンサンブル分布蒸留（循環学習率、T=10、温度アニーリング）
5. EDD：CEDと同じ訓練設定を使用するEDD（公正な比較）
6. MCDO：モンテカルロドロップアウト（10回の前向きパス）

実装の詳細

主要実験（VGG16/ResNet18）：

• 異なるランダム初期化で15個のSNNを最初から訓練
• 15個のDE（各々ランダムに5個のSNNを選択、重複なし）を構築
• 15個のDEから各々15個の学生モデルを蒸留
• 最適化器：Adam、初期学習率0.001
• 学習率スケジュール：第80エポックで0.0001に低下
• 訓練エポック数：100
• バッチサイズ：128
• 温度スケーリング：T=2.5（ED、EDD、CED用）
• データ増強：標準増強戦略

事前訓練モデル実験（ResNet50）：

• ImageNet事前訓練のResNet50を使用
• 入力サイズを(224, 224, 3)に調整
• 25エポック訓練
• その他の設定は主要実験と同じ

EDD*設定：

• 循環学習率戦略（周期長60/15）
• 温度スケーリングT=10
• 温度アニーリング

実験結果

主要結果

VGG16バックボーン（表1）

CIFAR10 vs. SVHN：

CIFAR10 vs. CIFAR10-C（15種類の破損×5レベルの平均）：

ID性能（CIFAR10テストセット）：

ResNet50バックボーン（事前訓練）

CIFAR10 vs. SVHN：

• CED EU AUROC: 96.69±1.14（vs. DE: 89.50±1.05）
• CED EU AUPRC: 98.44±0.64（vs. DE: 92.22±1.19）

CIFAR10 vs. CIFAR10-C：

• CED EU AUROC: 96.80±2.81（vs. DE: 87.78±2.28）
• CED EU AUPRC: 96.09±4.14（vs. DE: 78.92±3.67）

主要な知見

1. EU推定の大幅な改善：CEDはすべての実験設定においてEU推定で全基線方法を一貫して上回り、AUROCとAUPRCの両方で大幅な改善を示す
2. TU性能は同等：CEDのTU推定は優れた、またはそれに匹敵する性能を達成し、ほとんどの場合トップ2にランク付けされる
3. EUはTUより優れている：EUとTUを使用したOOD検出スコアを比較すると、CEDのEU推定がほとんどの場合最良の性能を生成し、EU定量化の改善の重要性を強調する
4. 予測精度の維持：蒸留は単一SNNの予測精度を向上させ、CEDは基線蒸留方法と同等の性能を達成
5. MCDOの失敗：この設定では、MCDOのEU推定が信頼できなくなり（AUROC約50%）、おそらくモデルの多様性が限定的であることが原因
6. EDD訓練の困難：同じ設定を使用するEDDのテスト精度が大幅に低下（VGG16: 74.56%、ResNet50: 80.38%）し、したがってそのUQ分析を除外

アブレーション実験

1. 教師アンサンブルサイズの影響（図4）

M ∈ {5, 15, 25, 30}をテスト、VGG16バックボーン：

観察：

• DE：アンサンブルサイズの増加により継続的にUQ性能が改善
• CEDおよびEDD*：明確なトレンドが観察されない
• CEDは各種アンサンブルサイズで一貫した強いOOD検出性能を維持
• 特に大規模DEと比較した推論複雑度の大幅削減を考慮すると、CEDの高いポテンシャルを強調

2. 温度スケーリングの影響（図5）

T ∈ {1, 2.5, 5, 10}をテスト、VGG16バックボーン：

結果：

• 温度スケーリングはCEDのUQ性能を改善
• 過度に高い値（T=10）は性能を低下させる
• T=2.5は一貫して最良の結果を生成し、Hintonら（2015）の知見と一致

3. ResNet18バックボーン検証

ResNet18上で同様の結果パターンが検証される（附録表4）：

• CIFAR10 vs. SVHN：CED EU AUROC 88.73±2.53（vs. DE 87.63±0.57）
• CIFAR10 vs. CIFAR10-C：CED EU AUROC 97.44±1.35（vs. DE 92.43±1.91）

ケーススタディ

定性的評価（図3）

密度プロット（CIFAR10 ID vs. SVHN OOD）：

• CEDはOODサンプルに対して有意に高いEUおよびTU値を示す
• IDおよびOODサンプルの不確実性分布は良好に分離される
• EDD*はOODピークがより顕著だが、IDサンプルの不確実性分布がOODと重複が多く、これがより低いOOD検出性能を説明する

医療画像ケーススタディ（Camelyon17）

AR曲線結果（図11、表6）：

結論：CEDは実際の医療画像分類でDEを上回り、より少ない計算を必要とする

計算複雑度分析（表3）

推論時間（CIFAR10テストセット、単一P100 GPU）：

• DE: 5×(2.22±0.20) = 11.1秒
• CED: 2.26±0.23秒
• EDD*: 2.22±0.20秒

訓練時間（エポックあたり、単一P100 GPU）：

• DE: 5×(130.07±0.24) = 650秒
• CED: 659.52±11.82秒
• EDD*: 684.54±5.05秒

分析：

• CEDの推論効率はDEと比較して約5倍向上
• 他の蒸留方法と比較してわずかに増加（追加出力ノードのため）
• CED訓練はEDD*より簡潔（複雑な学習率スケジュールや温度アニーリング不要）

関連研究

1. 不確実性定量化方法

ベイズニューラルネットワーク（BNN）：

• 重みの事後分布を学習
• 課題：大規模データセットと複雑なアーキテクチャのスケーラビリティ
• 事前分布、尤度、訓練目標の選択に敏感

深層アンサンブル（DE）：

• 複数のSNNの予測から有限分布集合を組み合わせる
• 強力なUQベースラインと見なされる
• 制限：高いメモリと計算要件

Dirichlet方法（DBM）：

• Dirichlet分布を二次予測として出力
• 批判：真のラベルの欠如、EU理論定義からの乖離

2. 知識蒸留

アンサンブル蒸留（ED）：

• DEを単一SNNに蒸留し、DE予測分布の平均を近似
• 制限：単一分布のみを生成し、AU定量化を制限

アンサンブル分布蒸留（EDD）：

• Dirichlet分布を出力するモデルに蒸留
• 課題：訓練の困難さ、真のラベルの欠如

3. 信頼性集合方法

古典的応用：

• より広いマシンラーニングでのUQに使用
• 最近、深層学習で再び注目を集めている

最新の進展：

• NN重みと出力を信頼性集合としてモデル化
• 出力確率区間から信頼性集合予測を導出
• BNNおよびDEの予測確率をラップする信頼性集合
• 通常、より大きな計算リソースが必要

本論文の位置づけ

信頼性集合アンサンブル蒸留タスクを初めて探索し、信頼性ラッパーと知識蒸留を組み合わせ、アンサンブル信頼性情報を学習・保持しながらUQ性能を改善できる単一モデルを設計する。

結論と議論

主要な結論

1. CEDフレームワークの成功：DE教師を単一のCREDITモデルに圧縮し、信頼性集合を定義するクラス確率区間を予測
2. 優れたUQ性能：
   • EU推定がED、EDD、DE基線を大幅に上回る
   • TU推定は優れた、またはそれに匹敵する性能を達成
   • 複数のOOD検出ベンチマークとバックボーンアーキテクチャで検証
3. 推論オーバーヘッドの大幅削減：DEと比較して約5倍の推論時間削減
4. 原則的なアプローチ：信頼性集合理論に基づいた、より原則的な不確実性定量化の数学的フレームワークを提供
5. 実用的価値：実際の医療画像分類ケースで有効性を実証

制限事項

1. スケーラビリティの課題：
   • 現在のCEDはクラス数が大幅に増加（例：100または1000）した場合に課題に直面
   • DE教師のsoftmaxはほとんどのクラスに対してゼロに近い確率値を生成
   • 蒸留損失の回帰成分の安定性を損なう可能性がある
2. 較正性能：
   • 単一モデルのECEはDE教師ほど良くない
   • 蒸留戦略設計に較正を統合する必要がある
3. ECE度量の制限：
   • 現在のECEは単一確率予測用に設計
   • 信頼性集合予測用の原則的なECE拡張が必要
4. 最適化オーバーヘッド：
   • C≤10時は無視できるが、大規模クラス数は不確実性定量化の計算コストを増加させる可能性がある

今後の方向

1. スケーラビリティの強化：
   • 大規模クラス分類タスク（100+クラス）への対応
   • 小確率値の処理安定性の改善
2. 較正の統合：
   • 蒸留戦略に較正考慮を組み込む
   • 目標：DE教師と同等またはそれ以上の較正性能を達成
3. 理論的拡張：
   • 信頼性集合用のECE度量の開発
   • より深い理論分析と保証
4. 応用の拡大：
   • 回帰タスクへの拡張
   • 他の領域への応用探索（自然言語処理など）

深い評価

利点

1. 革新性が高い：
   • 信頼性集合理論とアンサンブル蒸留を初めて組み合わせ
   • 新規な研究問題と完全な解決策を提案
   • 三つ組表現設計が巧妙
2. 理論的基礎が堅実：
   • 信頼性集合理論に基づいた数学的保証を提供
   • 再構成区間が有効性条件を満たすことを証明
   • 原則的な一般化エントロピー度量を採用
3. 実験が充分：
   • 複数のデータセットペア（CIFAR10 vs. SVHN/CIFAR10-C）
   • 複数のバックボーンアーキテクチャ（VGG16、ResNet18、ResNet50）
   • 15回の独立実行で統計的有意性を確保
   • 詳細なアブレーション実験
   • 実際の医療画像ケーススタディ
4. 結果が説得力がある：
   • EU推定が全基線を一貫して大幅に上回る
   • 推論効率が約5倍向上
   • 異なる設定で安定した性能
5. 記述が明確：
   • 方法の詳細な説明
   • 直感的な図表設計（特に図1のフレームワーク図）
   • 明確な数学式表現
6. 再現性が良好：
   • 詳細な実装詳細を提供
   • 附録に追加実験と設定を含む
   • コードが提供されている

不足点

1. スケーラビリティの制限：
   • 著者も大規模クラス数（100+）の課題を認める
   • softmaxの小確率値処理が不安定な可能性
   • ImageNetなどの大規模データセットでの応用を制限
2. 較正性能の低下：
   • すべての単一モデルのECEがDE教師より劣る
   • CEDのECE（6.71%）はDE（1.46%）より明らかに高い
   • 予測精度は同等だが、信頼度較正に改善が必要
3. 最適化オーバーヘッドの不十分な議論：
   • C≤10時は無視できると主張
   • 詳細な実行時分析が提供されていない
   • より大きなC値への拡張性の深い分析が不足
4. EDD比較が完全に公正でない：
   • EDDは同じ設定で極めて悪い性能（精度74.56%）
   • 主にEDD*（特殊設定）と比較
   • 方法自体の問題を隠す可能性がある
5. 理論分析が限定的：
   • 収束性分析が欠如
   • 損失関数設計の理論的根拠が不足
   • 3項損失の単純加重がなぜ有効かの深い説明が不足
6. MCDOベースラインが不完全：
   • ResNet50実験ではMCDO結果が報告されていない
   • MCDO性能が悪い理由の分析が簡潔

影響力

1. 学術的貢献：
   • 信頼性集合アンサンブル蒸留の新しい研究方向を開く
   • 不確実性定量化に新しい原則的フレームワークを提供
   • 後続研究を促発することが予想される
2. 実用的価値：
   • 推論コストを大幅削減（5倍加速）
   • 医療画像などの重要な応用で価値を実証
   • リソース制約シナリオに実用的なソリューションを提供
3. 制限：
   • 大規模応用にはまだ改善が必要
   • 較正問題を解決する必要がある
   • 実際の展開で課題に直面する可能性がある
4. 再現性：
   • コードと詳細な設定を提供
   • 実験設定が明確
   • 再現と拡張が容易

適用シナリオ

推奨される応用：

1. 中小規模分類タスク（C≤10）：
   • 医療画像診断（Camelyon17など）
   • 品質管理と異常検出
   • 自動運転のシーン分類
2. リソース制約環境：
   • エッジデバイス展開
   • リアルタイム推論要件
   • メモリ制約システム
3. 信頼できる不確実性推定が必要なシナリオ：
   • 安全関連アプリケーション
   • 医療診断支援
   • 金融リスク評価

推奨されない応用：

1. 大規模分類（100+クラス）
2. 較正要件が極めて高いシナリオ
3. 計算リソースが豊富でアンサンブルオーバーヘッドが許容できる場合

参考文献

主要な引用

1. Lakshminarayanan et al., 2017: Simple and scalable predictive uncertainty estimation using deep ensembles (DEの基礎)
2. Malinin et al., 2019: Ensemble Distribution Distillation (EDD方法)
3. Hinton et al., 2015: Distilling the knowledge in a neural network (知識蒸留の基礎)
4. Hüllermeier & Waegeman, 2021: Aleatoric and epistemic uncertainty in machine learning (不確実性理論)
5. Wang et al., 2025a: Credal Wrapper of Model Averaging for Uncertainty Estimation (信頼性ラッパー方法)
6. Cuzzolin, 2022: The intersection probability: betting with probability intervals (交集確率理論)
7. De Campos et al., 1994: Probability intervals: A tool for uncertain reasoning (信頼性集合基礎理論)

総合評価：これは高品質の研究論文であり、革新的な信頼性集合アンサンブル蒸留フレームワークを提案し、理論と実験の両面で堅実な貢献を行っている。スケーラビリティと較正の面で制限があるが、不確実性定量化分野に価値のある新しい方向性を提供する。特に中小規模分類タスクとリソース制約シナリオに適しており、良好な実用的価値と学術的影響力を持つ。