2025-11-20T00:01:14.681107

When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances

Vascotto, Rodriguez, Bonaita et al.
Recent legislative regulations have underlined the need for accountable and transparent artificial intelligence systems and have contributed to a growing interest in the Explainable Artificial Intelligence (XAI) field. Nonetheless, the lack of standardized criteria to validate explanation methodologies remains a major obstacle to developing trustworthy systems. We address a crucial yet often overlooked aspect of XAI, the robustness of explanations, which plays a central role in ensuring trust in both the system and the provided explanation. To this end, we propose a novel approach to analyse the robustness of neural network explanations to non-adversarial perturbations, leveraging the manifold hypothesis to produce new perturbed datapoints that resemble the observed data distribution. We additionally present an ensemble method to aggregate various explanations, showing how merging explanations can be beneficial for both understanding the model's decision and evaluating the robustness. The aim of our work is to provide practitioners with a framework for evaluating the trustworthiness of model explanations. Experimental results on feature importances derived from neural networks applied to tabular datasets highlight the importance of robust explanations in practical applications.
academic

あなたの説明を信頼できるのはいつか？特徴重要度の堅牢性分析

基本情報

  • 論文ID: 2406.14349
  • タイトル: When Can You Trust Your Explanations? A Robustness Analysis on Feature Importances
  • 著者: Ilaria Vascotto, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi
  • 分類: cs.LG（機械学習）
  • 発表時期: 2024年6月（arXiv プレプリント、2025年4月更新）
  • 論文リンク: https://arxiv.org/abs/2406.14349

要約

AI規制の継続的な改善に伴い、解釈可能なAI（XAI）の需要が急速に増加しています。しかし、説明方法の検証基準の標準化の欠如は、信頼できるシステムの開発における主要な障害のままです。本論文は、XAIで頻繁に見落とされているが極めて重要な説明の堅牢性の問題に対処し、ニューラルネットワークの説明が非対抗的な摂動に対する堅牢性を評価するための新規な分析方法を提案しています。本方法は多様体仮説を利用して観測データ分布に適合した摂動データポイントを生成し、複数の説明を集約するためのアンサンブル方法を提案しており、統合説明がモデル決定の理解と堅牢性評価の利点を示しています。

研究背景と動機

問題背景

  1. 規制要件: EU AI法やGDPRなどの規制は、AIシステムの透明性と解釈可能性の重要性を強調しています
  2. ブラックボックスのジレンマ: 現代のAIシステムは多数のパラメータのため、ブラックボックス特性を呈し、透明性に欠けています
  3. 説明方法の不安定性: LIMEやSHAPなどの既存XAI方法には固有の不安定性の問題があります
  4. 標準化の欠如: 説明方法を検証するための標準化された基準が不足しています

研究動機

  • 堅牢性評価: 説明の堅牢性は、システムと説明の信頼性を確保するための中核要素です
  • 実用的ニーズ: 実務者にモデル説明の信頼性を評価するための実用的なフレームワークを提供します
  • 説明の相違問題: 同じデータポイントに複数の説明方法を適用する際に生じる矛盾する結果の問題を解決します

核心的貢献

  1. 堅牢性推定器: 理想的な堅牢性推定器が満たすべき性質のセットを提案し、提案方法がこれらすべての性質を満たすことを証明しています
  2. 説明アンサンブル方法: ニューラルネットワーク説明の相違問題に対処するため、特徴順序に基づく説明アンサンブル方法を提案しています
  3. 非対抗的摂動フレームワーク: 説明が非対抗的摂動に対する堅牢性をテストするためのフレームワークを導入し、実際の応用における信頼性を評価しています
  4. 検証評価方法: 真実の基準の欠如の問題に対処する、新規な堅牢性推定検証評価方法を提案しています

方法の詳細

タスク定義

表形式データセットD = (X,y)が与えられ、N個のデータポイントとm個の特徴を含む場合、タスクはニューラルネットワークfに適用される説明方法eの堅牢性を評価することです。ここで説明は特徴重要度ベクトルの形式で表現されます。

堅牢性推定器

核心定義

堅牢性は、入力が修正されるときに説明方法が一貫した説明を提供する能力として定義されます：

x → x̃, e(x) → e(x̃) ⟹ r(x,e) = g(x,x̃,e)

6つの性質

論文は堅牢性推定器が満たすべき6つの主要な性質を提案しています：

  1. 性質1: 堅牢性は個別堅牢性の期待値です
  2. 性質2: 近傍点の堅牢性スコアは類似しています
  3. 性質3: 推定に不確実性が含まれます
  4. 性質4: 多様体上の摂動は多様体外の摂動より高い堅牢性を持ちます
  5. 性質5: 集約説明器の堅牢性は有界です
  6. 性質6: 等価モデルの説明は類似した堅牢性を持ちます

堅牢性計算

スピアマンの順位相関係数を使用して堅牢性を計算します：

R̂(xi,Ni,e,f) = (1/|Ni|) ∑(x̃i∈Ni) ρ(e(xi,f), e(x̃i,f))

近傍生成メカニズム

ランダム近傍（NR）

  • 数値変数：ガウスホワイトノイズを追加
  • カテゴリ変数：ランダムに反転

中心点ベースの近傍（NM）

多様体仮説を利用したより洗練されたメカニズム：

  1. 検証セットに対してk-中心点クラスタリングを実行
  2. 各クラスタ中心に対してkM個の最近傍中心を検出
  3. ベータ分布を使用して補間摂動を実行

アンサンブル方法

特徴順序に基づく加重平均アンサンブルを提案します：

a(i,j)ens = (∑L l=1 r(i,j)l · w(i,j)l) / (∑L l=1 w(i,j)l) · (1 + λn̄(i,j))

ここで符号不一致のペナルティ項が含まれ、重み付けスキームは特徴重要度の相対的な大きさを考慮しています。

信頼性評価フレームワーク

k近傍回帰器を使用してローカル堅牢性を予測し、データポイントを3つのカテゴリに分類します：

  1. 堅牢点: R̂(xi) ≥ rth かつ Rknn(xi) ≥ rth
  2. 不確実点: R̂(xi) ≥ rth だが Rknn(xi) < rth
  3. 非堅牢点: R̂(xi) < rth

実験設定

データセット

8つの公開表形式データセットを使用：

  • おもちゃデータセット: beans, cancer, mushroom, white wine
  • 実際のデータセット: adult, bank marketing, heloc, ocean

XAI方法

ニューラルネットワーク固有の方法に焦点を当てます：

  • DeepLIFT: 参照点差分に基づいて特徴重要度を計算
  • Integrated Gradients: ベースラインから入力への経路に沿った勾配の積分
  • Layer-wise Relevance Propagation（LRP）: 逆伝播ベースの関連性伝播

検証戦略

類似した精度を持つが異なるアーキテクチャの3つのニューラルネットワークを使用して検証し、ROC/AUC分析を通じて堅牢性推定の有効性を評価します。

実験結果

主要な発見

近傍生成の効果

  • 中心点ベースの近傍（NM）はランダム近傍（NR）より高い堅牢性スコアを生成
  • NM方法で生成された摂動はデータ多様体により適合し、性質4を検証

アンサンブル方法の利点

  • 統合説明の堅牢性は個別方法の堅牢性の保守的推定として機能
  • 個別方法の堅牢性と特徴レベルの一貫性を考慮可能
  • 単純平均方法と比較してより信頼できる説明を提供

信頼性分類結果

rth = 0.80閾値下で：

  • ほとんどのデータセットで堅牢点が多数派
  • 不確実点と非堅牢点の割合は無視できません
  • mushroomデータセットは3つのモデルすべてが100%の精度に達するため特殊なケース

検証分析

ROC/AUC分析は以下を示しています：

  • アンサンブル方法と中心点ベース近傍の組み合わせがほとんどのデータセットで最良の性能
  • 非堅牢点でのモデル予測の不一致の割合は堅牢点より一般的に高い
  • モデル予測の一貫性を堅牢性検証指標として使用する仮説を支持

関連研究

XAI方法の制限

  • LIME: 近傍生成のランダム性のため本質的に不安定
  • SHAP: 特徴相関、サンプリング変異性、データ分布シフトの影響を受ける
  • 勾配方法: 摂動方法より堅牢ですが、依然として不安定性が存在

堅牢性評価方法

  • 対抗攻撃: 説明を悪意的に操作する攻撃に焦点
  • ランダム摂動: 固有の弱点を評価
  • モデル操作: 損失関数の修正などを通じて説明に影響

既存の測定方法

順序相関、top-k交集、ルールマッチングなどを含みますが、統一された有界測定基準が不足しています。

結論と考察

主要な結論

  1. 提案された堅牢性推定器はすべての理論的性質を満たし、0,1範囲内の有界測定を提供
  2. 多様体ベースの近傍生成はランダム摂動より真の堅牢性評価に適している
  3. アンサンブル方法は説明の相違問題を効果的に処理し、より信頼できる説明を提供
  4. フレームワークは不確実領域のデータポイントを識別し、実際の応用の信頼性を向上

制限事項

  1. 計算複雑性: 各データポイント、各摂動、各方法に対してネットワーク伝播が必要
  2. パラメータ感度: 近傍生成と閾値選択は慎重な調整が必要
  3. 検証仮説: モデル予測の一貫性を堅牢性の代理指標として使用する仮説は常に成立するとは限りません

今後の方向性

  1. モデル汎化: ツリーベースモデルなど他の機械学習モデルへの拡張
  2. 対抗堅牢性: 対抗攻撃との関係と防御能力の研究
  3. 分類器堅牢性: 説明を利用して分類器堅牢性を向上させる方法の探索

深い評価

利点

  1. 理論的厳密性: 6つの明確に定義された性質を含む完全な堅牢性推定器の理論的フレームワークを提案
  2. 方法の革新性: 多様体仮説ベースの近傍生成と符号一貫性を考慮したアンサンブル方法は新規性があります
  3. 実用的価値: 完全な信頼性評価プロセスを提供し、実際の応用に指導的意義があります
  4. 実験の包括性: 複数のデータセットで十分な実験を実施し、消融研究と検証分析を含みます

不足点

  1. 計算オーバーヘッド: 方法の計算複雑性が高く、大規模応用を制限する可能性があります
  2. パラメータ依存: 複数のハイパーパラメータが調整を必要とし、方法の複雑性を増加させます
  3. 検証の制限: 真実の基準がない検証方法はまだ改善の余地があります
  4. 適用範囲: 主に表形式データとニューラルネットワークに焦点を当てており、汎化性の検証が必要です

影響力

  1. 学術的貢献: XAI堅牢性評価に対して体系的な理論と方法フレームワークを提供
  2. 実践的指導: 実務者に説明信頼性を評価するための具体的なツールを提供
  3. 標準化推進: XAI方法評価の標準化基準の確立に貢献

適用シーン

  • 高リスクAI応用シーンの説明検証
  • 複数のXAI方法の比較と選択が必要な場合
  • 説明信頼性に厳格な要件がある規制環境
  • 表形式データのニューラルネットワーク説明分析

参考文献

本論文はXAI分野の重要な研究、LIMEやSHAPなどの古典的方法、および説明堅牢性や対抗攻撃などの最近の先端研究を引用しており、本研究に堅実な理論的基礎を提供しています。