2025-11-11T15:40:09.573035

PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning

Kawakami, Egashira, Miyai et al.
In recent years, unlearning techniques, which are methods for inducing a model to "forget" previously learned information, have attracted attention as a way to address privacy and copyright concerns in large language models (LLMs) and large multimodal models (LMMs). While several unlearning benchmarks have been established for LLMs, a practical evaluation framework for unlearning in LMMs has been less explored. Specifically, existing unlearning benchmark for LMMs considers only scenarios in which the model is required to unlearn fine-tuned knowledge through a single unlearning operation. In this study, we introduce PULSE protocol for realistic unlearning scenarios for LMMs by introducing two critical perspectives: (i) Pre-trained knowledge Unlearning for analyzing the effect across different knowledge acquisition phases and (ii) Long-term Sustainability Evaluation to address sequential requests. We then evaluate existing unlearning methods along these dimensions. Our results reveal that, although some techniques can successfully unlearn knowledge acquired through fine-tuning, they struggle to eliminate information learned during pre-training. Moreover, methods that effectively unlearn a batch of target data in a single operation exhibit substantial performance degradation when the same data are split and unlearned sequentially.
academic

PULSE: 大規模マルチモーダルモデル機械学習忘却の実用的評価シナリオ

基本情報

  • 論文ID: 2507.01271
  • タイトル: PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
  • 著者: 川上達樹、江頭和樹、宮井篤行、伊藤剛、相澤清晴（東京大学）
  • 分類: cs.LG cs.AI
  • 発表時期/会議: 第39回ニューラル情報処理システム会議（NeurIPS 2025）ワークショップ
  • 論文リンク: https://arxiv.org/abs/2507.01271

要旨

近年、機械学習忘却技術は大規模言語モデル（LLMs）および大規模マルチモーダルモデル（LMMs）におけるプライバシーと著作権の問題を解決する方法として注目されています。LLMsに対しては複数の忘却ベンチマークが確立されていますが、LMMsの実用的な忘却評価フレームワークの探索は限定的です。既存のLMM忘却ベンチマークは、単一の忘却操作を通じて微調整知識を忘却するシナリオのみを考慮しています。本研究は、2つの重要な視点を導入することでPULSEプロトコルを提案します：(i) 事前学習知識忘却（異なる知識獲得段階の影響を分析するため）、(ii) 長期持続可能性評価（連続的なリクエストに対応するため）。研究結果は、一部の技術が微調整を通じて獲得した知識の忘却に成功する一方で、事前学習期間に学習された情報の除去には困難があることを示しています。さらに、単一操作でバッチターゲットデータの効果的な忘却を実現する方法は、データを分割して連続的に忘却する際に顕著なパフォーマンス低下を示します。

研究背景と動機

問題定義

大規模マルチモーダルモデルが様々なタスクで大きな成功を収めるにつれて、その訓練データには個人情報と著作権コンテンツが含まれる可能性があり、プライバシーと知的財産権侵害の懸念が生じています。機械学習忘却技術は、モデルが以前学習した情報を「忘れる」ことを目的としており、同時に他のタスクでのパフォーマンスを維持します。

問題の重要性

  1. プライバシー保護の必要性：データプライバシー規制の強化に伴い、訓練済みモデルから特定の個人情報を削除できる技術が必要
  2. 著作権保護：訓練データに含まれる可能性のある著作権コンテンツの処理が必要
  3. 実用的応用の必要性：実際のシナリオでは複数回の連続的な忘却操作が必要な場合がある

既存方法の限界

  1. 評価範囲の限定：既存のLMM忘却ベンチマーク（MLLMU-Benchなど）は微調整知識の忘却のみを考慮
  2. 単一操作の仮定：1回限りの忘却操作のみを評価し、連続的な忘却リクエストのシナリオを無視
  3. 事前学習知識評価の欠如：事前学習段階で獲得した知識の忘却を考慮していない

研究動機

本論文は、より実用的で包括的なLMM忘却評価フレームワークを確立し、事前学習知識忘却と持続可能性の面での既存評価方法のギャップを埋めることを目指しています。

核心的貢献

  1. PULSEプロトコルの提案：LMMsにおける(i)事前学習知識忘却と(ii)長期持続可能性評価を評価する新しいプロトコルを設計
  2. 事前学習知識忘却の困難さを明らかに：PULSEプロトコルを通じて、既存の忘却技術が事前学習期間に獲得した知識に対して効果的でないことを発見
  3. 持続可能性の問題を発見：現在の方法が複数回の連続的な忘却リクエストに直面した場合、モデルパフォーマンスが大幅に低下することを証明
  4. 実用的評価基盤の提供：LMM忘却技術の将来の設計に重要な洞察を提供

方法の詳細説明

タスク定義

DunlearnD_{unlearn}を忘却が必要なデータ、DretainD_{retain}を保持が必要なデータとします。忘却方法の評価には2つの側面が含まれます：

  • 有効性（Effectiveness）：ターゲットDunlearnD_{unlearn}での忘却パフォーマンス
  • 汎化性（Generality）：無関係なデータDretainD_{retain}での精度維持

PULSEプロトコルアーキテクチャ

1. 微調整知識忘却（Fine-tuned Knowledge Unlearning）

  • 標準的な慣行に従い、微調整知識のサブセットをDunlearnD_{unlearn}として選択
  • モデルが単一操作でこのサブセットを忘却
  • 忘却効果と汎化パフォーマンス維持を評価

2. 事前学習知識忘却（Pre-trained Knowledge Unlearning）

  • 事前学習期間に獲得した知識をDunlearnD_{unlearn}として設定
  • モデルの実際の動作に基づいてモデルが「知っている」個人を識別
  • 事前学習コーパスが完全に公開されていない場合に適用可能な、事前学習データから直接サンプリングするより実用的

3. 持続可能性評価（Long-term Sustainability Evaluation）

  • DunlearnD_{unlearn}を複数のサブセットに分割
  • これらのサブセットに対して順序立てて連続的な忘却操作を実行
  • 各操作後のモデルの汎化性と有効性の変化を追跡

技術的革新点

  1. 多次元評価フレームワーク：LMMsで知識ソースタイプと操作持続可能性を同時に考慮する初の試み
  2. 実用性指向の設計：実際の応用シナリオに基づいて評価プロトコルを設計
  3. クロスモーダル一貫性要件：マルチモーダルおよび純粋テキストタスク両方でモデルがターゲット情報を漏らさないことを要求

実験設定

データセット

MLLMU-Benchで公開されているデータセットを使用：

  • 各個人は1枚の顔画像と10個のQ&Aペアで構成
  • 5つのマルチモーダルタスク、5つの純粋テキストタスク
  • 質問は個人の詳細情報（職業、居住地など）に関連

実験構成：

  • 微調整知識忘却：100個の架空個人、50個をDunlearnD_{unlearn}、50個をDretainD_{retain}として使用
  • 事前学習知識忘却：153人の実在の著名人から高精度の45人を選択、20人をDunlearnD_{unlearn}、25人をDretainD_{retain}として使用
  • 持続可能性評価：50人の個人を5つのサブセットに分割し、5回の連続的な忘却操作を実施

評価指標

  • 有効性指標：DunlearnD_{unlearn}での精度（低いほど良い）
  • 汎化性指標：
    • DretainD_{retain}での精度（高いほど良い）
    • MMBenchスコア（マルチモーダル能力を評価）

比較方法

  1. 勾配上昇法（Gradient Ascent, GA）：DunlearnD_{unlearn}を忘却データとして使用し、パラメータ更新方向を標準勾配降下法と反対にする
  2. KL正則化付き勾配上昇法（GA+KLR）：KL発散ペナルティ項を追加し、更新されたモデルが元のモデルに近いままであるようにする
  3. 負の選好最適化（Negative Preference Optimization, NPO）：忘却データを負の例として扱う選好調整方法

実装詳細

  • 基盤モデル：LLaVA-v1.5-13B
  • 微調整方法：LoRA（Low-Rank Adaptation）
  • パラメータ更新：微調整と忘却プロセスの両方でLoRAを使用

実験結果

主要結果

事前学習知識忘却パフォーマンス

  • すべての方法がDunlearnD_{unlearn}での精度を低下させ、ある程度の忘却が有効であることを示唆
  • 重要な発見：
    • 微調整知識の忘却：MMBench能力は最大約10%の損失
    • 事前学習知識の忘却：MMBench能力は90%以上の損失
    • DretainD_{retain}精度も大幅に低下し、選択的忘却が困難であることを示唆

持続可能性評価結果

  • 忘却操作の回数が増加するにつれて、DunlearnD_{unlearn}パフォーマンスの低下だけでなく、汎化性指標も段階的に悪化
  • 5回の忘却操作後、汎化性はほぼ完全に喪失
  • 現在の主流忘却方法がLMM忘却で持続可能性を維持できないことを示唆

詳細分析

タスクモーダル差異

パラメータ更新に投影行列と言語モデルが含まれる場合：

  • マルチモーダルタスク精度：78.0% → 9.6%
  • 純粋テキストタスク精度：76.8% → 35.2%

重要な発見：純粋テキストタスクは忘却に対してより耐性があり、おそらく「画像と知識の整列を破壊しただけ」で、ターゲット情報を真に忘却していない可能性があります。

パラメータ更新戦略の影響

  • LLMのみ更新：MMBenchパフォーマンスが大幅に低下
  • 投影行列とLLMを同時更新：MMBenchパフォーマンスがわずかに低下
  • 仮説：投影行列の更新を許可することで、モーダル間の整列を破壊して忘却を容易にする

実験的発見

  1. 事前学習知識はより忘却が困難：事前学習期間中にモデルがターゲット個人と他のエンティティ間の関係を学習したためと考えられる
  2. 連続忘却は破滅的忘却をもたらす：繰り返しの忘却更新は保持タスクにも重要なパラメータを更新する
  3. モーダル間の不一貫性：既存の方法はクロスモーダル一貫性のある忘却効果を保証できない可能性がある

関連研究

忘却方法論

  • 勾配上昇法の変種：GA、GA+正則化、NPOなどの方法はLLMsおよびLMMsで一定の効果を示す
  • LMM固有の方法：SIUはマルチモーダルタスクのみに限定され、純粋テキストタスク評価には適用不可

忘却ベンチマーク

  • LLMsベンチマーク：MUSE、TOFUなどが包括的な評価フレームワークを提供
  • LMMsベンチマーク：MLLMU-Benchが基本的だが不十分な評価を提供
  • 本論文の貢献：LMMsで事前学習知識忘却と持続可能性評価を初めて提供

結論と考察

主要な結論

  1. 既存の忘却方法は事前学習知識の処理に効果的でなく、モデルの汎化性が深刻に低下する
  2. 連続的な忘却操作はパフォーマンスの段階的な悪化をもたらし、現在の方法は実際の展開に適さない
  3. マルチモーダルおよび純粋テキストタスク間で忘却効果に不一貫性が存在する

限界

  1. データセット規模：実験で使用されたデータセットは比較的小規模で、大規模応用シナリオを完全に反映できない可能性がある
  2. 方法カバレッジ：3つの主流忘却方法のみを評価し、すべての既存技術を網羅していない
  3. 評価指標：忘却効果を包括的に測定するためにより細粒度の評価指標が必要な可能性がある

今後の方向性

  1. 事前学習知識に特化した忘却方法の開発
  2. 長期持続可能性を維持できる忘却技術の設計
  3. クロスモーダル一貫性のある忘却方法の研究
  4. より精細なパラメータ更新戦略の探索

深層評価

利点

  1. 問題識別の正確性：既存のLMM忘却評価の重要な欠陥を正確に識別
  2. 評価フレームワークの完全性：PULSEプロトコルが重要な評価ギャップを埋める
  3. 実験設計の合理性：実験設定が実際の応用シナリオに近い
  4. 発見の洞察性：事前学習知識忘却と持続可能性の重要な問題を明らかにする
  5. 文章の明確性：論文構造が明確で技術説明が正確

不足

  1. 方法的革新の限定性：主な貢献が評価プロトコルであり、新しい忘却方法ではない
  2. 解決策の欠如：問題を指摘しているが、効果的な解決策を提供していない
  3. 理論的分析の不足：観察された現象に対する理論的説明が比較的簡潔
  4. 実験規模の制限：既存データセットに限定され、実験規模が比較的小規模

影響力

  1. 学術的価値：LMM忘却研究に重要な評価ベンチマークを提供
  2. 実用的価値：明らかにされた問題が実際の応用に重要な指導意義を持つ
  3. 推進作用：より実用的な忘却方法の研究開発を推進する可能性がある
  4. 再現性：実験設定が明確で公開データセットに基づいており、良好な再現性を持つ

適用シナリオ

  1. 研究評価：LMM忘却方法の評価に標準プロトコルを提供
  2. 方法開発：新しい忘却方法の設計に評価ベンチマークを提供
  3. 実際の展開：実際の応用における忘却ニーズのパフォーマンス予測を提供
  4. 政策策定：関連するプライバシー保護政策に技術的参考を提供

参考文献

論文は複数の重要な関連研究を引用しており、以下を含みます：

  • MUSE、TOFUなどのLLM忘却ベンチマーク
  • MLLMU-Benchなどのマルチモーダルモデル忘却ベンチマーク
  • LLaVAなどのマルチモーダルモデル
  • LoRAなどのパラメータ効率的な微調整方法

総合評価：これは高品質な評価研究論文です。方法的革新の面では比較的限定的ですが、問題識別と評価フレームワークの構築の面で重要な貢献をしています。論文が明らかにした事前学習知識忘却の困難さと持続可能性の問題は、この分野の発展に重要な指導意義を持ち、将来の研究に対して重要な方向性を示しています。