PULSE : Scénarios d'Évaluation Pratiques pour l'Oubli de Grands Modèles Multimodaux

Informations Fondamentales

• ID de l'article : 2507.01271
• Titre : PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
• Auteurs : Tatsuki Kawakami, Kazuki Egashira, Atsuyuki Miyai, Go Irie, Kiyoharu Aizawa (Université de Tokyo)
• Classification : cs.LG cs.AI
• Date de publication/Conférence : 39e Conférence sur les Systèmes de Traitement de l'Information Neuronale (NeurIPS 2025) Atelier
• Lien de l'article : https://arxiv.org/abs/2507.01271

Résumé

Ces dernières années, les techniques d'oubli automatique ont attiré l'attention comme méthode pour résoudre les problèmes de confidentialité et de droits d'auteur dans les grands modèles de langage (LLMs) et les grands modèles multimodaux (LMMs). Bien que plusieurs repères d'oubli aient été établis pour les LLMs, l'exploration de cadres d'évaluation pratiques de l'oubli pour les LMMs reste limitée. Les repères d'oubli existants pour les LMMs ne considèrent que les scénarios d'oubli des connaissances acquises par ajustement fin par une seule opération d'oubli. Cette recherche introduit le protocole PULSE en mettant en avant deux perspectives clés : (i) l'oubli des connaissances préentraînées, pour analyser l'impact des différentes phases d'acquisition de connaissances ; (ii) l'évaluation de la durabilité à long terme, pour faire face aux demandes continues. Les résultats montrent que bien que certaines techniques réussissent à oublier les connaissances acquises par ajustement fin, elles rencontrent des difficultés pour éliminer les informations apprises pendant la phase de préentraînement. De plus, les méthodes efficaces pour oublier les données cibles en masse en une seule opération présentent une dégradation significative des performances lors de l'oubli continu par lots de données.

Contexte de Recherche et Motivation

Définition du Problème

Avec le succès considérable des grands modèles multimodaux dans diverses tâches, leurs données d'entraînement peuvent contenir des informations personnelles et du contenu protégé par des droits d'auteur, soulevant des préoccupations concernant la confidentialité et les violations de propriété intellectuelle. Les techniques d'oubli automatique visent à permettre au modèle « d'oublier » les informations précédemment apprises, tout en maintenant les performances sur d'autres tâches.

Importance du Problème

1. Besoin de protection de la confidentialité : Avec le renforcement des réglementations sur la confidentialité des données, il est nécessaire de disposer de techniques permettant de supprimer des informations personnelles spécifiques des modèles entraînés
2. Protection des droits d'auteur : Nécessité de traiter le contenu protégé par des droits d'auteur qui pourrait être présent dans les données d'entraînement
3. Besoins d'application pratique : Les scénarios réels peuvent nécessiter plusieurs opérations d'oubli continu

Limitations des Méthodes Existantes

1. Portée d'évaluation limitée : Les repères d'oubli existants pour les LMMs (tels que MLLMU-Bench) ne considèrent que l'oubli des connaissances acquises par ajustement fin
2. Hypothèse d'opération unique : Évalue uniquement les opérations d'oubli ponctuelles, ignorant les scénarios de demandes d'oubli continu
3. Absence d'évaluation des connaissances préentraînées : Ne considère pas l'oubli des connaissances acquises pendant la phase de préentraînement

Motivation de la Recherche

Cet article vise à établir un cadre d'évaluation de l'oubli des LMMs plus pratique et complet, comblant les lacunes des méthodes d'évaluation existantes en matière d'oubli des connaissances préentraînées et de durabilité.

Contributions Principales

1. Proposition du protocole PULSE : Conception d'un nouveau protocole pour évaluer (i) l'oubli des connaissances préentraînées et (ii) l'évaluation de la durabilité à long terme dans les LMMs
2. Révélation des difficultés d'oubli des connaissances préentraînées : Le protocole PULSE révèle que les techniques d'oubli existantes sont peu efficaces pour les connaissances acquises pendant la phase de préentraînement
3. Découverte de problèmes de durabilité : Démonstration que les méthodes actuelles présentent une dégradation significative des performances face à plusieurs demandes d'oubli continu
4. Fourniture d'une base d'évaluation pratique : Fournir des perspectives importantes pour la conception future des techniques d'oubli des LMMs

Explication Détaillée de la Méthode

Définition de la Tâche

Soit $D_{unlearn}$ représentant les données à oublier et $D_{retain}$ représentant les données à conserver. L'évaluation des méthodes d'oubli comprend deux aspects :

• Efficacité (Effectiveness) : Performance d'oubli sur la cible $D_{unlearn}$
• Généralité (Generality) : Maintien de la précision sur les données sans rapport $D_{retain}$

Architecture du Protocole PULSE

1. Oubli des Connaissances Acquises par Ajustement Fin (Fine-tuned Knowledge Unlearning)

• Suivre la pratique standard en sélectionnant un sous-ensemble des connaissances acquises par ajustement fin comme $D_{unlearn}$
• Le modèle oublie ce sous-ensemble en une seule opération
• Évaluer l'effet d'oubli et le maintien des performances de généralisation

2. Oubli des Connaissances Préentraînées (Pre-trained Knowledge Unlearning)

• Utiliser les connaissances acquises pendant le préentraînement comme $D_{unlearn}$
• Identifier les individus « connus » du modèle en fonction du comportement réel du modèle
• Plus pratique que l'échantillonnage direct à partir des données de préentraînement, applicable lorsque le corpus de préentraînement n'est pas entièrement public

3. Évaluation de la Durabilité (Long-term Sustainability Evaluation)

• Diviser $D_{unlearn}$ en plusieurs sous-ensembles
• Effectuer des opérations d'oubli continu sur ces sous-ensembles dans l'ordre
• Suivre les changements dans la généralité et l'efficacité du modèle après chaque opération

Points d'Innovation Technique

1. Cadre d'évaluation multidimensionnel : Première considération simultanée du type de source de connaissances et de la durabilité des opérations dans les LMMs
2. Conception orientée vers la praticité : Protocole d'évaluation conçu en fonction des scénarios d'application réels
3. Exigence de cohérence multimodale : Exiger que le modèle ne divulgue pas les informations cibles dans les tâches multimodales et de texte pur

Configuration Expérimentale

Ensembles de Données

Utilisation des ensembles de données publiés publiquement par MLLMU-Bench :

• Chaque individu contient 1 image faciale et 10 paires question-réponse
• 5 tâches multimodales, 5 tâches de texte pur
• Les questions portent sur des informations personnelles détaillées (telles que la profession, le lieu de résidence)

Configuration expérimentale :

• Oubli des connaissances acquises par ajustement fin : 100 individus fictifs, 50 pour $D_{unlearn}$, 50 pour $D_{retain}$
• Oubli des connaissances préentraînées : Sélection de 45 célébrités réelles avec une précision élevée parmi 153, 20 pour $D_{unlearn}$, 25 pour $D_{retain}$
• Évaluation de la durabilité : 50 individus divisés en 5 sous-ensembles, effectuant 5 opérations d'oubli continu

Métriques d'Évaluation

• Métriques d'efficacité : Précision sur $D_{unlearn}$ (plus faible est mieux)
• Métriques de généralité :
  • Précision sur $D_{retain}$ (plus élevée est mieux)
  • Score MMBench (évaluation des capacités multimodales)

Méthodes Comparatives

1. Gradient Ascent (GA) : Utilisation de $D_{unlearn}$ comme données d'oubli, direction de mise à jour des paramètres opposée à la descente de gradient standard
2. GA avec Régularisation KL (GA+KLR) : Ajout d'un terme de pénalité de divergence KL pour maintenir le modèle mis à jour proche du modèle original
3. Optimisation de Préférence Négative (NPO) : Méthode d'ajustement des préférences utilisant les données d'oubli comme exemples négatifs

Détails d'Implémentation

• Modèle de base : LLaVA-v1.5-13B
• Méthode d'ajustement fin : LoRA (Low-Rank Adaptation)
• Mise à jour des paramètres : Utilisation de LoRA dans les processus d'ajustement fin et d'oubli

Résultats Expérimentaux

Résultats Principaux

Performance d'Oubli des Connaissances Préentraînées

• Toutes les méthodes montrent une réduction de la précision sur $D_{unlearn}$, indiquant que l'oubli est efficace dans une certaine mesure
• Découvertes clés :
  • Oubli des connaissances acquises par ajustement fin : Perte de capacité MMBench d'environ 10 % au maximum
  • Oubli des connaissances préentraînées : Perte de capacité MMBench supérieure à 90 %
  • La précision sur $D_{retain}$ diminue également considérablement, indiquant une difficulté à l'oubli sélectif

Résultats de l'Évaluation de la Durabilité

• À mesure que le nombre d'opérations d'oubli augmente, non seulement les performances sur $D_{unlearn}$ diminuent, mais les métriques de généralité se dégradent progressivement
• Après 5 opérations d'oubli, la généralité est presque complètement perdue
• Indique que les méthodes d'oubli courantes actuelles ne peuvent pas maintenir la durabilité dans l'oubli des LMMs

Analyse Approfondie

Différences Modales des Tâches

Lorsque la mise à jour des paramètres inclut la matrice de projection et le modèle de langage :

• Précision des tâches multimodales : 78,0 % → 9,6 %
• Précision des tâches de texte pur : 76,8 % → 35,2 %

Découverte importante : Les tâches de texte pur sont plus résistantes à l'oubli, ce qui suggère que cela « a peut-être seulement rompu l'alignement entre l'image et la connaissance » plutôt que d'oublier véritablement les informations cibles.

Impact de la Stratégie de Mise à Jour des Paramètres

• Mise à jour du LLM uniquement : Baisse significative des performances MMBench
• Mise à jour simultanée de la matrice de projection et du LLM : Baisse légère des performances MMBench
• Hypothèse : Permettre la mise à jour de la matrice de projection facilite l'oubli en rompant l'alignement entre les modalités

Découvertes Expérimentales

1. Les connaissances préentraînées sont plus difficiles à oublier : Peut-être parce que le modèle a appris les relations entre l'individu cible et d'autres entités pendant le préentraînement
2. L'oubli continu conduit à un oubli catastrophique : Les mises à jour d'oubli répétées modifient les paramètres qui sont également essentiels pour les tâches de rétention
3. Incohérence entre les modalités : Les méthodes existantes peuvent ne pas assurer un effet d'oubli cohérent entre les modalités

Travaux Connexes

Méthodologie de l'Oubli

• Variantes de Gradient Ascent : Les méthodes GA, GA+ régularisation, NPO et autres montrent certains effets dans les LLMs et LMMs
• Méthodes spécifiques aux LMMs : SIU est limité aux tâches multimodales, ne convenant pas à l'évaluation des tâches de texte pur

Repères d'Oubli

• Repères des LLMs : MUSE, TOFU et autres fournissent des cadres d'évaluation complets
• Repères des LMMs : MLLMU-Bench fournit une évaluation de base mais insuffisante
• Contribution de cet article : Première fourniture d'oubli des connaissances préentraînées et d'évaluation de la durabilité dans les LMMs

Conclusions et Discussion

Conclusions Principales

1. Les méthodes d'oubli existantes sont peu efficaces pour traiter les connaissances préentraînées, entraînant une dégradation grave de la généralité du modèle
2. Les opérations d'oubli continu entraînent une dégradation progressive des performances, les méthodes actuelles ne convenant pas au déploiement pratique
3. Il existe une incohérence dans les effets d'oubli entre les tâches multimodales et de texte pur

Limitations

1. Taille de l'ensemble de données : L'ensemble de données utilisé dans les expériences est relativement petit, ce qui peut ne pas refléter complètement les scénarios d'application à grande échelle
2. Couverture des méthodes : Seules trois méthodes d'oubli courantes ont été évaluées, ne couvrant pas toutes les techniques existantes
3. Métriques d'évaluation : Des métriques d'évaluation plus granulaires peuvent être nécessaires pour mesurer complètement l'effet d'oubli

Directions Futures

1. Développer des méthodes d'oubli spécialisées pour les connaissances préentraînées
2. Concevoir des techniques d'oubli capable de maintenir la durabilité à long terme
3. Étudier les méthodes d'oubli cohérent entre les modalités
4. Explorer des stratégies de mise à jour des paramètres plus raffinées

Évaluation Approfondie

Points Forts

1. Identification précise du problème : Identification précise des défauts clés de l'évaluation existante de l'oubli des LMMs
2. Cadre d'évaluation complet : Le protocole PULSE comble une lacune d'évaluation importante
3. Conception expérimentale raisonnable : La configuration expérimentale est proche des scénarios d'application réels
4. Découvertes perspicaces : Révèle les problèmes importants de l'oubli des connaissances préentraînées et de la durabilité
5. Écriture claire : La structure de l'article est claire et la description technique est précise

Insuffisances

1. Innovation méthodologique limitée : Les contributions principales résident dans le protocole d'évaluation plutôt que dans les nouvelles méthodes d'oubli
2. Absence de solutions : Identifie les problèmes mais ne fournit pas de solutions efficaces
3. Analyse théorique insuffisante : L'explication théorique des phénomènes observés est relativement simple
4. Limitation de l'échelle expérimentale : Limitée par les ensembles de données existants, l'échelle expérimentale est relativement petite

Impact

1. Valeur académique : Fournit un repère d'évaluation important pour la recherche sur l'oubli des LMMs
2. Valeur pratique : Les problèmes révélés ont une importance significative pour les applications pratiques
3. Effet de promotion : Peut promouvoir le développement de méthodes d'oubli plus pratiques
4. Reproductibilité : La configuration expérimentale est claire, basée sur des ensembles de données publics, avec une bonne reproductibilité

Scénarios Applicables

1. Évaluation de la recherche : Fournir un protocole standard pour l'évaluation des méthodes d'oubli des LMMs
2. Développement de méthodes : Fournir un repère d'évaluation pour la conception de nouvelles méthodes d'oubli
3. Déploiement pratique : Fournir des attentes de performance pour les besoins d'oubli dans les applications réelles
4. Élaboration de politiques : Fournir des références techniques pour les politiques pertinentes de protection de la confidentialité

Références

L'article cite plusieurs travaux connexes importants, notamment :

• Les repères d'oubli des LLMs tels que MUSE et TOFU
• Les repères d'oubli des LMMs tels que MLLMU-Bench
• Les modèles multimodaux tels que LLaVA
• Les méthodes d'ajustement fin efficace en paramètres telles que LoRA

Évaluation Globale : Cet article est un travail d'évaluation de haute qualité qui, bien que relativement limité en innovation méthodologique, apporte des contributions importantes dans l'identification des problèmes et l'établissement d'un cadre d'évaluation. Les problèmes révélés concernant la difficulté d'oubli des connaissances préentraînées et les problèmes de durabilité ont une importance significative pour le développement du domaine, indiquant des directions clés pour les recherches futures.