PULSE: Praktische Evaluierungsszenarien für das Vergessen großer multimodaler Modelle

Grundinformationen

• Papier-ID: 2507.01271
• Titel: PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
• Autoren: Tatsuki Kawakami, Kazuki Egashira, Atsuyuki Miyai, Go Irie, Kiyoharu Aizawa (Universität Tokio)
• Klassifizierung: cs.LG cs.AI
• Veröffentlichungszeit/Konferenz: 39. Konferenz über neuronale Informationsverarbeitungssysteme (NeurIPS 2025) Workshop
• Papierlink: https://arxiv.org/abs/2507.01271

Zusammenfassung

In letzter Zeit hat sich die Technologie des maschinellen Vergessens als Methode zur Lösung von Datenschutz- und Urheberrechtsproblemen in großen Sprachmodellen (LLMs) und großen multimodalen Modellen (LMMs) etabliert. Während mehrere Vergessen-Benchmarks für LLMs entwickelt wurden, wurde die praktische Evaluierungsrahmen für das Vergessen von LMMs weniger erforscht. Bestehende LMM-Vergessen-Benchmarks berücksichtigen nur Szenarien, in denen durch Feinabstimmung erworbenes Wissen durch eine einzige Vergessen-Operation vergessen wird. Diese Forschung führt das PULSE-Protokoll durch zwei Schlüsselperspektiven ein: (i) Vergessen von Vortrainings-Wissen zur Analyse der Auswirkungen verschiedener Wissensakquisitionsphasen; (ii) Bewertung der langfristigen Nachhaltigkeit zur Bewältigung aufeinanderfolgender Anfragen. Die Ergebnisse zeigen, dass einige Techniken erfolgreich durch Feinabstimmung erworbenes Wissen vergessen können, aber Schwierigkeiten beim Löschen von Informationen haben, die während des Vortrainings gelernt wurden. Darüber hinaus zeigen Methoden, die effektiv Batch-Zieldaten in einer einzigen Operation vergessen, erhebliche Leistungseinbußen beim aufeinanderfolgenden Vergessen von Daten in Batches.

Forschungshintergrund und Motivation

Problemdefinition

Mit dem großen Erfolg großer multimodaler Modelle in verschiedenen Aufgaben können die Trainingsdaten persönliche Informationen und urheberrechtlich geschützte Inhalte enthalten, was Bedenken hinsichtlich Datenschutz und Verletzung von Intellektuellem Eigentum aufwirft. Die Technologie des maschinellen Vergessens zielt darauf ab, dass Modelle zuvor gelernte Informationen "vergessen", während die Leistung bei anderen Aufgaben erhalten bleibt.

Bedeutung des Problems

1. Datenschutzanforderungen: Mit strengeren Datenschutzbestimmungen ist eine Technologie erforderlich, die spezifische persönliche Informationen aus trainierten Modellen löschen kann
2. Urheberrechtsschutz: Notwendigkeit, mit urheberrechtlich geschützten Inhalten in Trainingsdaten umzugehen
3. Praktische Anforderungen: In realen Szenarien können mehrere aufeinanderfolgende Vergessen-Operationen erforderlich sein

Einschränkungen bestehender Methoden

1. Begrenzte Evaluierungsreichweite: Bestehende LMM-Vergessen-Benchmarks (wie MLLMU-Bench) berücksichtigen nur das Vergessen von Feinabstimmungs-Wissen
2. Annahme einer einmaligen Operation: Evaluiert nur einmalige Vergessen-Operationen und ignoriert Szenarien mit aufeinanderfolgenden Vergessen-Anfragen
3. Fehlende Bewertung des Vortrainings-Wissens: Berücksichtigt nicht das Vergessen von Wissen, das in der Vortrainingsphase erworben wurde

Forschungsmotivation

Dieses Papier zielt darauf ab, einen praktischeren und umfassenderen Evaluierungsrahmen für das Vergessen von LMMs zu etablieren und Lücken in bestehenden Evaluierungsmethoden bei der Vergessen von Vortrainings-Wissen und Nachhaltigkeit zu schließen.

Kernbeiträge

1. Vorschlag des PULSE-Protokolls: Entwurf eines neuen Protokolls zur Bewertung von (i) Vergessen von Vortrainings-Wissen und (ii) Bewertung der langfristigen Nachhaltigkeit in LMMs
2. Offenlegung der Schwierigkeiten beim Vergessen von Vortrainings-Wissen: Das PULSE-Protokoll zeigt, dass bestehende Vergessen-Techniken bei Wissen, das während des Vortrainings erworben wurde, schlecht funktionieren
3. Entdeckung von Nachhaltigkeitsproblemen: Nachweis, dass aktuelle Methoden bei mehreren aufeinanderfolgenden Vergessen-Anfragen erhebliche Leistungseinbußen aufweisen
4. Bereitstellung einer praktischen Evaluierungsgrundlage: Wichtige Erkenntnisse für die zukünftige Gestaltung von LMM-Vergessen-Techniken

Methodische Erklärung

Aufgabendefinition

Sei $D_{unlearn}$ die Daten, die vergessen werden sollen, und $D_{retain}$ die Daten, die beibehalten werden sollen. Die Bewertung der Vergessen-Methode umfasst zwei Aspekte:

• Effektivität: Vergessen-Leistung auf dem Ziel $D_{unlearn}$
• Verallgemeinerung: Beibehaltung der Genauigkeit auf nicht verwandten Daten $D_{retain}$

PULSE-Protokoll-Architektur

1. Vergessen von Feinabstimmungs-Wissen (Fine-tuned Knowledge Unlearning)

• Befolgt Standardpraxis durch Auswahl einer Teilmenge des Feinabstimmungs-Wissens als $D_{unlearn}$
• Das Modell vergisst diese Teilmenge in einer einzigen Operation
• Bewertung der Vergessen-Effektivität und Beibehaltung der Verallgemeinerungsleistung

2. Vergessen von Vortrainings-Wissen (Pre-trained Knowledge Unlearning)

• Nimmt Wissen, das während des Vortrainings erworben wurde, als $D_{unlearn}$
• Identifiziert auf Grundlage des tatsächlichen Modellverhaltens Individuen, die das Modell "kennt"
• Praktischer als direkte Stichprobenentnahme aus Vortrainingsdaten, anwendbar, wenn das Vortrainingskorpus nicht vollständig öffentlich ist

3. Bewertung der langfristigen Nachhaltigkeit (Long-term Sustainability Evaluation)

• Teilt $D_{unlearn}$ in mehrere Teilmengen auf
• Führt aufeinanderfolgende Vergessen-Operationen auf diese Teilmengen durch
• Verfolgt Änderungen in Verallgemeinerung und Effektivität des Modells nach jeder Operation

Technische Innovationen

1. Mehrdimensionales Evaluierungsrahmen: Erstmals Berücksichtigung von Wissensquellentyp und Operationsnachhaltigkeit in LMMs
2. Praktisch orientiertes Design: Evaluierungsprotokoll basierend auf realen Anwendungsszenarien
3. Anforderungen zur modalitätsübergreifenden Konsistenz: Erfordert, dass das Modell in multimodalen und reinen Textaufgaben keine Zielinformationen preisgibt

Experimentelle Einrichtung

Datensätze

Verwendung von öffentlich veröffentlichten Datensätzen aus MLLMU-Bench:

• Jedes Individuum enthält 1 Gesichtsbild und 10 Frage-Antwort-Paare
• 5 multimodale Aufgaben, 5 reine Textaufgaben
• Fragen betreffen persönliche Details (z.B. Beruf, Wohnort)

Experimentelle Konfiguration:

• Vergessen von Feinabstimmungs-Wissen: 100 fiktive Individuen, 50 für $D_{unlearn}$, 50 für $D_{retain}$
• Vergessen von Vortrainings-Wissen: 45 Individuen mit hoher Genauigkeit aus 153 echten Prominenten ausgewählt, 20 für $D_{unlearn}$, 25 für $D_{retain}$
• Bewertung der Nachhaltigkeit: 50 Individuen in 5 Teilmengen aufgeteilt, 5 aufeinanderfolgende Vergessen-Operationen durchgeführt

Bewertungsmetriken

• Effektivitätsmetriken: Genauigkeit auf $D_{unlearn}$ (je niedriger desto besser)
• Verallgemeinerungsmetriken:
  • Genauigkeit auf $D_{retain}$ (je höher desto besser)
  • MMBench-Bewertung (Bewertung multimodaler Fähigkeiten)

Vergleichsmethoden

1. Gradient Ascent (GA): Verwendet $D_{unlearn}$ als Vergessen-Daten, Parameteraktualisierungsrichtung entgegengesetzt zur standardmäßigen Gradientenabstieg
2. GA mit KL-Regularisierung (GA+KLR): Fügt KL-Divergenz-Strafterm hinzu, um aktualisiertes Modell nahe am ursprünglichen Modell zu halten
3. Negative Preference Optimization (NPO): Vergessen-Daten als negative Beispiele in Präferenz-Optimierungsmethode

Implementierungsdetails

• Basismodell: LLaVA-v1.5-13B
• Feinabstimmungsmethode: LoRA (Low-Rank Adaptation)
• Parameteraktualisierung: LoRA wird sowohl bei Feinabstimmung als auch bei Vergessen-Prozessen verwendet

Experimentelle Ergebnisse

Hauptergebnisse

Leistung beim Vergessen von Vortrainings-Wissen

• Alle Methoden zeigen reduzierte Genauigkeit auf $D_{unlearn}$, was auf gewisse Effektivität des Vergessens hindeutet
• Schlüsselfunde:
  • Vergessen von Feinabstimmungs-Wissen: MMBench-Fähigkeit verliert maximal etwa 10%
  • Vergessen von Vortrainings-Wissen: MMBench-Fähigkeit verliert über 90%
  • $D_{retain}$-Genauigkeit sinkt auch erheblich, was darauf hindeutet, dass selektives Vergessen schwierig ist

Bewertungsergebnisse der Nachhaltigkeit

• Mit zunehmender Anzahl von Vergessen-Operationen verschlechtert sich nicht nur die $D_{unlearn}$-Leistung, sondern auch die Verallgemeinerungsmetriken
• Nach 5 Vergessen-Operationen ist die Verallgemeinerung praktisch vollständig verloren
• Zeigt, dass aktuelle Mainstream-Vergessen-Methoden keine Nachhaltigkeit beim LMM-Vergessen aufrechterhalten können

Tiefgehende Analyse

Unterschiede zwischen Aufgaben-Modalitäten

Wenn Parameteraktualisierungen Projektionsmatrix und Sprachmodell einschließen:

• Multimodale Aufgaben-Genauigkeit: 78,0% → 9,6%
• Reine Text-Aufgaben-Genauigkeit: 76,8% → 35,2%

Wichtiger Fund: Reine Text-Aufgaben zeigen größere Resistenz gegen Vergessen, möglicherweise nur "Ausrichtung zwischen Bild und Wissen zerstört" statt echtes Vergessen von Zielinformationen.

Auswirkungen der Parameteraktualisierungsstrategie

• Nur LLM aktualisieren: Erheblicher Rückgang der MMBench-Leistung
• Gleichzeitige Aktualisierung von Projektionsmatrix und LLM: Geringer Rückgang der MMBench-Leistung
• Hypothese: Erlaubnis zur Aktualisierung der Projektionsmatrix macht Vergessen durch Zerstörung der Modalitäts-Ausrichtung einfacher

Experimentelle Erkenntnisse

1. Vortrainings-Wissen ist schwerer zu vergessen: Möglicherweise weil das Modell während des Vortrainings Beziehungen zwischen Zielindividuen und anderen Entitäten gelernt hat
2. Aufeinanderfolgendes Vergessen führt zu katastrophalem Vergessen: Wiederholte Vergessen-Aktualisierungen ändern Parameter, die auch für beibehaltene Aufgaben entscheidend sind
3. Modalitäts-Inkonsistenz: Bestehende Methoden können möglicherweise keine konsistente Vergessen-Wirkung über Modalitäten hinweg gewährleisten

Verwandte Arbeiten

Vergessen-Methodologie

• Gradient Ascent-Varianten: GA, GA+Regularisierung, NPO und andere Methoden zeigen gewisse Effektivität in LLMs und LMMs
• LMM-spezifische Methoden: SIU beschränkt sich auf multimodale Aufgaben, nicht anwendbar auf Bewertung reiner Text-Aufgaben

Vergessen-Benchmarks

• LLM-Benchmarks: MUSE, TOFU und andere bieten umfassende Evaluierungsrahmen
• LMM-Benchmarks: MLLMU-Bench bietet grundlegende aber nicht ausreichend umfassende Bewertung
• Beitrag dieses Papiers: Erstmals Vergessen von Vortrainings-Wissen und Nachhaltigkeitsbewertung in LMMs

Schlussfolgerung und Diskussion

Hauptschlussfolgerungen

1. Bestehende Vergessen-Methoden funktionieren schlecht bei der Behandlung von Vortrainings-Wissen und führen zu ernsthaften Verallgemeinerungsverlust
2. Aufeinanderfolgende Vergessen-Operationen führen zu schrittweisem Leistungsabbau; aktuelle Methoden sind für praktische Bereitstellung ungeeignet
3. Multimodale und reine Text-Aufgaben zeigen Inkonsistenzen in der Vergessen-Effektivität

Einschränkungen

1. Datensatzgröße: Verwendete Datensätze sind relativ klein und können möglicherweise großflächige Anwendungsszenarien nicht vollständig widerspiegeln
2. Methodenabdeckung: Nur drei Mainstream-Vergessen-Methoden bewertet, nicht alle bestehenden Techniken abgedeckt
3. Bewertungsmetriken: Möglicherweise sind feiner abgestufte Bewertungsmetriken erforderlich, um Vergessen-Effektivität umfassend zu messen

Zukünftige Richtungen

1. Entwicklung von Vergessen-Methoden speziell für Vortrainings-Wissen
2. Gestaltung von Vergessen-Techniken, die langfristige Nachhaltigkeit aufrechterhalten
3. Erforschung von Methoden für konsistentes modalitätsübergreifendes Vergessen
4. Erkundung feiner abgestufter Parameteraktualisierungsstrategien

Tiefgehende Bewertung

Stärken

1. Genaue Problemidentifikation: Präzise Identifikation von Schlüsselmängeln in bestehenden LMM-Vergessen-Evaluierungen
2. Vollständiger Evaluierungsrahmen: PULSE-Protokoll füllt wichtige Evaluierungslücken
3. Angemessenes Experimentdesign: Experimentelle Einrichtung entspricht realen Anwendungsszenarien
4. Aufschlussreiche Erkenntnisse: Offenlegung wichtiger Probleme beim Vergessen von Vortrainings-Wissen und Nachhaltigkeit
5. Klare Schreibweise: Klare Papierstruktur, genaue technische Beschreibung

Mängel

1. Begrenzte Methoden-Innovation: Hauptbeitrag liegt in Evaluierungsprotokoll statt neuer Vergessen-Methoden
2. Fehlende Lösungen: Zeigt Probleme auf, bietet aber keine effektiven Lösungen
3. Unzureichende theoretische Analyse: Theoretische Erklärung beobachteter Phänomene ist relativ einfach
4. Experimentelle Skalierungsbeschränkungen: Begrenzt durch bestehende Datensätze, relativ kleine Experimentgröße

Auswirkungen

1. Akademischer Wert: Bietet wichtigen Evaluierungs-Benchmark für LMM-Vergessen-Forschung
2. Praktischer Wert: Offenbarte Probleme haben wichtige Leitungsbedeutung für praktische Anwendungen
3. Fördereffekt: Kann Entwicklung praktischerer Vergessen-Methoden fördern
4. Reproduzierbarkeit: Klare experimentelle Einrichtung, basierend auf öffentlichen Datensätzen, gute Reproduzierbarkeit

Anwendungsszenarien

1. Forschungsbewertung: Bietet Standardprotokoll für Bewertung von LMM-Vergessen-Methoden
2. Methodenentwicklung: Bietet Evaluierungs-Benchmark für Gestaltung neuer Vergessen-Methoden
3. Praktische Bereitstellung: Bietet Leistungserwartungen für Vergessen-Anforderungen in praktischen Anwendungen
4. Politikgestaltung: Bietet technische Referenzen für relevante Datenschutzrichtlinien

Literaturverzeichnis

Das Papier zitiert mehrere wichtige verwandte Arbeiten, einschließlich:

• MUSE, TOFU und andere LLM-Vergessen-Benchmarks
• MLLMU-Bench und andere LMM-Vergessen-Benchmarks
• LLaVA und andere multimodale Modelle
• LoRA und andere Parameter-effiziente Feinabstimmungsmethoden

Gesamtbewertung: Dies ist ein hochqualitatives Evaluierungs-Forschungspapier, das zwar in Methoden-Innovation relativ begrenzt ist, aber wichtige Beiträge bei Problemidentifikation und Evaluierungsrahmen-Etablierung leistet. Die vom Papier offenbarten Schwierigkeiten beim Vergessen von Vortrainings-Wissen und Nachhaltigkeitsprobleme haben wichtige Leitungsbedeutung für die Entwicklung dieses Feldes und weisen wichtige Richtungen für zukünftige Forschung auf.