PULSE: Scenari di Valutazione Pratica per l'Apprendimento Selettivo di Modelli Multimodali di Grandi Dimensioni

Informazioni Fondamentali

• ID Articolo: 2507.01271
• Titolo: PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
• Autori: Tatsuki Kawakami, Kazuki Egashira, Atsuyuki Miyai, Go Irie, Kiyoharu Aizawa (Università di Tokyo)
• Classificazione: cs.LG cs.AI
• Data di Pubblicazione/Conferenza: 39ª Conferenza sui Sistemi di Elaborazione dell'Informazione Neurale (NeurIPS 2025) Workshop
• Link Articolo: https://arxiv.org/abs/2507.01271

Riassunto

Negli ultimi anni, le tecniche di apprendimento selettivo hanno attirato l'attenzione come metodo per affrontare problemi di privacy e diritti d'autore nei modelli linguistici di grandi dimensioni (LLM) e nei modelli multimodali di grandi dimensioni (LMM). Sebbene siano stati stabiliti molteplici benchmark di apprendimento selettivo per gli LLM, l'esplorazione di quadri di valutazione pratica dell'apprendimento selettivo per gli LMM è stata limitata. I benchmark di apprendimento selettivo degli LMM esistenti considerano solo scenari di dimenticanza della conoscenza acquisita tramite fine-tuning attraverso una singola operazione di apprendimento selettivo. Questo studio introduce il protocollo PULSE affrontando due prospettive chiave: (i) apprendimento selettivo della conoscenza preaddestrata, per analizzare l'impatto di diverse fasi di acquisizione della conoscenza; (ii) valutazione della sostenibilità a lungo termine, per affrontare richieste continue. I risultati mostrano che, sebbene alcune tecniche riescano a dimenticare con successo la conoscenza acquisita tramite fine-tuning, incontrano difficoltà nell'eliminazione delle informazioni apprese durante il preaddestramento. Inoltre, i metodi efficaci nel dimenticare dati target in batch in una singola operazione mostrano un significativo calo di prestazioni quando si dimentica continuamente in batch di dati.

Contesto di Ricerca e Motivazione

Definizione del Problema

Con il grande successo dei modelli multimodali di grandi dimensioni in vari compiti, i dati di addestramento potrebbero contenere informazioni personali e contenuti protetti da copyright, sollevando preoccupazioni sulla privacy e sulla violazione della proprietà intellettuale. Le tecniche di apprendimento selettivo mirano a far "dimenticare" al modello le informazioni precedentemente apprese, mantenendo al contempo le prestazioni su altri compiti.

Importanza del Problema

1. Esigenze di Protezione della Privacy: Con il rafforzamento dei regolamenti sulla privacy dei dati, è necessaria la tecnologia per rimuovere informazioni personali specifiche dai modelli già addestrati
2. Protezione del Copyright: È necessario affrontare i contenuti protetti da copyright che potrebbero essere inclusi nei dati di addestramento
3. Esigenze di Applicazione Pratica: Gli scenari reali potrebbero richiedere operazioni di apprendimento selettivo multiple e continue

Limitazioni dei Metodi Esistenti

1. Ambito di Valutazione Limitato: I benchmark di apprendimento selettivo degli LMM esistenti (come MLLMU-Bench) considerano solo la dimenticanza della conoscenza acquisita tramite fine-tuning
2. Assunzione di Operazione Singola: Valutano solo operazioni di apprendimento selettivo una tantum, trascurando scenari di richieste di dimenticanza continue
3. Mancanza di Valutazione della Conoscenza Preaddestrata: Non considerano la dimenticanza della conoscenza acquisita durante la fase di preaddestramento

Motivazione della Ricerca

Questo articolo mira a stabilire un quadro di valutazione dell'apprendimento selettivo degli LMM più pratico e completo, colmando le lacune nei metodi di valutazione esistenti riguardanti la dimenticanza della conoscenza preaddestrata e la sostenibilità.

Contributi Principali

1. Proposta del Protocollo PULSE: Progettazione di un nuovo protocollo per valutare (i) l'apprendimento selettivo della conoscenza preaddestrata e (ii) la valutazione della sostenibilità a lungo termine negli LMM
2. Rivelazione delle Difficoltà di Apprendimento Selettivo della Conoscenza Preaddestrata: Attraverso il protocollo PULSE, scoperta che le tecniche di apprendimento selettivo esistenti hanno prestazioni scadenti quando mirate alla conoscenza acquisita durante il preaddestramento
3. Scoperta di Problemi di Sostenibilità: Dimostrazione che i metodi attuali mostrano un significativo calo di prestazioni di fronte a molteplici richieste di apprendimento selettivo continue
4. Fornitura di Base di Valutazione Pratica: Fornitura di intuizioni importanti per la progettazione futura della tecnologia di apprendimento selettivo degli LMM

Spiegazione Dettagliata del Metodo

Definizione del Compito

Sia $D_{unlearn}$ rappresenti i dati da dimenticare e $D_{retain}$ rappresenti i dati da conservare. La valutazione dei metodi di apprendimento selettivo comprende due aspetti:

• Efficacia (Effectiveness): Prestazioni di apprendimento selettivo su $D_{unlearn}$
• Generalità (Generality): Mantenimento dell'accuratezza su dati non correlati $D_{retain}$

Architettura del Protocollo PULSE

1. Apprendimento Selettivo della Conoscenza Acquisita tramite Fine-tuning (Fine-tuned Knowledge Unlearning)

• Seguire la pratica standard, selezionando un sottoinsieme della conoscenza acquisita tramite fine-tuning come $D_{unlearn}$
• Il modello dimentica questo sottoinsieme in una singola operazione
• Valutazione dell'efficacia dell'apprendimento selettivo e del mantenimento delle prestazioni di generalizzazione

2. Apprendimento Selettivo della Conoscenza Preaddestrata (Pre-trained Knowledge Unlearning)

• Utilizzo della conoscenza acquisita durante il preaddestramento come $D_{unlearn}$
• Identificazione degli individui "noti" dal modello sulla base del comportamento effettivo del modello
• Più pratico rispetto al campionamento diretto dai dati di preaddestramento, applicabile quando il corpus di preaddestramento non è completamente pubblico

3. Valutazione della Sostenibilità a Lungo Termine (Long-term Sustainability Evaluation)

• Divisione di $D_{unlearn}$ in molteplici sottoinsiemi
• Esecuzione sequenziale di operazioni di apprendimento selettivo continue su questi sottoinsiemi
• Tracciamento dei cambiamenti nella generalizzazione e nell'efficacia del modello dopo ogni operazione

Punti di Innovazione Tecnica

1. Quadro di Valutazione Multidimensionale: Prima considerazione simultanea del tipo di fonte di conoscenza e della sostenibilità operativa negli LMM
2. Progettazione Orientata alla Praticità: Progettazione del protocollo di valutazione sulla base di scenari di applicazione reale
3. Requisiti di Coerenza Multimodale: Requisito che il modello non divulghi informazioni target sia in compiti multimodali che in compiti di testo puro

Configurazione Sperimentale

Dataset

Utilizzo del dataset pubblicato pubblicamente da MLLMU-Bench:

• Ogni individuo contiene 1 immagine facciale e 10 coppie di domande e risposte
• 5 compiti multimodali, 5 compiti di testo puro
• Le domande riguardano informazioni personali dettagliate (come professione, luogo di residenza)

Configurazione Sperimentale:

• Apprendimento Selettivo della Conoscenza Acquisita tramite Fine-tuning: 100 individui fittizi, 50 per $D_{unlearn}$, 50 per $D_{retain}$
• Apprendimento Selettivo della Conoscenza Preaddestrata: Selezione di 45 individui ad alta accuratezza da 153 celebrità reali, 20 per $D_{unlearn}$, 25 per $D_{retain}$
• Valutazione della Sostenibilità: 50 individui divisi in 5 sottoinsiemi, con 5 operazioni di apprendimento selettivo continue

Metriche di Valutazione

• Metriche di Efficacia: Accuratezza su $D_{unlearn}$ (più bassa è meglio)
• Metriche di Generalità:
  • Accuratezza su $D_{retain}$ (più alta è meglio)
  • Punteggio MMBench (valutazione della capacità multimodale)

Metodi di Confronto

1. Gradient Ascent (GA): Utilizzo di $D_{unlearn}$ come dati di apprendimento selettivo, con direzione di aggiornamento dei parametri opposta alla discesa del gradiente standard
2. GA with KL Regularization (GA+KLR): Aggiunta di termine di penalità della divergenza KL, mantenimento del modello aggiornato vicino al modello originale
3. Negative Preference Optimization (NPO): Metodo di ottimizzazione delle preferenze che tratta i dati di apprendimento selettivo come esempi negativi

Dettagli di Implementazione

• Modello di Base: LLaVA-v1.5-13B
• Metodo di Fine-tuning: LoRA (Low-Rank Adaptation)
• Aggiornamento dei Parametri: Utilizzo di LoRA sia nel processo di fine-tuning che di apprendimento selettivo

Risultati Sperimentali

Risultati Principali

Prestazioni di Apprendimento Selettivo della Conoscenza Preaddestrata

• L'accuratezza di tutti i metodi su $D_{unlearn}$ diminuisce, indicando che l'apprendimento selettivo è efficace in una certa misura
• Scoperte Chiave:
  • Apprendimento selettivo della conoscenza acquisita tramite fine-tuning: perdita massima di capacità MMBench di circa il 10%
  • Apprendimento selettivo della conoscenza preaddestrata: perdita di capacità MMBench superiore al 90%
  • L'accuratezza su $D_{retain}$ diminuisce significativamente, indicando difficoltà nell'apprendimento selettivo selettivo

Risultati della Valutazione della Sostenibilità

• Con l'aumento del numero di operazioni di apprendimento selettivo, non solo le prestazioni su $D_{unlearn}$ diminuiscono, ma anche gli indicatori di generalità si deteriorano gradualmente
• Dopo 5 operazioni di apprendimento selettivo, la generalità è praticamente completamente persa
• Indica che i metodi di apprendimento selettivo mainstream attuali non possono mantenere la sostenibilità nell'apprendimento selettivo degli LMM

Analisi Approfondita

Differenze Modali dei Compiti

Quando l'aggiornamento dei parametri include la matrice di proiezione e il modello linguistico:

• Accuratezza dei compiti multimodali: 78,0% → 9,6%
• Accuratezza dei compiti di testo puro: 76,8% → 35,2%

Scoperta Importante: I compiti di testo puro mostrano maggiore resistenza all'apprendimento selettivo, possibilmente solo "danneggiando l'allineamento tra immagine e conoscenza" piuttosto che dimenticando veramente le informazioni target.

Impatto della Strategia di Aggiornamento dei Parametri

• Aggiornamento Solo del LLM: Significativa diminuzione delle prestazioni di MMBench
• Aggiornamento Simultaneo della Matrice di Proiezione e del LLM: Lieve diminuzione delle prestazioni di MMBench
• Ipotesi: Consentire l'aggiornamento della matrice di proiezione rende l'apprendimento selettivo più facile danneggiando l'allineamento tra modalità

Scoperte Sperimentali

1. La Conoscenza Preaddestrata è Più Difficile da Dimenticare: Probabilmente perché durante il preaddestramento il modello ha appreso le relazioni tra l'individuo target e altre entità
2. L'Apprendimento Selettivo Continuo Causa Dimenticanza Catastrofica: Gli aggiornamenti ripetuti di apprendimento selettivo hanno modificato parametri critici anche per i compiti di conservazione
3. Incoerenza Tra Modalità: I metodi esistenti potrebbero non garantire effetti di apprendimento selettivo coerenti tra le modalità

Lavori Correlati

Metodologia dell'Apprendimento Selettivo

• Varianti di Gradient Ascent: Metodi come GA, GA con regolarizzazione, NPO mostrano effetti certi negli LLM e negli LMM
• Metodi Specifici degli LMM: SIU è limitato ai compiti multimodali, non applicabile alla valutazione dei compiti di testo puro

Benchmark di Apprendimento Selettivo

• Benchmark degli LLM: MUSE, TOFU e altri forniscono quadri di valutazione completi
• Benchmark degli LMM: MLLMU-Bench fornisce valutazione di base ma non sufficientemente completa
• Contributo di questo Articolo: Prima fornitura di valutazione dell'apprendimento selettivo della conoscenza preaddestrata e della sostenibilità negli LMM

Conclusioni e Discussione

Conclusioni Principali

1. I metodi di apprendimento selettivo esistenti hanno prestazioni scadenti nel trattamento della conoscenza preaddestrata, causando un grave calo della generalità del modello
2. Le operazioni di apprendimento selettivo continue causano un deterioramento graduale delle prestazioni; i metodi attuali non sono adatti per la distribuzione pratica
3. Esiste incoerenza negli effetti di apprendimento selettivo tra compiti multimodali e compiti di testo puro

Limitazioni

1. Scala del Dataset: Il dataset utilizzato negli esperimenti è relativamente piccolo e potrebbe non riflettere completamente scenari di applicazione su larga scala
2. Copertura dei Metodi: Sono stati valutati solo tre metodi di apprendimento selettivo mainstream, non coprendo tutte le tecniche esistenti
3. Metriche di Valutazione: Potrebbero essere necessarie metriche di valutazione più granulari per misurare completamente l'efficacia dell'apprendimento selettivo

Direzioni Future

1. Sviluppo di metodi di apprendimento selettivo specificamente mirati alla conoscenza preaddestrata
2. Progettazione di tecniche di apprendimento selettivo in grado di mantenere la sostenibilità a lungo termine
3. Ricerca di metodi per l'apprendimento selettivo coerente tra modalità
4. Esplorazione di strategie di aggiornamento dei parametri più raffinate

Valutazione Approfondita

Punti di Forza

1. Identificazione Accurata del Problema: Identificazione accurata dei difetti chiave nella valutazione dell'apprendimento selettivo degli LMM esistente
2. Quadro di Valutazione Completo: Il protocollo PULSE colma importanti lacune di valutazione
3. Progettazione Sperimentale Ragionevole: La configurazione sperimentale è vicina a scenari di applicazione pratica
4. Scoperte Perspicaci: Rivelazione di importanti problemi di apprendimento selettivo della conoscenza preaddestrata e sostenibilità
5. Scrittura Chiara: La struttura dell'articolo è chiara e la descrizione tecnica è accurata

Insufficienze

1. Innovazione Metodologica Limitata: I contributi principali risiedono nel protocollo di valutazione piuttosto che nei nuovi metodi di apprendimento selettivo
2. Mancanza di Soluzioni: Identificazione dei problemi ma mancanza di soluzioni efficaci
3. Analisi Teorica Insufficiente: Le spiegazioni teoriche dei fenomeni osservati sono relativamente semplici
4. Limitazioni della Scala Sperimentale: Limitata dai dataset esistenti, la scala sperimentale è relativamente piccola

Impatto

1. Valore Accademico: Fornitura di un importante benchmark di valutazione per la ricerca sull'apprendimento selettivo degli LMM
2. Valore Pratico: Le problematiche rivelate hanno importanza significativa per le applicazioni pratiche
3. Effetto Propulsivo: Potrebbe promuovere lo sviluppo di metodi di apprendimento selettivo più pratici
4. Riproducibilità: La configurazione sperimentale è chiara, basata su dataset pubblici, con buona riproducibilità

Scenari Applicabili

1. Valutazione della Ricerca: Fornitura di protocolli standard per la valutazione dei metodi di apprendimento selettivo degli LMM
2. Sviluppo di Metodi: Fornitura di benchmark di valutazione per la progettazione di nuovi metodi di apprendimento selettivo
3. Distribuzione Pratica: Fornitura di aspettative di prestazioni per le esigenze di apprendimento selettivo nelle applicazioni pratiche
4. Formulazione di Politiche: Fornitura di riferimenti tecnici per le politiche di protezione della privacy correlate

Bibliografia

L'articolo cita molteplici lavori correlati importanti, inclusi:

• Benchmark di apprendimento selettivo degli LLM come MUSE, TOFU
• Benchmark di apprendimento selettivo degli LMM come MLLMU-Bench
• Modelli multimodali come LLaVA
• Metodi di fine-tuning efficienti in termini di parametri come LoRA

Valutazione Complessiva: Questo è un articolo di ricerca di valutazione di alta qualità che, sebbene relativamente limitato nell'innovazione metodologica, ha apportato importanti contributi nell'identificazione dei problemi e nella costruzione di quadri di valutazione. Le problematiche rivelate riguardanti le difficoltà di apprendimento selettivo della conoscenza preaddestrata e i problemi di sostenibilità hanno importanza significativa per lo sviluppo del campo e indicano direzioni chiave per la ricerca futura.