LINK: Interazione Adattiva delle Modalità per l'Analisi di Video Audio-Visivi

Informazioni Fondamentali

• ID Articolo: 2412.20872
• Titolo: LINK: Adaptive Modality Interaction for Audio-Visual Video Parsing
• Autori: Langyu Wang, Bingke Zhu, Yingying Chen, Jinqiao Wang
• Classificazione: cs.CV
• Data di Pubblicazione: 31 dicembre 2024 (arXiv v2)
• Link Articolo: https://arxiv.org/abs/2412.20872

Riassunto

Il compito di analisi video audio-visiva (AVVP) si concentra sulla classificazione di video mediante etichette deboli, identificando contemporaneamente se gli eventi sono visibili, udibili o entrambi, insieme ai loro rispettivi confini temporali. Molti metodi esistenti trascurano il problema della frequente mancanza di allineamento tra diverse modalità, introducendo rumore aggiuntivo durante il processo di interazione modale. Questo articolo propone un metodo di interazione per l'apprendimento di conoscenze non allineate (LINK), volto a bilanciare il contributo di diverse modalità regolando dinamicamente gli input delle modalità durante la previsione degli eventi. Inoltre, utilizza le informazioni semantiche degli pseudoetichette come conoscenza a priori per mitigare il rumore delle altre modalità. I risultati sperimentali dimostrano che il modello supera i metodi esistenti sul dataset LLP.

Contesto di Ricerca e Motivazione

Problema Centrale

Il compito di analisi video audio-visiva (AVVP) affronta la sfida principale del problema di non allineamento modale. In scenari reali, gli eventi audio e visivi non sono sempre sincronizzati, e diverse modalità potrebbero non fornire indizi utili per la previsione degli eventi.

Importanza del Problema

1. Sfide pratiche dell'apprendimento multimodale: i metodi tradizionali presuppongono che i segnali visivi e audio siano sincronizzati, ma nella realtà esistono numerosi casi di non allineamento
2. Interferenza del rumore: quando gli eventi audio e visivi non sono allineati, l'interazione modale introduce rumore irrilevante, riducendo l'accuratezza della previsione
3. Esigenze di applicazioni pratiche: l'analisi accurata degli eventi audio-visivi è fondamentale per la comprensione video, l'analisi dei contenuti e altre applicazioni

Limitazioni dei Metodi Esistenti

1. Trascuratezza delle differenze modali: i metodi esistenti non considerano l'impatto differenziato di diverse modalità sulla previsione degli eventi
2. Pesi di interazione fissi: mancanza di meccanismi di regolazione dinamica per bilanciare i contributi modali
3. Utilizzo insufficiente degli pseudoetichette: sfruttamento incompleto delle informazioni semantiche degli pseudoetichette per vincolare le previsioni

Contributi Principali

1. Proposta del framework LINK: progettazione di un metodo per l'apprendimento di interazioni di conoscenze non allineate, capace di bilanciare dinamicamente i contributi di diverse modalità
2. Meccanismo di attenzione spazio-temporale: introduzione del modulo di attenzione spazio-temporale e interazione modale adattiva (TSAM), che migliora la capacità di rappresentazione delle caratteristiche
3. Perdita di somiglianza semantica audio-visiva segmentata: progettazione di una funzione di perdita ponderata basata sulla somiglianza del coseno, ottimizzando l'interazione modale
4. Modulo di interazione semantica degli pseudoetichette: proposta del modulo PLSIM, che integra le informazioni semantiche degli pseudoetichette come conoscenza a priori nelle caratteristiche
5. Performance SOTA: raggiungimento delle prestazioni ottimali sul dataset LLP, con miglioramenti significativi in particolare nella previsione di eventi unimodali

Spiegazione Dettagliata del Metodo

Definizione del Compito

Dato un video di T secondi, dividerlo in T segmenti non sovrapposti $S = \{A_t, V_t\}_{t=1}^T$, dove $A_t$ e $V_t$ rappresentano rispettivamente il segmento audio e visivo al tempo $t$. Per ogni segmento, $y_t^a \in \mathbb{R}^C$, $y_t^v \in \mathbb{R}^C$, $y_t^{av} \in \mathbb{R}^C$ rappresentano rispettivamente le etichette degli eventi audio, visivi e audio-visivi, dove $C$ è il numero di tipi di eventi.

Architettura del Modello

1. Modulo di Attenzione Spazio-Temporale e Interazione Modale Adattiva (TSAM)

Estrazione delle Caratteristiche: utilizzo di encoder CLAP e CLIP pre-addestrati per estrarre caratteristiche audio e visive:

• $F^a = \{f_1^a, ..., f_T^a\} \in \mathbb{R}^{T \times d}$
• $F^v = \{f_1^v, ..., f_T^v\} \in \mathbb{R}^{T \times d}$

Attenzione Temporale: $W_t^m(f_t^m) = \delta(MLP(AvgPool(f_t^m)) + MLP(MaxPool(f_t^m)))$

Attenzione Spaziale: $S_t^m(f_t^m) = \delta((AvgPool(f_t^m)); (MaxPool(f_t^m)))$

Caratteristiche Potenziate dall'Attenzione: $\hat{f}_t^m = S_t^m(W_t^m(f_t^m) \otimes f_t^m) \cdot (W_t^m(f_t^m) \cdot f_t^m)$

Interazione Cross-Modale (basata su AV-Adapter): $\hat{f}_t^{ac} = \hat{f}_t^a + \alpha_2 \cdot Softmax(\hat{f}_t^a \hat{f}_t^v)(\beta_2 \cdot \hat{f}_t^v)$$\hat{f}_t^{vc} = \hat{f}_t^v + \alpha_1 \cdot Softmax(\hat{f}_t^v \hat{f}_t^a)(\beta_1 \cdot \hat{f}_t^a)$

dove $\alpha_1, \alpha_2, \beta_1, \beta_2$ sono parametri apprendibili.

2. Perdita di Somiglianza Semantica Audio-Visiva Segmentata (S-LOSS)

Estensione basata sulla funzione di perdita VALOR: $L_{VALOR} = L_{video} + L_{video}^a + L_{video}^v + L_{label} + \lambda L_{avss}$

L'innovazione chiave è il peso dinamico $\lambda$: