MEGC2025: Micro-Expression Grand Challenge on Spot Then Recognize and Visual Question Answering

Informazioni Fondamentali

• ID Articolo: 2506.15298
• Titolo: MEGC2025: Micro-Expression Grand Challenge on Spot Then Recognize and Visual Question Answering
• Autori: Xinqi Fan, Jingting Li, John See, Moi Hoon Yap, Wen-Huang Cheng, Xiaobai Li, Xiaopeng Hong, Su-Jing Wang, Adrian K. Davison
• Classificazione: cs.CV cs.MM
• Data di Pubblicazione/Conferenza: MM '25, 27–31 ottobre 2025, Dublino, Irlanda (ACM International Conference on Multimedia)
• Link Articolo: https://arxiv.org/abs/2506.15298

Abstract

Le microespressioni facciali (ME) sono movimenti involontari che compaiono spontaneamente sul volto quando le persone tentano di sopprimere o reprimere le espressioni facciali, generalmente osservate in ambienti ad alto rischio. Negli ultimi anni, sono stati compiuti progressi significativi nel riconoscimento, localizzazione e generazione di microespressioni. Tuttavia, gli approcci tradizionali che considerano la localizzazione e il riconoscimento come compiti separati non sono ottimali, in particolare quando si analizzano video di lunga durata in ambienti reali. Contemporaneamente, l'emergere di modelli linguistici multimodali di grandi dimensioni (MLLMs) e modelli visione-linguaggio di grandi dimensioni (LVLMs) offre nuove e promettenti vie per migliorare l'analisi delle microespressioni attraverso le loro potenti capacità di ragionamento multimodale. MEGC 2025 introduce due compiti che riflettono questi orientamenti di ricerca: (1) Microespressione Spot-Then-Recognize (ME-STR), che integra la localizzazione e il riconoscimento successivo delle microespressioni in una pipeline sequenziale unificata; (2) Microespressione Visual Question Answering (ME-VQA), che esplora la comprensione delle microespressioni attraverso il visual question answering, sfruttando MLLMs o LVLMs per elaborare vari tipi di domande relative alle microespressioni.

Contesto di Ricerca e Motivazione

Definizione del Problema

I problemi fondamentali affrontati da questo articolo sono le limitazioni dei metodi tradizionali di analisi delle microespressioni:

1. Subottimalità della separazione dei compiti: Gli approcci tradizionali considerano la localizzazione (spotting) e il riconoscimento (recognition) delle microespressioni come compiti indipendenti, il che non è pratico nelle applicazioni reali
2. Scarsa adattabilità ai scenari pratici: I metodi esistenti hanno difficoltà a gestire efficacemente l'analisi delle microespressioni in video di lunga durata
3. Mancanza di capacità di ragionamento multimodale: I metodi tradizionali non sfruttano adeguatamente le capacità di ragionamento dei nuovi modelli multimodali di grandi dimensioni

Importanza della Ricerca

L'analisi delle microespressioni ha un valore significativo nei seguenti scenari:

• Monitoraggio in ambienti ad alto rischio: Come controlli di sicurezza, interrogatori giudiziari, ecc.
• Valutazione della salute mentale: Rilevamento dello stato emotivo autentico dei soggetti
• Ottimizzazione dell'interazione uomo-macchina: Miglioramento della capacità dei sistemi AI di comprendere le emozioni umane

Limitazioni dei Metodi Esistenti

1. Compito di riconoscimento ME: Presuppone che le sequenze di microespressioni siano già state localizzate, il che raramente accade nella pratica
2. Compito di localizzazione ME: Può solo identificare la posizione in cui si verificano le microespressioni, senza fornire interpretazioni significative del contenuto emotivo
3. Mancanza di soluzioni end-to-end: La progettazione di compiti separati porta a prestazioni complessive subottimali

Contributi Principali

1. Proposizione del paradigma di compito ME-STR: Integra la localizzazione e il riconoscimento delle microespressioni in una pipeline sequenziale unificata, più conforme alle esigenze delle applicazioni pratiche
2. Introduzione del nuovo compito ME-VQA: Applica per la prima volta il paradigma del visual question answering all'analisi delle microespressioni, sfruttando le capacità di ragionamento dei modelli multimodali di grandi dimensioni
3. Costruzione di una piattaforma di valutazione completa: Fornisce set di test standardizzati e metriche di valutazione per promuovere lo sviluppo del settore
4. Stabilimento di metodi di riferimento: Fornisce metodi baseline per entrambi i compiti, gettando le basi per la ricerca successiva

Spiegazione Dettagliata dei Metodi

Compito 1: ME-STR (Micro-Expression Spot-Then-Recognize)

Definizione del Compito

Il compito ME-STR richiede in sequenze video lunghe:

1. Prima fase: Localizzazione dei segmenti temporali in cui si verificano le microespressioni
2. Seconda fase: Classificazione emotiva dei segmenti di microespressione correttamente localizzati

Solo i campioni correttamente localizzati nella prima fase vengono trasmessi alla seconda fase per il riconoscimento emotivo.

Metodo di Riferimento: Rete MEAN

Utilizza la rete di analisi delle microespressioni (MEAN) come baseline:

• Architettura unificata: Rete neurale end-to-end con strati condivisi e due rami specializzati
• Ramo di localizzazione: Ramo di regressione che produce punteggi di confidenza per ogni frame, indicando la probabilità di intervalli di microespressione
• Ramo di riconoscimento: Predice la categoria emotiva per gli intervalli candidati identificati dal ramo di localizzazione

Metriche di Valutazione

Fase di localizzazione: TP, FP, FN, precisione, richiamo, punteggio F1 Fase di riconoscimento: TP, FP, FN, precisione, richiamo, F1, UF1, UAR Valutazione integrata: STRS = F1-score_s × F1-score_a

Compito 2: ME-VQA (Micro-Expression Visual Question Answering)

Definizione del Compito

Dato una sequenza video di microespressioni e una domanda in linguaggio naturale, il modello deve generare una risposta in linguaggio naturale che descriva le microespressioni osservate e i loro attributi.

I tipi di domande includono:

• Domande binarie: Come "Il volto mostra un'azione di depressione dell'angolo labiale?"
• Domande multiclasse: Come "Qual è la categoria di espressione?"
• Domande composte: Come "Quali unità di azione sono presenti e, sulla base di queste unità, qual è la categoria di espressione?"

Metodo di Riferimento: Qwen2.5VL-3B

Utilizza Qwen2.5VL-3B come baseline:

• Architettura del modello: Include codificatore visivo, backbone del modello linguistico e modulo di fusione cross-modale
• Strategia di addestramento: Due impostazioni, zero-shot (ZS) e fine-tuning (FT)
• Tipi di input:
  1. Frame video campionati a intervalli regolari
  2. Frame di inizio-vertice-fine (OAO)
  3. Flusso ottico tra frame di inizio e vertice (OF)

Metriche di Valutazione

Classificazione emotiva: UF1 e UAR per emozioni a granularità grossa e fine

• Granularità grossa: positivo, negativo, sorpreso
• Granularità fine: felice, sorpreso, paura, disgusto, rabbia, tristezza

Qualità del testo: Punteggi BLEU e ROUGE-1 per valutare la qualità del testo generato

Configurazione Sperimentale

Dataset

Dati di Addestramento

Si consiglia di utilizzare i seguenti dataset:

• SAMM-LV, CAS(ME)³, 4DME, CAS(ME)², SMIC-E-long

Dati di Test

Set di test ME-STR: 30 video lunghi

• Dataset SAMM Challenge: 10 video (200fps)
• CAS(ME)³: 20 segmenti video (30fps)

Set di test ME-VQA: 24 segmenti di microespressione

• Dataset SAMM Challenge: 7 segmenti (200fps)
• CAS(ME)³: 17 segmenti (30fps)

Dettagli di Implementazione

• ME-STR: Utilizzo della rete MEAN addestrata su CAS(ME)²
• ME-VQA: Fine-tuning efficiente in termini di parametri di Qwen2.5VL-3B utilizzando LoRA

Risultati Sperimentali

Risultati del Compito ME-STR

Risultati di Riferimento

I risultati di baseline utilizzando la rete MEAN mostrano:

• Dataset SAMM: STRS = 0.0062
• Dataset CAS(ME)³: STRS = 0.0086

I risultati indicano che la fase di localizzazione è il principale collo di bottiglia, con alti FP e FN che portano a prestazioni complessive inferiori.

Risultati della Competizione

47 partecipanti registrati, 8 team hanno presentato risultati:

Risultati del Compito ME-VQA

Risultati di Riferimento

Prestazioni di Qwen2.5VL-3B con diversi tipi di input:

• Input OAO e OF: Prestazioni migliori nel riconoscimento delle espressioni
• Input video: Prestazioni migliori nelle metriche BLEU e ROUGE-1
• Fine-tuning vs zero-shot: Il fine-tuning mostra miglioramenti nella maggior parte delle metriche, ma i miglioramenti sono limitati

Risultati della Competizione

28 partecipanti, 10 team hanno presentato risultati:

Lavori Correlati

Revisione Storica di MEGC

Questo articolo è l'ottava edizione della competizione MEGC, con i seguenti focus delle edizioni precedenti:

• FG'18: Riconoscimento di microespressioni
• FG'19: Localizzazione e riconoscimento
• FG'20: Localizzazione di microespressioni
• MM'21-MM'23: Localizzazione e generazione
• MM'24: Paradigma spot-then-recognize e localizzazione transculturale

Tendenze dello Sviluppo Tecnologico

1. Dalla separazione all'unificazione: Evoluzione dai compiti indipendenti di localizzazione e riconoscimento verso framework unificati
2. Fusione multimodale: Sfruttamento delle capacità di ragionamento multimodale di MLLMs e LVLMs
3. Orientamento alla praticità: Maggiore attenzione alle esigenze degli scenari di applicazione reale

Conclusioni e Discussione

Conclusioni Principali

1. Elevata sfida del compito ME-STR: Lo STRS del miglior team è solo 0.09, indicando che questo campo richiede ulteriori innovazioni
2. ME-VQA mostra potenziale: Il punteggio medio del miglior team è 0.575, dimostrando l'efficacia dei metodi multimodali
3. La localizzazione è il collo di bottiglia critico: Le basse prestazioni di ME-STR derivano principalmente dalle difficoltà nella fase di localizzazione

Limitazioni

1. Dimensione limitata del set di test: Il set di test ME-VQA è relativamente piccolo, il che potrebbe influire sulla valutazione della capacità di generalizzazione
2. Metriche di valutazione singolari: Potrebbero essere necessari standard di valutazione più multidimensionali
3. Verifica insufficiente della generalizzazione cross-domain: La capacità di adattamento del dominio tra diversi dataset richiede ulteriori ricerche

Direzioni Future

1. Espansione della dimensione del set di test: Costruzione di dataset di test più grandi e diversificati
2. Miglioramento degli algoritmi di localizzazione: Superamento del collo di bottiglia tecnologico nella localizzazione delle microespressioni
3. Ottimizzazione dei metodi multimodali: Ulteriore esplorazione dell'applicazione di MLLMs nell'analisi delle microespressioni

Valutazione Approfondita

Punti di Forza

1. Innovazione nella progettazione dei compiti: Il compito ME-STR è più vicino alle applicazioni pratiche, ME-VQA introduce un nuovo paradigma di ricerca
2. Sistema di valutazione completo: Fornisce dataset standardizzati, metriche di valutazione e metodi di riferimento
3. Preveggenza tecnologica: Introduzione tempestiva di modelli multimodali di grandi dimensioni, cogliendo le tendenze dello sviluppo tecnologico
4. Progettazione sperimentale rigorosa: Analisi dettagliata degli esperimenti di baseline e dei risultati della competizione

Insufficienze

1. Contributi teorici limitati: Principalmente organizzazione di competizioni, mancanza di analisi teorica approfondita
2. Innovazione metodologica insufficiente: I metodi baseline sono relativamente semplici, senza proporre tecnologie rivoluzionarie
3. Limitazioni della dimensione del dataset: La dimensione del set di test è relativamente piccola, il che potrebbe influire sulla generalità delle conclusioni
4. Fusione cross-modale superficiale: La fusione multimodale del compito ME-VQA richiede ulteriori approfondimenti

Impatto

1. Effetto di promozione del settore: Come competizione autorevole, può promuovere efficacemente lo sviluppo del campo dell'analisi delle microespressioni
2. Contributo alla standardizzazione: Stabilisce standard di valutazione per i nuovi compiti, fornendo benchmark per la ricerca successiva
3. Valore di trasferimento tecnologico: Il compito ME-STR è più vicino alle esigenze delle applicazioni pratiche
4. Impatto accademico: L'introduzione di metodi multimodali apre nuove direzioni per questo campo

Scenari di Applicazione

1. Sorveglianza di sicurezza: Monitoraggio emotivo in ambienti ad alto rischio come aeroporti e dogane
2. Valutazione psicologica: Analisi dello stato emotivo nella ricerca psicologica clinica
3. Interazione uomo-macchina: Miglioramento della capacità di comprensione emotiva dei sistemi intelligenti
4. Applicazioni giudiziarie: Assistenza nel giudizio dell'autenticità della testimonianza

Bibliografia

L'articolo cita 24 articoli correlati, principalmente includenti:

• Lavori correlati alla costruzione di dataset di microespressioni (SAMM, CASME II, CAS(ME)³, ecc.)
• Articoli delle competizioni MEGC precedenti
• Lavori correlati ai modelli linguistici multimodali di grandi dimensioni (Qwen2.5VL, ecc.)
• Letteratura correlata alle metriche di valutazione (BLEU, ROUGE, ecc.)

Valutazione Complessiva: Questo è un articolo di alta qualità sull'organizzazione di competizioni che promuove efficacemente lo sviluppo del campo dell'analisi delle microespressioni introducendo due compiti innovativi, ME-STR e ME-VQA. Il valore principale dell'articolo risiede nell'istituzione di nuovi standard di valutazione e paradigmi di ricerca. Sebbene i contributi teorici siano relativamente limitati, l'articolo ha un significato guida importante per lo sviluppo del settore.