MEGC2025: Micro-Expression Grand Challenge on Spot Then Recognize and Visual Question Answering

Grundinformationen

• Paper-ID: 2506.15298
• Titel: MEGC2025: Micro-Expression Grand Challenge on Spot Then Recognize and Visual Question Answering
• Autoren: Xinqi Fan, Jingting Li, John See, Moi Hoon Yap, Wen-Huang Cheng, Xiaobai Li, Xiaopeng Hong, Su-Jing Wang, Adrian K. Davison
• Klassifizierung: cs.CV cs.MM
• Veröffentlichungszeitpunkt/Konferenz: MM '25, 27.–31. Oktober 2025, Dublin, Irland (ACM International Conference on Multimedia)
• Paper-Link: https://arxiv.org/abs/2506.15298

Zusammenfassung

Gesichtsmikroexpressionen (MEs) sind unwillkürliche Bewegungen, die spontan im Gesicht auftreten, wenn Menschen versuchen, ihre Gesichtsausdrücke zu unterdrücken oder zu kontrollieren, und treten typischerweise in Hochrisikosituationen auf. In den letzten Jahren wurden bedeutende Fortschritte in den Bereichen Mikroexpressionserkennungs-, Lokalisierungs- und Generierungstechniken erzielt. Allerdings sind traditionelle Ansätze, die Lokalisierung und Erkennung als separate Aufgaben behandeln, nicht optimal, besonders bei der Analyse von Langzeitvideos in realen Umgebungen. Gleichzeitig bieten multimodale große Sprachmodelle (MLLMs) und große Vision-Language-Modelle (LVLMs) durch ihre starken multimodalen Reasoning-Fähigkeiten neue vielversprechende Wege zur Verbesserung der Mikroexpressionsanalyse. MEGC 2025 führt zwei Aufgaben ein, die diese Forschungstrends widerspiegeln: (1) Mikroexpression Spot-Then-Recognize (ME-STR), das Mikroexpressionslokalisierung und nachfolgende Erkennung in einer einheitlichen sequenziellen Pipeline integriert; (2) Mikroexpression Visual Question Answering (ME-VQA), das Mikroexpressionsverständnis durch visuelles Frage-Beantworten erforscht und MLLMs oder LVLMs zur Verarbeitung verschiedener Fragetypen im Zusammenhang mit Mikroexpressionen nutzt.

Forschungshintergrund und Motivation

Problemdefinition

Die Kernprobleme, die dieser Artikel adressiert, sind die Einschränkungen traditioneller Mikroexpressionsanalysemethoden:

1. Suboptimalität der Aufgabentrennung: Traditionelle Methoden behandeln Mikroexpressionslokalisierung (Spotting) und Erkennung (Recognition) als unabhängige Aufgaben, was in praktischen Anwendungen nicht praktikabel ist
2. Schlechte Anpassung an reale Szenarien: Bestehende Methoden können Mikroexpressionen in Langzeitvideos nicht effektiv analysieren
3. Mangel an multimodalen Reasoning-Fähigkeiten: Traditionelle Methoden nutzen die Reasoning-Fähigkeiten neuer multimodaler Großmodelle nicht vollständig

Forschungsbedeutung

Die Mikroexpressionsanalyse hat in folgenden Szenarien wichtige Anwendungswerte:

• Überwachung in Hochrisikosituationen: wie Sicherheitsprüfungen, gerichtliche Befragungen usw.
• Psychische Gesundheitsbewertung: Erkennung des echten emotionalen Zustands von Versuchspersonen
• Optimierung der Mensch-Computer-Interaktion: Verbesserung der Fähigkeit von KI-Systemen, menschliche Emotionen zu verstehen

Einschränkungen bestehender Methoden

1. ME-Erkennungsaufgabe: Setzt voraus, dass Mikroexpressionssequenzen bereits lokalisiert wurden, was in der Praxis selten der Fall ist
2. ME-Lokalisierungsaufgabe: Kann nur den Ort des Auftretens von Mikroexpressionen identifizieren, bietet aber keine aussagekräftige Interpretation des emotionalen Inhalts
3. Mangel an End-to-End-Lösungen: Das Design separater Aufgaben führt zu suboptimaler Gesamtleistung

Kernbeiträge

1. Vorschlag des ME-STR-Aufgabenparadigmas: Integration von Mikroexpressionslokalisierung und Erkennung in eine einheitliche sequenzielle Pipeline, die praktischen Anforderungen besser entspricht
2. Einführung der neuen ME-VQA-Aufgabe: Erstmalige Anwendung des Visual-Question-Answering-Paradigmas auf die Mikroexpressionsanalyse unter Nutzung der Reasoning-Fähigkeiten multimodaler Großmodelle
3. Aufbau einer umfassenden Evaluierungsplattform: Bereitstellung standardisierter Testsets und Bewertungsmetriken zur Förderung der Entwicklung des Feldes
4. Etablierung von Baseline-Methoden: Bereitstellung von Baseline-Methoden für beide Aufgaben als Grundlage für zukünftige Forschung

Methodische Details

Aufgabe 1: ME-STR (Micro-Expression Spot-Then-Recognize)

Aufgabendefinition

Die ME-STR-Aufgabe erfordert in langen Videosequenzen:

1. Erste Phase: Lokalisierung des Zeitraums, in dem Mikroexpressionen auftreten
2. Zweite Phase: Emotionale Klassifizierung der korrekt lokalisierten Mikroexpressionsfragmente

Nur Samples, die in der ersten Phase korrekt lokalisiert wurden, werden an die zweite Phase zur emotionalen Erkennung weitergeleitet.

Baseline-Methode: MEAN-Netzwerk

Verwendung eines Mikroexpressionsanalysenetzes (MEAN) als Baseline:

• Einheitliche Architektur: End-to-End-Neuronalnetzwerk mit gemeinsamen Schichten und zwei spezialisierten Branches
• Lokalisierungs-Branch: Regressions-Branch, der für jeden Frame einen Konfidenzwert ausgibt, der die Wahrscheinlichkeit eines Mikroexpressionsintervalls anzeigt
• Erkennungs-Branch: Vorhersage der Emotionskategorie für vom Lokalisierungs-Branch identifizierte Kandidatenintervalle

Bewertungsmetriken

Lokalisierungsphase: TP, FP, FN, Präzision, Recall, F1-Score Erkennungsphase: TP, FP, FN, Präzision, Recall, F1, UF1, UAR Gesamtbewertung: STRS = F1-score_s × F1-score_a

Aufgabe 2: ME-VQA (Micro-Expression Visual Question Answering)

Aufgabendefinition

Gegeben eine Mikroexpressionsvideosequenz und eine Frage in natürlicher Sprache muss das Modell eine Antwort in natürlicher Sprache generieren, die die beobachteten Mikroexpressionen und ihre Attribute beschreibt.

Fragetypen umfassen:

• Binäre Klassifizierungsfragen: wie „Zeigt das Gesicht eine Lippenwinkel-Abwärts-Aktionseinheit?"
• Mehrklassen-Klassifizierungsfragen: wie „Was ist die Ausdruckskategorie?"
• Zusammengesetzte Fragen: wie „Welche Aktionseinheiten sind vorhanden, und basierend auf diesen Einheiten, was ist die Ausdruckskategorie?"

Baseline-Methode: Qwen2.5VL-3B

Verwendung von Qwen2.5VL-3B als Baseline:

• Modellarchitektur: Umfasst visuellen Encoder, Language-Model-Backbone und Cross-Modal-Fusionsmodul
• Trainingstrategie: Zwei Einstellungen – Zero-Shot (ZS) und Fine-Tuning (FT)
• Eingabetypen:
  1. Gleichmäßig abgetastete Videoframes
  2. Start-Apex-End-Frames (OAO)
  3. Optischer Fluss zwischen Start- und Apex-Frames (OF)

Bewertungsmetriken

Emotionale Klassifizierung: UF1 und UAR für grobe und feine Emotionsgranularität

• Grobe Granularität: Positiv, Negativ, Überraschung
• Feine Granularität: Freude, Überraschung, Angst, Ekel, Wut, Traurigkeit

Textqualität: BLEU- und ROUGE-1-Scores zur Bewertung der Qualität des generierten Textes

Experimentelle Einrichtung

Datensätze

Trainingsdaten

Empfohlene Datensätze:

• SAMM-LV, CAS(ME)³, 4DME, CAS(ME)², SMIC-E-long

Testdaten

ME-STR-Testset: 30 Langvideos

• SAMM Challenge-Datensatz: 10 Videos (200fps)
• CAS(ME)³: 20 Videofragmente (30fps)

ME-VQA-Testset: 24 Mikroexpressionsfragmente

• SAMM Challenge-Datensatz: 7 Fragmente (200fps)
• CAS(ME)³: 17 Fragmente (30fps)

Implementierungsdetails

• ME-STR: Verwendung des MEAN-Netzwerks trainiert auf CAS(ME)²
• ME-VQA: Verwendung von LoRA für parametereffizientes Fine-Tuning von Qwen2.5VL-3B

Experimentelle Ergebnisse

ME-STR-Aufgabenergebnisse

Baseline-Ergebnisse

Baseline-Ergebnisse mit dem MEAN-Netzwerk zeigen:

• SAMM-Datensatz: STRS = 0,0062
• CAS(ME)³-Datensatz: STRS = 0,0086

Die Ergebnisse zeigen, dass die Lokalisierungsphase der Hauptengpass ist, wobei hohe FP- und FN-Raten zu niedriger Gesamtleistung führen.

Challenge-Ergebnisse

47 registrierte Teilnehmer, 8 Teams reichten Ergebnisse ein:

ME-VQA-Aufgabenergebnisse

Baseline-Ergebnisse

Leistung von Qwen2.5VL-3B bei verschiedenen Eingabetypen:

• OAO- und OF-Eingaben: Bessere Leistung bei der Ausdruckserkennung
• Videoeingaben: Bessere Leistung bei BLEU- und ROUGE-1-Metriken
• Fine-Tuning vs. Zero-Shot: Fine-Tuning zeigt Verbesserungen bei den meisten Metriken, aber mit begrenztem Anstieg

Challenge-Ergebnisse

28 Teilnehmer, 10 Teams reichten Ergebnisse ein:

Verwandte Arbeiten

Historischer Überblick über MEGC

Dieser Artikel ist die 8. MEGC-Challenge, mit folgenden Schwerpunkten in vorherigen Ausgaben:

• FG'18: Mikroexpressionserkennungs
• FG'19: Lokalisierung und Erkennung
• FG'20: Mikroexpressionslokalisierung
• MM'21-MM'23: Lokalisierung und Generierung
• MM'24: Spot-Then-Recognize-Paradigma und kulturübergreifende Lokalisierung

Technologische Entwicklungstrends

1. Von Trennung zu Einheit: Entwicklung von unabhängigen Lokalisierungs- und Erkennungsaufgaben hin zu einheitlichen Frameworks
2. Multimodale Fusion: Nutzung der multimodalen Reasoning-Fähigkeiten von MLLMs und LVLMs
3. Praktische Orientierung: Stärkerer Fokus auf Anforderungen in realen Anwendungsszenarien

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. ME-STR-Aufgabe ist hochgradig herausfordernd: Der beste STRS-Wert eines Teams beträgt nur 0,09, was zeigt, dass das Feld weitere Innovationen benötigt
2. ME-VQA zeigt Potenzial: Die beste durchschnittliche Punktzahl eines Teams beträgt 0,575, was die Effektivität multimodaler Methoden demonstriert
3. Lokalisierung ist der kritische Engpass: Die niedrige Leistung von ME-STR stammt hauptsächlich aus Schwierigkeiten in der Lokalisierungsphase

Einschränkungen

1. Begrenzte Testset-Größe: Das ME-VQA-Testset ist relativ klein und könnte die Bewertung der Generalisierungsfähigkeit beeinflussen
2. Einzelne Bewertungsmetriken: Möglicherweise sind mehrdimensionale Bewertungsstandards erforderlich
3. Unzureichend validierte Cross-Domain-Generalisierung: Die Domain-Adaptationsfähigkeit zwischen verschiedenen Datensätzen erfordert weitere Forschung

Zukünftige Richtungen

1. Erweiterung der Testset-Größe: Konstruktion größerer und vielfältigerer Testdatensätze
2. Verbesserung von Lokalisierungsalgorithmen: Fokus auf die Überwindung technischer Engpässe bei der Mikroexpressionslokalisierung
3. Optimierung multimodaler Methoden: Weitere Erforschung der Anwendung von MLLMs in der Mikroexpressionsanalyse

Tiefgreifende Bewertung

Stärken

1. Innovative Aufgabengestaltung: ME-STR-Aufgabe entspricht praktischen Anwendungen besser, ME-VQA führt ein neues Forschungsparadigma ein
2. Umfassendes Evaluierungssystem: Bereitstellung standardisierter Datensätze, Bewertungsmetriken und Baseline-Methoden
3. Technische Vorausschau: Zeitnahe Einführung multimodaler Großmodelle, Erfassung von Technologietrends
4. Strenge Experimentgestaltung: Detaillierte Baseline-Experimente und Challenge-Ergebnisanalyse

Mängel

1. Begrenzte theoretische Beiträge: Hauptsächlich Challenge-Organisation, mangelnde tiefgreifende theoretische Analyse
2. Unzureichende Methodische Innovation: Baseline-Methoden sind relativ einfach, keine bahnbrechenden Techniken vorgeschlagen
3. Einschränkungen der Datensatzgröße: Relativ kleine Testsets könnten die Allgemeingültigkeit der Schlussfolgerungen beeinflussen
4. Oberflächliche Cross-Modal-Fusion: Die multimodale Fusion in der ME-VQA-Aufgabe erfordert weitere Vertiefung

Einflussfähigkeit

1. Förderung des Feldes: Als autoritative Challenge kann sie die Entwicklung des Mikroexpressionsanalysefels effektiv fördern
2. Standardisierungsbeitrag: Etablierung von Evaluierungsstandards für neue Aufgaben und Bereitstellung von Benchmarks für nachfolgende Forschung
3. Technologischer Transformationswert: ME-STR-Aufgabe entspricht praktischen Anwendungsanforderungen besser
4. Akademischer Einfluss: Einführung multimodaler Methoden eröffnet neue Richtungen für das Feld

Anwendungsszenarien

1. Sicherheitsüberwachung: Emotionale Überwachung in Hochrisikosituationen wie Flughäfen und Zollbehörden
2. Psychische Gesundheitsbewertung: Emotionale Zustandsanalyse in der klinisch-psychologischen Forschung
3. Mensch-Computer-Interaktion: Verbesserung der emotionalen Verständnisfähigkeiten intelligenter Systeme
4. Gerichtliche Anwendungen: Unterstützung bei der Beurteilung der Authentizität von Aussagen

Literaturverzeichnis

Der Artikel zitiert 24 verwandte Arbeiten, hauptsächlich einschließlich:

• Arbeiten zur Konstruktion von Mikroexpressionsdatensätzen (SAMM, CASME II, CAS(ME)³ usw.)
• Papiere vorheriger MEGC-Challenges
• Arbeiten zu multimodalen Großmodellen (Qwen2.5VL usw.)
• Literatur zu Bewertungsmetriken (BLEU, ROUGE usw.)

Gesamtbewertung: Dies ist ein hochqualitatives Challenge-Organisationspapier, das durch die Einführung von zwei innovativen Aufgaben – ME-STR und ME-VQA – die Entwicklung des Mikroexpressionsanalysefels effektiv fördert. Der Hauptwert des Papiers liegt in der Etablierung neuer Evaluierungsstandards und Forschungsparadigmen. Obwohl die theoretischen Beiträge relativ begrenzt sind, hat es wichtige Orientierungsbedeutung für die Felderentwicklung.