2025-11-13T00:52:10.146166

MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition

Jon, Jin, Jung et al.

This paper presents our contributions to the Speech Emotion Recognition in Naturalistic Conditions (SERNC) Challenge, where we address categorical emotion recognition and emotional attribute prediction. To handle the complexities of natural speech, including intra- and inter-subject variability, we propose Multi-level Acoustic-Textual Emotion Representation (MATER), a novel hierarchical framework that integrates acoustic and textual features at the word, utterance, and embedding levels. By fusing low-level lexical and acoustic cues with high-level contextualized representations, MATER effectively captures both fine-grained prosodic variations and semantic nuances. Additionally, we introduce an uncertainty-aware ensemble strategy to mitigate annotator inconsistencies, improving robustness in ambiguous emotional expressions. MATER ranks fourth in both tasks with a Macro-F1 of 41.01% and an average CCC of 0.5928, securing second place in valence prediction with an impressive CCC of 0.6941.

academic

MATER: 解釈可能な音声感情認識のための多層音響・テキスト感情表現

基本情報

論文ID: 2506.19887
タイトル: MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition
著者: Hyo Jin Jon, Longbin Jin, Hyuntaek Jung, Hyunseo Kim, Donghun Min, Eun Yi Kim
分類: eess.AS cs.AI cs.SD
発表時期/会議: Interspeech 2025
論文リンク: https://arxiv.org/abs/2506.19887

要約

本論文では、自然条件下の音声感情認識のための多層階層フレームワークであるMATER（Multi-level Acoustic-Textual Emotion Representation）を提案している。本手法は単語レベル、文レベル、埋め込みレベルの3つのレベルで音響特徴とテキスト特徴を統合し、低層の語彙・音響手がかりと高層の文脈化表現を融合することで、細粒度の韻律変化と意味的微妙さを効果的に捉える。さらに、不確実性を考慮したアンサンブル戦略を導入して、アノテータの不一致問題を緩和し、曖昧な感情表現における堅牢性を向上させる。MATERは2つのタスクで第4位にランクされ、Macro-F1は41.01%、平均CCCは0.5928を達成し、感情価値予測では第2位を獲得し、CCCは0.6941に達した。

研究背景と動機

問題定義

自然音声感情認識の複雑性：既存のほとんどのSERデータセットは実世界の感情表現を完全に捉えることができず、通常は演技的または誘発的な録音で構成されており、汎化能力が不足している。
話者内および話者間の変動性：自然音声には個体差と感情表現の複雑性が顕著に存在する。
アノテーション不一致問題：重複、曖昧性、および高度に可変な感情表現により、アノテータの合意が不十分となり、信頼度の差異とカテゴリバイアスが生じる。