2025-11-13T00:52:10.146166

MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition

Jon, Jin, Jung et al.
This paper presents our contributions to the Speech Emotion Recognition in Naturalistic Conditions (SERNC) Challenge, where we address categorical emotion recognition and emotional attribute prediction. To handle the complexities of natural speech, including intra- and inter-subject variability, we propose Multi-level Acoustic-Textual Emotion Representation (MATER), a novel hierarchical framework that integrates acoustic and textual features at the word, utterance, and embedding levels. By fusing low-level lexical and acoustic cues with high-level contextualized representations, MATER effectively captures both fine-grained prosodic variations and semantic nuances. Additionally, we introduce an uncertainty-aware ensemble strategy to mitigate annotator inconsistencies, improving robustness in ambiguous emotional expressions. MATER ranks fourth in both tasks with a Macro-F1 of 41.01% and an average CCC of 0.5928, securing second place in valence prediction with an impressive CCC of 0.6941.
academic

MATER: ব্যাখ্যাযোগ্য বাক্য আবেগ স্বীকৃতির জন্য বহু-স্তরীয় শব্দ এবং পাঠ্য আবেগ প্রতিনিধিত্ব

মৌলিক তথ্য

  • পেপার আইডি: 2506.19887
  • শিরোনাম: MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition
  • লেখক: Hyo Jin Jon, Longbin Jin, Hyuntaek Jung, Hyunseo Kim, Donghun Min, Eun Yi Kim
  • শ্রেণীবিভাগ: eess.AS cs.AI cs.SD
  • প্রকাশনা সময়/সম্মেলন: Interspeech 2025
  • পেপার লিংক: https://arxiv.org/abs/2506.19887

সারসংক্ষেপ

এই পেপারটি MATER (Multi-level Acoustic-Textual Emotion Representation) প্রস্তাব করে, যা প্রাকৃতিক পরিস্থিতিতে বাক্য আবেগ স্বীকৃতির জন্য একটি বহু-স্তরীয় শ্রেণিবদ্ধ কাঠামো। এই পদ্ধতিটি শব্দ-স্তর, বাক্য-স্তর এবং এমবেডিং-স্তরে শব্দ এবং পাঠ্য বৈশিষ্ট্যগুলি একীভূত করে, নিম্ন-স্তরের শব্দভাণ্ডার এবং শব্দ সংকেতগুলিকে উচ্চ-স্তরের প্রসঙ্গ প্রতিনিধিত্বের সাথে মিশ্রিত করে সূক্ষ্ম-দানাদার সুর পরিবর্তন এবং শব্দার্থিক সূক্ষ্মতা কার্যকরভাবে ক্যাপচার করে। অতিরিক্তভাবে, অনিশ্চয়তা-সচেতন সমন্বয় কৌশল প্রবর্তন করা হয়েছে যা টীকাকারকারী অসামঞ্জস্যতা সমস্যা প্রশমিত করে এবং অস্পষ্ট আবেগ প্রকাশে দৃঢ়তা উন্নত করে। MATER উভয় কাজে চতুর্থ স্থান অর্জন করেছে, Macro-F1 41.01% এ পৌঁছেছে, গড় CCC 0.5928, এবং আবেগ মূল্য পূর্বাভাসে দ্বিতীয় স্থান অর্জন করেছে, CCC 0.6941 এ।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

  1. প্রাকৃতিক বাক্য আবেগ স্বীকৃতির জটিলতা: বর্তমান বেশিরভাগ SER ডেটাসেট বাস্তব-বিশ্বের আবেগ প্রকাশ সম্পূর্ণভাবে ক্যাপচার করতে পারে না, সাধারণত অভিনীত বা প্ররোচিত রেকর্ডিং নিয়ে গঠিত, সাধারণীকরণ ক্ষমতার অভাব।
  2. বক্তা-অভ্যন্তরীণ এবং বক্তা-মধ্যে পরিবর্তনশীলতা: প্রাকৃতিক বাক্যে উল্লেখযোগ্য ব্যক্তিগত পার্থক্য এবং আবেগ প্রকাশের জটিলতা বিদ্যমান।
  3. টীকা অসামঞ্জস্যতা সমস্যা: ওভারল্যাপিং, অস্পষ্ট এবং অত্যন্ত পরিবর্তনশীল আবেগ প্রকাশ টীকাকারকারী সম্মতি অপর্যাপ্ত করে, আস্থা পার্থক্য এবং শ্রেণী পক্ষপাত প্রবর্তন করে।

গবেষণার গুরুত্ব

আবেগ মানব অভিজ্ঞতার ভিত্তি, সিদ্ধান্ত গ্রহণ, যোগাযোগ এবং মানসিক স্বাস্থ্যকে প্রভাবিত করে। বাক্য সবচেয়ে সাধারণ যোগাযোগ ফর্ম হিসাবে, বক্তা পরিচয়, আবেগ অবস্থা এবং ভাষাগত জোর সহ সমৃদ্ধ আবেগ সংকেত বহন করে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  • বেশিরভাগ ডেটাসেটে সীমিত সংখ্যক অংশগ্রহণকারী রয়েছে, যা বৈচিত্র্যময় বাস্তব পরিস্থিতিতে সাধারণীকরণ ক্ষমতা হ্রাস করে
  • বহু-স্তরীয় বৈশিষ্ট্যগুলির কার্যকর একীকরণের অভাব
  • টীকা অসামঞ্জস্যতা দ্বারা সৃষ্ট পক্ষপাত কার্যকরভাবে পরিচালনা করতে ব্যর্থ

মূল অবদান

  1. MATER কাঠামো প্রস্তাব: একটি উপন্যাস শ্রেণিবদ্ধ কাঠামো যা শব্দ-স্তর, বাক্য-স্তর এবং এমবেডিং-স্তরে শব্দ এবং পাঠ্য বৈশিষ্ট্যগুলি একীভূত করে
  2. বহু-স্তরীয় বৈশিষ্ট্য সংমিশ্রণ: নিম্ন-স্তরের বাক্যতাত্ত্বিক এবং সুর সংকেত থেকে উচ্চ-স্তরের প্রসঙ্গ প্রতিনিধিত্ব পর্যন্ত আবেগ পদ্ধতিগতভাবে মডেল করা
  3. অনিশ্চয়তা-সচেতন সমন্বয় কৌশল: সর্বনিম্ন অনিশ্চয়তা সহ আবেগ পূর্বাভাস নির্বাচন করে দৃঢ়তা উন্নত করা, টীকা পক্ষপাত প্রশমিত করা
  4. SERNC চ্যালেঞ্জে উৎকর্ষ অর্জন: উভয় কাজে চতুর্থ স্থান, আবেগ মূল্য পূর্বাভাসে দ্বিতীয় স্থান

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

গবেষণা দুটি কাজ লক্ষ্য করে:

  1. কাজ 1: শ্রেণী আবেগ স্বীকৃতি: বাক্য ক্লিপগুলিকে 8টি আবেগ শ্রেণীতে শ্রেণীবদ্ধ করা (ক্রোধ, অবজ্ঞা, বিতৃষ্ণা, ভয়, আনন্দ, নিরপেক্ষ, দুঃখ, অবাক)
  2. কাজ 2: আবেগ বৈশিষ্ট্য পূর্বাভাস: তিনটি আবেগ মাত্রায় 7-পয়েন্ট লিকার্ট স্কেল রেটিং (জাগরণ, আধিপত্য, আবেগ মূল্য)

মডেল স্থাপত্য

বৈশিষ্ট্য নিষ্কাশন

MATER তিনটি ভিন্ন স্তরে শব্দ এবং পাঠ্য বৈশিষ্ট্য নিষ্কাশন করে:

শব্দ-স্তর বৈশিষ্ট্য (Word-level):

  • বাক্যতাত্ত্বিক বৈশিষ্ট্য: BERTweet ব্যাকরণ বিশ্লেষক ব্যবহার করে ভাষাগত প্যাটার্ন নিষ্কাশন, সর্বনাম ব্যাকরণগত ব্যক্তি তথ্য সহ, 20-মাত্রীয় বাক্যতাত্ত্বিক বৈশিষ্ট্য ভেক্টর গঠন
  • সুর বৈশিষ্ট্য: openSMILE লাইব্রেরি ব্যবহার করে 22-মাত্রীয় বৈশিষ্ট্য ভেক্টর নিষ্কাশন, জোরালতা, কম্পন, মাইক্রো-কম্পন, α অনুপাত এবং ঘোলাটে/স্পষ্ট খণ্ড পরিসংখ্যান অন্তর্ভুক্ত
  • সংযোগের মাধ্যমে বাক্যতাত্ত্বিক-সচেতন সুর প্রতিনিধিত্ব গঠন

বাক্য-স্তর বৈশিষ্ট্য (Utterance-level):

  • আবেগ বৈশিষ্ট্য: SEANCE বৈশিষ্ট্য সেট থেকে উদ্ভূত, 517-মাত্রীয় প্রতিনিধিত্ব উৎপাদন, সম্পূর্ণ প্রতিলিপির আবেগ প্রবণতা ক্যাপচার
  • ছন্দ বৈশিষ্ট্য: বাক্যের প্রবাহিততা, তীব্রতা এবং সূক্ষ্মতা বিশ্লেষণ, জোরালতা, কম্পন, মাইক্রো-কম্পন, সুরেলা শব্দ অনুপাত (HNR), বিরাম এবং ঘোলাটে/স্পষ্ট পরিসংখ্যান অন্তর্ভুক্ত, 34-মাত্রীয় বৈশিষ্ট্য ভেক্টর গঠন

এমবেডিং-স্তর বৈশিষ্ট্য (Embedding-level):

  • অডিও এনকোডার: WavLM এবং HuBERT সমৃদ্ধ ফোনেম এবং সুর তথ্য ক্যাপচার
  • পাঠ্য এনকোডার: BERT এবং T5 শব্দার্থিক তথ্য প্রতিনিধিত্ব প্রদান
  • MSP-Podcast কর্পাসে পোস্ট-প্রশিক্ষণ ডোমেইন অভিযোজন উন্নত করতে

বৈশিষ্ট্য সমন্বয়

  • শব্দ-স্তর: দুই-স্তরীয় LSTM মাধ্যমে প্রক্রিয়াকরণ, চূড়ান্ত লুকানো অবস্থা শব্দ-স্তর এমবেডিং হিসাবে
  • বাক্য-স্তর: প্রথমে বিভাজিত রৈখিক এমবেডিং (PLE) স্তর মাধ্যমে, তারপর রৈখিক স্তর মাধ্যমে নির্দিষ্ট মাত্রা প্রতিনিধিত্ব উৎপাদন
  • এমবেডিং-স্তর: একাধিক এমবেডিং উৎস ব্যবহার করার সময়, Perceiver স্থাপত্য ব্যবহার করে সংমিশ্রণ; অন্যথায় সরাসরি পুল বৈশিষ্ট্য ব্যবহার
  • চূড়ান্ত সংমিশ্রণ: সংযুক্ত বহু-স্তরীয় এমবেডিং পূর্বাভাসের জন্য রৈখিক স্তরে ইনপুট

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. বহু-স্তরীয় বৈশিষ্ট্য মডেলিং: সূক্ষ্ম-দানাদার বাক্যতাত্ত্বিক সুর সংকেত থেকে উচ্চ-স্তরের শব্দার্থিক প্রতিনিধিত্ব পর্যন্ত সম্পূর্ণ আবেগ তথ্য পদ্ধতিগতভাবে ক্যাপচার
  2. বাক্যতাত্ত্বিক-সচেতন সুর প্রতিনিধিত্ব: ভাষা কাঠামো এবং সুরের মিথস্ক্রিয়া মডেল করা, যা আবেগ প্রকাশে মূল ভূমিকা পালন করে
  3. ডোমেইন অভিযোজন কৌশল: লক্ষ্য ডেটাসেটে প্রশিক্ষিত এনকোডারে পোস্ট-প্রশিক্ষণ
  4. অনিশ্চয়তা-সচেতন সমন্বয়: পূর্বাভাস সম্ভাবনা র‍্যাঙ্কিং দ্বারা জ্ঞানীয় অনিশ্চয়তা অনুমান, উচ্চ আস্থা পূর্বাভাস অগ্রাধিকার

পরীক্ষামূলক সেটআপ

ডেটাসেট

MSP-Podcast কর্পাস ব্যবহার:

  • প্রশিক্ষণ সেট: 84,260 নমুনা, 2,112 বক্তা থেকে
  • উন্নয়ন সেট: 31,961 নমুনা, 714 বক্তা থেকে
  • পরীক্ষা সেট: 3,200 ভারসাম্যপূর্ণ নমুনা, 8টি আবেগ শ্রেণী জুড়ে
  • Whisper-large-v3 ব্যবহার করে প্রতিলিপি এবং বাধ্যতামূলক সারিবদ্ধতা উৎপাদন

মূল্যায়ন মেট্রিক্স

  • কাজ 1: Macro-F1 এবং নির্ভুলতা
  • কাজ 2: সামঞ্জস্য সম্পর্ক সহগ (CCC)

তুলনামূলক পদ্ধতি

  • WavLM ভিত্তিরেখা পদ্ধতি
  • বিভিন্ন বৈশিষ্ট্য সমন্বয়ের অপসারণ পরীক্ষা
  • বিভিন্ন সমন্বয় কৌশল তুলনা

বাস্তবায়ন বিবরণ

  • শব্দ-স্তর এবং বাক্য-স্তর বৈশিষ্ট্য 128-মাত্রীয় ভেক্টরে প্রজেক্ট
  • Perceiver 768-মাত্রীয় আউটপুট উৎপাদন, 64×768 সুপ্ত অ্যারে ব্যবহার
  • কাজ-নির্দিষ্ট ক্ষতি ফাংশন: কাজ 1 ওজনযুক্ত ক্রস-এন্ট্রপি ব্যবহার, কাজ 2 CCC ক্ষতি ব্যবহার
  • 50 epoch প্রশিক্ষণ, শেখার হার 1×10^-5 থেকে 5×10^-7, ব্যাচ আকার 128-2048

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

কাজ 1 (শ্রেণী আবেগ স্বীকৃতি):

  • চূড়ান্ত জমা ফলাফল: Macro-F1 = 41.01%, নির্ভুলতা = 40.97%
  • WavLM ভিত্তিরেখা (32.93% Macro-F1) এর তুলনায় উল্লেখযোগ্য উন্নতি
  • SERNC চ্যালেঞ্জে চতুর্থ স্থান

কাজ 2 (আবেগ বৈশিষ্ট্য পূর্বাভাস):

  • গড় CCC = 0.5928
  • আবেগ মূল্য পূর্বাভাস CCC = 0.6941 (দ্বিতীয় স্থান)
  • জাগরণ CCC = 0.6119
  • আধিপত্য CCC = 0.4775

অপসারণ পরীক্ষা

  1. বৈশিষ্ট্য স্তর অবদান: শব্দ-স্তর বৈশিষ্ট্য বাক্য-স্তর বৈশিষ্ট্যের চেয়ে বেশি অবদান রাখে, বাক্যতাত্ত্বিক-সচেতন সুর শ্রেণী আবেগ স্বীকৃতির জন্য আরও তথ্যপূর্ণ নির্দেশ করে
  2. নরম লেবেল প্রভাব: সূক্ষ্ম-সুর মডেলে কার্যকর, কিন্তু MATER-এ সীমান্ত লাভ সীমিত
  3. সমন্বয় কৌশল তুলনা: অনিশ্চয়তা-সচেতন সমন্বয় গড় এবং বহুসংখ্যক ভোটের চেয়ে উন্নত

পরীক্ষামূলক অনুসন্ধান

চ্যালেঞ্জ-পরবর্তী বিশ্লেষণ:

  • শব্দ বৈশিষ্ট্য উভয় কাজে পাঠ্য বৈশিষ্ট্যের চেয়ে উন্নত
  • বিভিন্ন কাজের জন্য সর্বোত্তম এনকোডার ভিন্ন, কাজ-নির্দিষ্ট এনকোডার নির্বাচনের প্রয়োজনীয়তা জোর দেয়
  • MATER-এ বহুমোডাল সংমিশ্রণ শব্দ-স্তর এবং বাক্য-স্তরে কর্মক্ষমতা বৃদ্ধি করে
  • আবেগ মূল্য আরও পাঠ্য-নির্ভর, যখন জাগরণ এবং আধিপত্য আরও শব্দ-নির্ভর

সম্পর্কিত কাজ

প্রধান গবেষণা দিকনির্দেশনা

  1. ঐতিহ্যবাহী SER পদ্ধতি: প্রধানত অভিনীত বা প্ররোচিত ডেটাসেট ব্যবহার
  2. প্রাকৃতিক বাক্য SER: MSP-Podcast ইত্যাদি ডেটাসেটের উপস্থিতি
  3. বহুমোডাল আবেগ স্বীকৃতি: শব্দ এবং পাঠ্য বৈশিষ্ট্যের সংমিশ্রণ
  4. অনিশ্চয়তা পরিচালনা: টীকা অসামঞ্জস্যতা পরিচালনার পদ্ধতি

এই পেপারের সুবিধা

  • বহু-স্তরীয় বৈশিষ্ট্য মডেলিং পদ্ধতিগত
  • উপন্যাস অনিশ্চয়তা-সচেতন সমন্বয় কৌশল
  • বড় আকারের প্রাকৃতিক বাক্য ডেটাসেটে যাচাইকরণ

উপসংহার এবং আলোচনা

প্রধান উপসংহার

MATER বহু-স্তরীয় বৈশিষ্ট্য সংমিশ্রণ এবং অনিশ্চয়তা-সচেতন সমন্বয়ের মাধ্যমে প্রাকৃতিক পরিস্থিতিতে বাক্য আবেগ স্বীকৃতির কর্মক্ষমতা কার্যকরভাবে উন্নত করে, বিশেষত আবেগ মূল্য পূর্বাভাসে উৎকর্ষ।

সীমাবদ্ধতা

  1. জাগরণ এবং আধিপত্য পূর্বাভাস: এখনও চ্যালেঞ্জ বিদ্যমান, সম্ভবত পাঠ্য-ভিত্তিক সংমিশ্রণ কৌশল শব্দ পরিবর্তন সম্পূর্ণভাবে ব্যবহার করতে ব্যর্থ
  2. গণনামূলক জটিলতা: বহু-স্তরীয় বৈশিষ্ট্য নিষ্কাশন এবং Perceiver স্থাপত্য গণনামূলক ওভারহেড বৃদ্ধি করে
  3. ডোমেইন অভিযোজন: প্রধানত পডকাস্ট ডেটায় যাচাইকৃত, অন্যান্য ডোমেইনে সাধারণীকরণ ক্ষমতা যাচাই করা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

  1. আবেগ-নির্দিষ্ট বৈশিষ্ট্য নির্বাচন: বিভিন্ন আবেগ মাত্রার জন্য অভিযোজিত বৈশিষ্ট্য ওজন গ্রহণ
  2. গতিশীল সংমিশ্রণ কৌশল: অডিও-পাঠ্য একীকরণের ভারসাম্য গতিশীল সংমিশ্রণ
  3. বৈচিত্র্যময় ডেটাসেটে সম্প্রসারণ: বিভিন্ন SER ডেটাসেটে MATER কর্মক্ষমতা যাচাই

গভীর মূল্যায়ন

সুবিধা

  1. পদ্ধতি উদ্ভাবনশীলতা: বহু-স্তরীয় বৈশিষ্ট্য মডেলিং এবং অনিশ্চয়তা-সচেতন সমন্বয় উপন্যাস
  2. পদ্ধতিগত ডিজাইন: শব্দ-স্তর থেকে এমবেডিং-স্তর পর্যন্ত সম্পূর্ণ বৈশিষ্ট্য স্তর ডিজাইন যুক্তিসঙ্গত
  3. পরীক্ষামূলক সম্পূর্ণতা: বিস্তারিত অপসারণ পরীক্ষা এবং পরবর্তী বিশ্লেষণ গভীর অন্তর্দৃষ্টি প্রদান
  4. ব্যবহারিক প্রয়োগ মূল্য: বড় আকারের চ্যালেঞ্জে পদ্ধতির কার্যকারিতা যাচাই করা

অপূর্ণতা

  1. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: বহু-স্তরীয় সংমিশ্রণ কেন কার্যকর তার তাত্ত্বিক ব্যাখ্যা অভাব
  2. গণনামূলক দক্ষতা বিশ্লেষণ: বিস্তারিত গণনামূলক জটিলতা এবং অনুমান সময় বিশ্লেষণ প্রদান করা হয়নি
  3. ক্রস-ডোমেইন সাধারণীকরণ: শুধুমাত্র পডকাস্ট ডেটায় যাচাইকৃত, ক্রস-ডোমেইন পরীক্ষা অভাব
  4. ব্যাখ্যাযোগ্যতা: যদিও শিরোনাম ব্যাখ্যাযোগ্যতা উল্লেখ করে, পেপারে সম্পর্কিত বিশ্লেষণ অভাব

প্রভাব

  1. একাডেমিক অবদান: প্রাকৃতিক বাক্য আবেগ স্বীকৃতির জন্য নতুন কাঠামো চিন্তাভাবনা প্রদান
  2. ব্যবহারিক মূল্য: বাস্তব চ্যালেঞ্জে পদ্ধতির উৎকর্ষ ব্যবহারিকতা প্রমাণ করে
  3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ প্রদান, পুনরুৎপাদনে সহায়তা

প্রযোজ্য পরিস্থিতি

  • প্রাকৃতিক বাক্য আবেগ স্বীকৃতি সিস্টেম
  • বহুমোডাল আবেগ বিশ্লেষণ প্রয়োগ
  • টীকা অনিশ্চয়তা পরিচালনার প্রয়োজন এমন আবেগ গণনা কাজ
  • পডকাস্ট, সংলাপ সিস্টেম ইত্যাদি প্রাকৃতিক বাক্য পরিস্থিতি

সংদর্ভ

পেপারটি 68টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, আবেগ গণনা, বাক্য প্রক্রিয়াকরণ, গভীর শিক্ষা ইত্যাদি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।