2025-11-19T20:28:14.220145

Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations

Zhang, Li, Yu et al.

Long-sequence causal reasoning seeks to uncover causal relationships within extended time series data but is hindered by complex dependencies and the challenges of validating causal links. To address the limitations of large-scale language models (e.g., GPT-4) in capturing intricate emotional causality within extended dialogues, we propose CauseMotion, a long-sequence emotional causal reasoning framework grounded in Retrieval-Augmented Generation (RAG) and multimodal fusion. Unlike conventional methods relying only on textual information, CauseMotion enriches semantic representations by incorporating audio-derived features-vocal emotion, emotional intensity, and speech rate-into textual modalities. By integrating RAG with a sliding window mechanism, it effectively retrieves and leverages contextually relevant dialogue segments, thus enabling the inference of complex emotional causal chains spanning multiple conversational turns. To evaluate its effectiveness, we constructed the first benchmark dataset dedicated to long-sequence emotional causal reasoning, featuring dialogues with over 70 turns. Experimental results demonstrate that the proposed RAG-based multimodal integrated approach, the efficacy of substantially enhances both the depth of emotional understanding and the causal inference capabilities of large-scale language models. A GLM-4 integrated with CauseMotion achieves an 8.7% improvement in causal accuracy over the original model and surpasses GPT-4o by 1.2%. Additionally, on the publicly available DiaASQ dataset, CauseMotion-GLM-4 achieves state-of-the-art results in accuracy, F1 score, and causal reasoning accuracy.

academic

प्रवाह को समझना: लंबे-रूप वाली बातचीत में भावनात्मक कारणता विश्लेषण के लिए CauseMotion

मूल जानकारी

पेपर ID: 2501.00778
शीर्षक: Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations
लेखक: Yuxuan Zhang, Yulong Li, Zichen Yu, Feilong Tang, Zhixiang Lu, Chong Li, Kang Dang, Jionglong Su
वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान), cs.CY (कंप्यूटर और समाज)
प्रकाशन तिथि: 1 जनवरी 2025
पेपर लिंक: https://arxiv.org/abs/2501.00778

सारांश

यह पेपर CauseMotion प्रस्तुत करता है, जो पुनर्प्राप्ति-संवर्धित जनन (RAG) और बहु-मोडल संलयन पर आधारित एक लंबे-क्रम भावनात्मक कारणता अनुमान ढांचा है। यह ढांचा ऑडियो विशेषताओं (ध्वनि भावना, भावनात्मक तीव्रता, बोलने की गति) और पाठ मोडल को एकीकृत करके, स्लाइडिंग विंडो तंत्र का उपयोग करके प्रासंगिक बातचीत खंडों को पुनः प्राप्त करता है, और कई बातचीत मोड़ों में फैली जटिल भावनात्मक कारणता श्रृंखलाओं का अनुमान लगा सकता है। प्रायोगिक परिणाम दर्शाते हैं कि CauseMotion के साथ एकीकृत GLM-4 मॉडल कारणता सटीकता में मूल मॉडल की तुलना में 8.7% सुधार करता है और GPT-4o को 1.2% से पार करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

लंबे-क्रम कारणता अनुमान का उद्देश्य विस्तारित समय-श्रृंखला डेटा में कारणात्मक संबंध खोजना है, लेकिन यह जटिल निर्भरताओं और कारणता श्रृंखला सत्यापन चुनौतियों से बाधित है। मौजूदा बड़े भाषा मॉडल विस्तारित बातचीत में जटिल भावनात्मक कारणात्मक संबंधों को पकड़ने में महत्वपूर्ण सीमाएं प्रदर्शित करते हैं।

अनुसंधान का महत्व

भावनात्मक कारणता अनुमान बुद्धिमान मानव-कंप्यूटर इंटरैक्शन प्रणालियों के लिए महत्वपूर्ण है। सोशल मीडिया के प्रसार के साथ, भावनात्मक अभिव्यक्ति तेजी से जटिल हो गई है, जिसमें लंबे पाठ अनुक्रम और बहु-मोडल जानकारी शामिल है। भावनाओं की उत्पत्ति, विकास और परिणामों को समझना अधिक भावनात्मक रूप से बुद्धिमान प्रणालियों के निर्माण के लिए महत्वपूर्ण है।

मौजूदा विधियों की सीमाएं

इनपुट लंबाई बाधा: पाठ को काटने या विभाजित करने की आवश्यकता होती है, जिससे वैश्विक संदर्भ खो जाता है और खंडों या बातचीत मोड़ों में दीर्घ-श्रृंखला निर्भरता को पकड़ने में बाधा आती है
दीर्घ-श्रृंखला निर्भरता मॉडलिंग में कठिनाई: वैश्विक कारणात्मक संबंध स्थापित करना कठिन है, जिससे अधूरा या अनुचित अनुमान होता है
खंड-आधारित प्रसंस्करण: घटनाओं के क्रम और तार्किक संबंधों को नष्ट कर सकता है, समग्र कारणता श्रृंखला के प्रति मॉडल की समझ को कमजोर करता है
बहु-मोडल संलयन चुनौतियां: पाठ और ऑडियो मोडल विशेषता प्रतिनिधित्व और सांख्यिकीय गुणों में महत्वपूर्ण रूप से भिन्न होते हैं, और बंद-स्रोत मॉडल की मालिकाना प्रकृति ऑडियो विशेषताओं के गहन एकीकरण को सीमित करती है

मुख्य योगदान

बहु-मोडल संलयन तंत्र: मॉडल इनपुट डिजाइन और बातचीत ज्ञान आधार में ऑडियो विशेषताओं को गहराई से एम्बेड करने की विधि प्रस्तावित करता है, पाठ और ऑडियो डेटा का प्रभावी संलयन प्राप्त करता है
बड़े पैमाने पर लंबे-क्रम डेटासेट: ATLAS-6 बेंचमार्क डेटासेट का निर्माण किया गया है, जिसमें 70-300 मोड़ वाली बातचीत शामिल है, जो लंबे-क्रम भावनात्मक कारणता अनुमान के लिए पहला समर्पित डेटासेट है
CauseMotion ढांचा: RAG को एकीकृत करने वाला एक नया कारणता अनुमान ढांचा प्रस्तावित करता है, जो दीर्घ-श्रृंखला निर्भरताओं और जटिल कारणता श्रृंखलाओं को प्रभावी ढंग से पकड़ता है
SOTA प्रदर्शन: DiaASQ डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करता है, CauseMotion-GLM-4 ATLAS डेटासेट पर GPT-4o को व्यापक रूप से पार करता है

विधि विवरण

कार्य परिभाषा

n उच्चारणों वाली एक बातचीत D = {u1, u2, ..., un} दी गई है, जहां प्रत्येक उच्चारण ui = {wi1, wi2, ..., wim} में m शब्द हैं। लक्ष्य इनपुट समय विंडो W से सभी संभावित भावनात्मक कारणता षट्टुपल Q = {(hj, tj, aj, oj, pj, rj)} निकालना है, जहां:

hj: धारक (भावना धारक)
tj: लक्ष्य
aj: पहलू
oj: विचार
pj: भावना
rj: कारण

मॉडल आर्किटेक्चर

1. बहु-मोडल संलयन तंत्र

ऑडियो से भावनात्मक विशेषताएं निकालने के लिए SenseVoice का उपयोग किया जाता है, जिसमें शामिल हैं:

ध्वनि भावना ei ∈ Rd
भावनात्मक तीव्रता θi ∈ R
बोलने की गति ri = m/(tend_i - tstart_i)

ऑडियो विशेषता वेक्टर को इस प्रकार परिभाषित किया गया है:

ai = {ei, θi}

बहु-मोडल एम्बेडिंग संयोजन ऑपरेशन के माध्यम से प्राप्त किया जाता है:

Em = Concat(Et, Ee, Er)

2. बातचीत ज्ञान आधार निर्माण

स्लाइडिंग समय विंडो विधि का उपयोग करके, स्थानीय बातचीत उप-समुच्चय बनाए जाते हैं:

Dt = {ut, ut+1, ..., ut+k}

बहु-मोडल विशेषताओं के साथ बातचीत ज्ञान आधार का निर्माण:

Kd = {(W1, Em1), (W2, Em2), ..., (Wj, Emj)}

3. RAG तंत्र

RAG मॉड्यूल कोसाइन समानता के माध्यम से सबसे प्रासंगिक बातचीत खंडों को पुनः प्राप्त करता है:

Similarity(Wj, Wi) = (Wj · Wi) / (||Wj|| ||Wi||)

पुनर्प्राप्ति प्रक्रिया को इस प्रकार परिभाषित किया गया है:

Cj = RAG(Wj, Kd)

तकनीकी नवाचार बिंदु

1. जटिल कारणता श्रृंखला अनुमान

तीन मूल्यांकन मेट्रिक्स के आधार पर कारणात्मक संबंध स्थापित करना:

शब्दार्थ सामंजस्य स्कोर:

Semantic Score(ojk, pik) = (ojk · pik) / (||ojk|| ||pik||)

अस्थायी बाधा स्कोर:

Temporal Score(Δtij) = exp(-Δtij/τ)

कारण संरेखण स्कोर:

Rationale Score(rjk, Qi) = log(1 + PNLI(rjk → Qi))

अंतिम भार गणना:

Weight(eij) = α·Semantic Score + β·Temporal Score + γ·Rationale Score

2. स्लाइडिंग विंडो तंत्र

स्लाइडिंग विंडो के माध्यम से बातचीत अनुक्रम को लगातार संसाधित करना, इनपुट लंबाई सीमा को प्रभावी ढंग से कम करता है, साथ ही वैश्विक संदर्भ जानकारी को बनाए रखता है।

प्रायोगिक सेटअप

डेटासेट

ATLAS-6 डेटासेट में दो भाग शामिल हैं:

सहायक संश्लेषित डेटासेट: 20,000 विस्तारित बातचीत पाठ (70-300 मोड़), 8 परिदृश्यों को कवर करते हुए
वास्तविक सत्यापन डेटासेट: 2,745 लंबे-क्रम बातचीत, फिल्मों और सोशल नेटवर्क से

प्रत्येक उच्चारण को छह मुख्य तत्वों के साथ चिह्नित किया गया है, कठोर मानव एनोटेशन और क्रॉस-चेक के माध्यम से।

मूल्यांकन मेट्रिक्स

कारणता सटीकता = सही कारणात्मक संबंध संख्या / कुल भविष्यवाणी कारणात्मक संबंध संख्या
कारणता सामंजस्य = सामंजस्यपूर्ण कारणात्मक संबंध संख्या / कुल कारणात्मक संबंध संख्या
कारणता श्रृंखला स्कोर = 0.5 × कारणता सटीकता + 0.5 × कारणता सामंजस्य

तुलनात्मक विधियां

ओपन-सोर्स मॉडल: LLama-3.3-70B, Qwen2.5-72B, InternLM2.5-20B
मालिकाना मॉडल: GLM-4, GPT-4o
पारंपरिक विधियां: CRF-Extract-Classify, SpERT, DiaASQ, ParaPhrase, Span-ASTE

कार्यान्वयन विवरण

ओपन-सोर्स मॉडल 64 A800 GPU का उपयोग करके वितरित प्रशिक्षण के लिए
मालिकाना मॉडल आधिकारिक API के माध्यम से पहुंचे जाते हैं
भार पैरामीटर α, β, γ α + β + γ = 1 और 0 < α, β, γ < 1 को संतुष्ट करते हैं

प्रायोगिक परिणाम

मुख्य परिणाम

DiaASQ डेटासेट प्रदर्शन

CauseMotion-GLM-4 सभी मेट्रिक्स पर अन्य मॉडलों से महत्वपूर्ण रूप से बेहतर है:

Target span matching F1: 91.43
Aspect span matching F1: 77.63
Opinion extraction F1: 61.35
T-A pair extraction F1: 64.15
T-O pair extraction F1: 50.22
A-O pair extraction F1: 59.16

ATLAS डेटासेट प्रदर्शन

CauseMotion-GLM-4 भावनात्मक कारणता अनुमान श्रृंखला सटीकता में 0.574 का सर्वोच्च प्राप्त करता है, GPT-4o के 0.528 की तुलना में 8.7% सुधार।

विलोपन प्रयोग

विलोपन प्रयोग दर्शाते हैं कि CauseMotion ढांचे को हटाने के बाद प्रदर्शन में भारी गिरावट आती है:

GLM-4: 0.574 से 0.487 तक (-0.075)
अन्य मॉडल भी समान प्रदर्शन गिरावट प्रदर्शित करते हैं

यह भावनात्मक कारणता अनुमान को बढ़ाने में CauseMotion ढांचे की महत्वपूर्ण भूमिका को प्रमाणित करता है।

प्रायोगिक निष्कर्ष

बहु-मोडल संलयन की प्रभावशीलता: ऑडियो विशेषताओं का जोड़ भावनात्मक समझ की गहराई को महत्वपूर्ण रूप से बढ़ाता है
RAG तंत्र का महत्व: गतिशील पुनर्प्राप्ति तंत्र लंबे-क्रम प्रसंस्करण की चुनौतियों को प्रभावी ढंग से कम करता है
ढांचे की सार्वभौमिकता: CauseMotion विभिन्न आधार मॉडलों के प्रदर्शन को प्रभावी ढंग से बढ़ा सकता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

CauseMotion ढांचा RAG और बहु-मोडल संलयन के माध्यम से लंबे-क्रम भावनात्मक कारणता अनुमान की चुनौतियों को प्रभावी ढंग से हल करता है
ऑडियो विशेषताओं का गहन एकीकरण भावनात्मक समझ क्षमता को महत्वपूर्ण रूप से बढ़ाता है
निर्मित ATLAS-6 डेटासेट इस क्षेत्र के लिए एक महत्वपूर्ण आधार संसाधन प्रदान करता है

सीमाएं

वर्तमान में मुख्य रूप से बातचीत परिदृश्यों पर केंद्रित है, अन्य पाठ प्रकारों की प्रयोज्यता को आगे सत्यापन की आवश्यकता है
ऑडियो विशेषता निष्कर्षण विशिष्ट पूर्व-प्रशिक्षित मॉडल (SenseVoice) पर निर्भर है
कम्प्यूटेशनल जटिलता अधिक है, जो व्यावहारिक अनुप्रयोग को सीमित कर सकती है

भविष्य की दिशाएं

ढांचे को अन्य डोमेन और पाठ प्रकारों तक विस्तारित करना
अधिक मोडल डेटा (जैसे दृश्य जानकारी) को एकीकृत करना
कम्प्यूटेशनल दक्षता को अनुकूलित करना और मॉडल संपीड़न

गहन मूल्यांकन

शक्तियां

तकनीकी नवाचार मजबूत: पहली बार RAG तकनीक को लंबे-क्रम भावनात्मक कारणता अनुमान में व्यवस्थित रूप से लागू किया गया है
बहु-मोडल संलयन गहन: ऑडियो विशेषताओं को ज्ञान आधार और इनपुट डिजाइन में एम्बेड करने का नवाचारी तरीका
डेटासेट योगदान बड़ा: पहला बड़े पैमाने पर लंबे-क्रम भावनात्मक कारणता अनुमान डेटासेट निर्मित किया गया है
प्रयोग व्यापक: कई डेटासेट और मॉडलों पर व्यापक मूल्यांकन किया गया है
प्रदर्शन सुधार महत्वपूर्ण: SOTA विधियों की तुलना में स्पष्ट सुधार प्राप्त किया गया है

कमियां

कम्प्यूटेशनल जटिलता: बहु-मोडल संलयन और RAG तंत्र कम्प्यूटेशनल ओवरहेड बढ़ाते हैं
निर्भरता मजबूत: ऑडियो विशेषता निष्कर्षण मॉडल और पूर्व-प्रशिक्षित भाषा मॉडल पर बड़ी निर्भरता
सामान्यीकरण अज्ञात: मुख्य रूप से बातचीत परिदृश्य में सत्यापित, अन्य परिदृश्यों में प्रयोज्यता को अधिक प्रयोगों की आवश्यकता है
सैद्धांतिक विश्लेषण अपर्याप्त: यह समझाने के लिए कि यह विधि प्रभावी क्यों है, गहरे सैद्धांतिक व्याख्या की कमी है

प्रभाव

शैक्षणिक योगदान: लंबे-क्रम भावनात्मक कारणता अनुमान के लिए नई अनुसंधान दिशा खोली गई है
व्यावहारिक मूल्य: बुद्धिमान ग्राहक सेवा, भावनात्मक विश्लेषण आदि अनुप्रयोग परिदृश्यों में महत्वपूर्ण मूल्य है
पुनरुत्पादनीयता: अनाम कोड रिपॉजिटरी प्रदान किया गया है, अनुसंधान पुनरुत्पादन को सुविधाजनक बनाता है

लागू परिदृश्य

लंबी बातचीत प्रणालियों में भावनात्मक समझ
सोशल मीडिया भावनात्मक निगरानी
ग्राहक सेवा गुणवत्ता विश्लेषण
मानसिक स्वास्थ्य मूल्यांकन प्रणाली
शैक्षिक बातचीत प्रणाली

संदर्भ

पेपर ने 34 संबंधित संदर्भों का हवाला दिया है, जिसमें भावनात्मक विश्लेषण, बहु-मोडल संलयन, पुनर्प्राप्ति-संवर्धित जनन, बड़े भाषा मॉडल आदि कई अनुसंधान क्षेत्रों के महत्वपूर्ण कार्य शामिल हैं, जो इस अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है जो लंबे-क्रम भावनात्मक कारणता अनुमान के इस महत्वपूर्ण और चुनौतीपूर्ण कार्य पर नवाचारी समाधान प्रस्तुत करता है। पेपर का तकनीकी योगदान, प्रायोगिक डिजाइन और परिणाम सभी प्रभावशाली हैं, और संबंधित क्षेत्र के विकास में महत्वपूर्ण योगदान दिया है।