2025-11-25T10:34:17.502250

From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models

Dong, Jin, Yang et al.
Purpose: Emotion is a fundamental component of human communication, shaping understanding, trust, and engagement across domains such as education, healthcare, and mental health. While large language models (LLMs) exhibit strong reasoning and knowledge generation capabilities, they still struggle to express emotions in a consistent, controllable, and contextually appropriate manner. This limitation restricts their potential for authentic human-AI interaction. Methods: We propose a controllable emotion generation framework based on Emotion Vectors (EVs) - latent representations derived from internal activation shifts between neutral and emotion-conditioned responses. By injecting these vectors into the hidden states of pretrained LLMs during inference, our method enables fine-grained, continuous modulation of emotional tone without any additional training or architectural modification. We further provide theoretical analysis proving that EV steering enhances emotional expressivity while maintaining semantic fidelity and linguistic fluency. Results: Extensive experiments across multiple LLM families show that the proposed approach achieves consistent emotional alignment, stable topic adherence, and controllable affect intensity. Compared with existing prompt-based and fine-tuning-based baselines, our method demonstrates superior flexibility and generalizability. Conclusion: Emotion Vector (EV) steering provides an efficient and interpretable means of bridging rational reasoning and affective understanding in large language models, offering a promising direction for building emotionally resonant AI systems capable of more natural human-machine interaction.
academic

तर्कसंगत उत्तरों से भावनात्मक अनुरणन तक: भाषा मॉडल में नियंत्रणीय भावना पीढ़ी की भूमिका

मूल जानकारी

  • पेपर ID: 2502.04075
  • शीर्षक: From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models
  • लेखक: Yurui Dong, Luozhijie Jin, Yao Yang, Bingjie Lu, Jiaxi Yang, Zhi Liu
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल और भाषा विज्ञान)
  • प्रकाशन समय: फरवरी 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2502.04075

सारांश

यह पेपर बड़े भाषा मॉडल (LLMs) में भावनात्मक अभिव्यक्ति की कमियों को संबोधित करते हुए, भावना वेक्टर (Emotion Vectors, EVs) पर आधारित एक नियंत्रणीय भावना पीढ़ी ढांचा प्रस्तावित करता है। यह विधि तटस्थ और भावना-सशर्त प्रतिक्रियाओं के बीच आंतरिक सक्रियण अंतर को निकालकर, अव्यक्त प्रतिनिधित्व का निर्माण करती है, और अनुमान समय पर इन वेक्टरों को पूर्व-प्रशिक्षित LLMs की छिपी हुई स्थितियों में इंजेक्ट करके भावनात्मक स्वर का सूक्ष्म निरंतर मॉड्यूलेशन प्राप्त करती है, बिना अतिरिक्त प्रशिक्षण या आर्किटेक्चर संशोधन के। सैद्धांतिक विश्लेषण साबित करता है कि EV मार्गदर्शन भावनात्मक अभिव्यक्ति को बढ़ाते हुए शब्दार्थ निष्ठा और भाषाई प्रवाहशीलता को बनाए रखता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वर्तमान बड़े भाषा मॉडल हालांकि तर्क और ज्ञान पीढ़ी में उत्कृष्ट प्रदर्शन करते हैं, भावनात्मक अभिव्यक्ति में महत्वपूर्ण कमियां हैं:

  1. भावनात्मक अभिव्यक्ति में असंगति: मॉडल द्वारा उत्पन्न सामग्री या तो भावनात्मक रूप से तटस्थ है, या स्वर असंगत है, या भावना दिशा अनियंत्रित है
  2. भावनात्मक बुद्धिमत्ता की कमी: शिक्षा, स्वास्थ्यसेवा, मानसिक स्वास्थ्य आदि क्षेत्रों में, विशुद्ध तथ्यात्मक लेकिन भावनात्मक रूप से ठंडी प्रतिक्रियाएं अक्सर उपयोगकर्ता की अपेक्षाओं को पूरा नहीं करती हैं
  3. सीमित अनुप्रयोग परिदृश्य: भावनात्मक अभिव्यक्ति क्षमता की कमी उन मानव-कंप्यूटर इंटरैक्शन परिदृश्यों में AI सिस्टम के अनुप्रयोग को सीमित करती है जहां भावनात्मक अनुरणन की आवश्यकता होती है

अनुसंधान का महत्व

भावना मानव संचार का एक मौलिक घटक है, जो कई महत्वपूर्ण क्षेत्रों में महत्वपूर्ण भूमिका निभाता है:

  • शिक्षा क्षेत्र: शिक्षक का प्रोत्साहन और धैर्य छात्र की प्रेरणा और दृढ़ता को महत्वपूर्ण रूप से प्रभावित कर सकता है
  • स्वास्थ्यसेवा: डॉक्टर की भावनात्मक भागीदारी और सहानुभूतिपूर्ण संचार रोगी के अनुपालन, संतुष्टि और यहां तक कि नैदानिक पुनर्प्राप्ति प्रक्षेपवक्र में सुधार कर सकता है
  • मानसिक स्वास्थ्य: भावनात्मक अनुरणन क्षमता सार्थक समर्थन प्रदान करने की एक पूर्वापेक्षा है

मौजूदा विधियों की सीमाएं

  1. निर्देश ट्यूनिंग विधियां: अक्सर पर्याप्त लचीली नहीं होती हैं, व्यापक अनुप्रयोगों और मॉडल आर्किटेक्चर के अनुकूल होना मुश्किल होता है
  2. प्रॉम्प्ट रणनीतियां: सावधानीपूर्वक डिज़ाइन किए गए टेम्पलेट और बाहरी मूल्यांकन मॉड्यूल पर निर्भर होती हैं
  3. अनुमान समय वेक्टर संपादन: मुख्य रूप से अंतिम टोकन स्थिति पर ध्यान केंद्रित करते हैं, वैश्विक अर्थ की कमी है, उच्च सामान्यीकरण की आवश्यकता वाले भावना जैसे कार्यों पर लागू करना मुश्किल है

मुख्य योगदान

  1. भावना वेक्टर (EV) पर आधारित नियंत्रणीय भावना पीढ़ी ढांचा प्रस्तावित किया: भावना-प्रेरित और तटस्थ प्रॉम्प्ट की मॉडल प्रतिक्रियाओं की तुलना करके पुन: प्रयोज्य और कुशल भावना वेक्टर निकाले जाते हैं
  2. बिना पर्यवेक्षण, उच्च मजबूती वाली भावना नियंत्रण लागू की: प्रशिक्षण या आर्किटेक्चर परिवर्तन की आवश्यकता नहीं है, वैश्विक सामंजस्य के साथ
  3. कठोर सैद्धांतिक विश्लेषण प्रदान किया: भावनात्मक अभिव्यक्ति को बढ़ाते हुए शब्दार्थ निष्ठा को बनाए रखने वाले EV मार्गदर्शन को साबित किया
  4. विशेष मूल्यांकन डेटासेट का निर्माण किया: भावना पीढ़ी मूल्यांकन के लिए EmotionQuery और EmotionQuery+ डेटासेट
  5. निरंतर सूक्ष्म नियंत्रण लागू किया: अदिश स्केलिंग के माध्यम से भावना तीव्रता पर निरंतर सूक्ष्म नियंत्रण प्रदान करता है, मॉडल परिवार में व्यापक प्रयोज्यता का समर्थन करता है

विधि विवरण

कार्य परिभाषा

पूर्व-प्रशिक्षित भाषा मॉडल M और लक्ष्य भावना स्थिति e∈{joy, anger, disgust, fear, sadness} को देखते हुए, कार्य का उद्देश्य अनुमान समय पर मॉडल के आंतरिक प्रतिनिधित्व को संशोधित करके उत्पन्न पाठ की भावनात्मक स्वर को नियंत्रित करना है, जबकि शब्दार्थ सामग्री और भाषाई प्रवाहशीलता को बनाए रखना है।

मॉडल आर्किटेक्चर

भावना वेक्टर निर्माण

  1. डेटासेट निर्माण: EmotionQuery डेटासेट बनाया जाता है, जिसमें 500 प्रश्न होते हैं, प्रत्येक भावना स्थिति के लिए 100 प्रश्न
  2. आंतरिक आउटपुट कैप्चर: प्रत्येक प्रश्न के लिए, मॉडल तटस्थ और भावना सेटिंग के तहत आंतरिक प्रतिनिधित्व उत्पन्न करता है 
    Ōl = (1/T) Σ(t=1 to T) Ol[t]
  3. भावना ऑफसेट माप: भावना और तटस्थ सेटिंग के तहत आउटपुट अंतर की गणना करें 
    ΔO^(ek)_l = Ō^(emotion(ek))_l - Ō^(neutral)_l
  4. भावना वेक्टर निर्माण: डेटासेट पर भावना ऑफसेट को औसत करें 
    EV^(ek)_l = (1/N) Σ(i=1 to N) ΔO^(i,ek)_l

भावना वेक्टर मार्गदर्शन

अनुमान समय पर, प्रत्येक परत की छिपी हुई स्थिति को संशोधित करके भावना वेक्टर लागू किए जाते हैं:

Ĥl = Hl + αEV^(ek)_l

जहां α भावना तीव्रता को नियंत्रित करने वाला स्केलिंग कारक है।

तकनीकी नवाचार बिंदु

  1. वैश्विक सामंजस्य: पूर्ववर्ती विधियों के विपरीत जो मुख्य रूप से वाक्य-स्तरीय नियंत्रण पर ध्यान केंद्रित करती हैं, यह विधि वैश्विक भावना नियंत्रण प्राप्त करती है
  2. प्रशिक्षण की आवश्यकता नहीं: पूरी तरह से अनुमान समय पर संचालित होता है, मॉडल पैरामीटर को संशोधित करने की आवश्यकता नहीं है
  3. निरंतर नियंत्रण: अदिश α के माध्यम से भावना तीव्रता का निरंतर समायोजन
  4. योगात्मकता: कई भावनाओं को रैखिक रूप से संयोजित किया जा सकता है: Σk αk EV^(ek)_l

प्रायोगिक सेटअप

डेटासेट

  1. EmotionQuery: 500 प्रश्न, 5 मूल भावनाओं को कवर करते हुए, प्रत्येक में 100 प्रश्न
  2. EmotionQuery+ (EQ+): 400 प्रश्नों का विस्तारित संस्करण, जिसमें 250 भावना प्रश्न और 150 तटस्थ प्रश्न शामिल हैं

मूल्यांकन मेट्रिक्स

  1. वाक्य प्रवाहशीलता: Llama 3.1 का उपयोग करके भ्रम (Perplexity) की गणना करें
  2. विषय सामंजस्य: GPT-4o-mini का उपयोग करके उत्पन्न प्रतिक्रिया और उपयोगकर्ता प्रश्न के विषय संरेखण का मूल्यांकन करें
  3. भावना संभावना स्कोर (EPS): bart-large-mnli वर्गीकारक का उपयोग करके भावना अभिव्यक्ति संभावना को मापें
  4. भावना निरपेक्ष स्कोर (EAS): GPT-4o-mini का उपयोग करके पाँच मूल भावनाओं को 0-100 पर स्कोर करें
  5. लक्ष्य भावना आत्मविश्वास (TEC): लक्ष्य भावना के लिए वर्गीकारक के आत्मविश्वास को मापें

तुलनात्मक विधियां

  • मूल मॉडल (बिना EV)
  • विभिन्न तीव्रता पर EV अनुप्रयोग (-1×EV, 1×EV, 2×EV, 4×EV)
  • प्रॉम्प्ट और सूक्ष्म-ट्यूनिंग आधारित आधारभूत विधियां

कार्यान्वयन विवरण

  • 11 प्रतिनिधि बड़े भाषा मॉडलों का परीक्षण किया गया, जिसमें Llama श्रृंखला, Qwen श्रृंखला, Baichuan2 आदि शामिल हैं
  • सामान्य भावना समायोजन के लिए आधार भावना वेक्टर EVbase (सभी भावना वेक्टरों का औसत) का उपयोग किया गया

प्रायोगिक परिणाम

मुख्य परिणाम

प्रवाहशीलता और विषय सामंजस्य

  • भ्रम परिणाम: EV अनुप्रयोग का वाक्य प्रवाहशीलता पर नगण्य प्रभाव पड़ता है, कुछ मामलों में तो सुधार भी होता है
  • विषय सामंजस्य: अधिकांश मॉडल EV लागू करने के बाद मूल प्रतिक्रिया के समान उच्च विषय सामंजस्य बनाए रखते हैं

भावनात्मक अभिव्यक्ति क्षमता

  • भावना संभावना स्कोर: 2×EV लागू करने के बाद, अधिकांश मॉडलों का भावना संभावना स्कोर महत्वपूर्ण रूप से बढ़ता है, जैसे Llama3.1, Qwen2, MiniCPM क्रमशः 1.000, 0.9825, 0.9950 तक पहुंचते हैं
  • भावना निरपेक्ष स्कोर: 1×EV लागू करने के बाद, अधिकांश मॉडलों का EAS कम से कम 400% बढ़ता है, जबकि -1×EV EAS को लगभग 90% कम करता है

विलोपन प्रयोग

विभिन्न EV तीव्रता के प्रभाव

मॉडल0×1×2×4×
Llama2-7B (anger)21.40%45.93%98.07%90.71%
Qwen2.5-7B (anger)14.01%33.36%94.89%95.68%

परिणाम दिखाते हैं कि 1× और 2× EV भावना संरेखण को महत्वपूर्ण रूप से बढ़ाते हैं, 4× तीव्रता पर लाभ में कमी और यहां तक कि हल्के गिरावट देखी जाती है।

केस विश्लेषण

पेपर विभिन्न भावना स्थितियों के तहत आउटपुट परिवर्तन को प्रदर्शित करने वाले समृद्ध केस प्रदान करता है:

  • क्रोध की स्थिति: मॉडल तटस्थ प्रतिक्रिया से "I'm so angry and frustrated! I've been busting my butt..." में परिवर्तित होता है
  • खुशी की स्थिति: "I was absolutely over the moon! My heart was bursting with love!" उत्पन्न करता है

प्रायोगिक निष्कर्ष

  1. रैखिक नियंत्रणीयता: भावना तीव्रता स्केलिंग कारक α के साथ लगभग रैखिक संबंध है
  2. क्रॉस-मॉडल सामान्यीकरण: विधि विभिन्न आर्किटेक्चर और आकार के मॉडलों पर प्रभावी है
  3. भावना विशिष्टता: विभिन्न भावना वेक्टर मॉडल को संबंधित भावनात्मक अभिव्यक्ति उत्पन्न करने के लिए विश्वसनीय रूप से मार्गदर्शन कर सकते हैं

सैद्धांतिक विश्लेषण

गणितीय आधार

पेपर प्रथम-क्रम टेलर विस्तार के आधार पर कठोर सैद्धांतिक प्रमाण प्रदान करता है:

  1. एकरस भावना लाभ: यदि Fisher विभेदक दिशा औसत अर्थ में EV के साथ संरेखित है, तो छोटे सकारात्मक α लक्ष्य भावना स्कोर को एकरस रूप से बढ़ाते हैं
  2. शब्दार्थ संरक्षण: चूंकि EV शब्दार्थ रूप से समान लेकिन भावनात्मक रूप से भिन्न प्रॉम्प्ट जोड़ी से निर्मित होता है, इसका शब्दार्थ ढाल पर प्रक्षेपण लगभग शून्य है
  3. रैखिक नियंत्रणीयता: भावना तीव्रता का α पर रैखिक निर्भरता, बहु-भावना योगात्मक संयोजन

निकट-इष्टतम प्रकृति

Fisher रैखिक विभेदक विश्लेषण अर्थ में, EV निर्माण सांख्यिकीय रूप से इष्टतम के करीब है: श्वेतकरण सन्निकटन के तहत, इष्टतम Fisher दिशा माध्य अंतर वेक्टर के समानांतर है।

संबंधित कार्य

भावना प्रतिनिधित्व और संवाद प्रणाली

  • वर्गीकरण विधियां (असतत भावनाएं जैसे joy, sadness, anger)
  • आयामी विधियां (प्रभाव-जागरूकता पैमाना)
  • मौजूदा विधियां बहुत जटिल हैं या आगे प्रशिक्षण की आवश्यकता है

निर्देश ट्यूनिंग और प्रॉम्प्ट-आधारित भावना नियंत्रण

  • सूक्ष्म-ट्यूनिंग विधियां अक्सर पर्याप्त लचीली नहीं होती हैं, व्यापक अनुप्रयोगों के अनुकूल होना मुश्किल होता है
  • प्रॉम्प्ट रणनीतियां सावधानीपूर्वक डिज़ाइन किए गए टेम्पलेट पर निर्भर होती हैं

अनुमान समय वेक्टर संपादन

  • मौजूदा विधियां मुख्य रूप से अंतिम टोकन स्थिति पर ध्यान केंद्रित करती हैं, वैश्विक अर्थ की कमी है
  • अधिकांश नियंत्रण वेक्टर संबंधित कार्य वाक्य-स्तरीय नियंत्रण हैं, प्रशिक्षण की आवश्यकता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. EV मार्गदर्शन एक कुशल और व्याख्यायोग्य विधि प्रदान करता है: बड़े भाषा मॉडलों में तर्कसंगत तर्क और भावनात्मक समझ के बीच पुल बनाता है
  2. सूक्ष्म भावना नियंत्रण लागू किया: बिना अतिरिक्त प्रशिक्षण के निरंतर, नियंत्रणीय भावना समायोजन प्राप्त किया जा सकता है
  3. शब्दार्थ निष्ठा बनाए रखी: सिद्धांत और प्रयोग दोनों साबित करते हैं कि विधि भावनात्मक अभिव्यक्ति को बढ़ाते हुए शब्दार्थ सामंजस्य बनाए रखती है

सीमाएं

  1. उच्च तीव्रता EV का संतृप्ति प्रभाव: 4× तीव्रता पर दोहराई गई आउटपुट और प्रदर्शन गिरावट हो सकती है
  2. EV आयाम की मॉडल निर्भरता: कुछ मॉडल (जैसे Llama-3.1) निकाले गए EV आयाम बड़े होते हैं, जो बाद की डिकोडिंग को प्रभावित कर सकते हैं
  3. मूल भावना सीमाएं: वर्तमान में मुख्य रूप से पाँच मूल भावनाओं पर ध्यान केंद्रित करता है, जटिल भावनाओं की प्रक्रिया की खोज की जा रही है

भविष्य की दिशाएं

  1. अधिक जटिल भावना स्थितियों तक विस्तार
  2. EV निष्कर्षण और अनुप्रयोग रणनीति का अनुकूलन
  3. बहु-मोडल भावना नियंत्रण की खोज
  4. भावना और व्यक्तिगतकरण के संयोजन का अध्ययन

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार मजबूत है: पहली बार वैश्विक सामंजस्य वाली भावना वेक्टर मार्गदर्शन विधि प्रस्तावित की गई, बिना प्रशिक्षण के सूक्ष्म भावना नियंत्रण प्राप्त किया जा सकता है
  2. सैद्धांतिक आधार मजबूत है: कठोर गणितीय प्रमाण प्रदान किया गया, Fisher विभेदक विश्लेषण के दृष्टिकोण से विधि की निकट-इष्टतमता की व्याख्या की गई
  3. प्रयोग पूर्ण और व्यापक है: 11 विभिन्न मॉडलों पर व्यापक प्रयोग किए गए, मूल्यांकन मेट्रिक्स विविध और उचित हैं
  4. व्यावहारिक मूल्य उच्च है: विधि सरल और कार्यान्वयन में आसान है, अच्छी क्रॉस-मॉडल सामान्यीकरण क्षमता है

कमियां

  1. भावना प्रकार सीमित हैं: केवल पाँच मूल भावनाओं पर विचार किया गया है, जटिल भावना स्थितियों को संभालने की क्षमता अज्ञात है
  2. सांस्कृतिक अनुकूलन: विभिन्न सांस्कृतिक पृष्ठभूमि में भावना अभिव्यक्ति के अंतर पर विचार नहीं किया गया है
  3. लंबे पाठ सामंजस्य: लंबे संवाद या दस्तावेज-स्तरीय भावना सामंजस्य बनाए रखने के प्रभाव को आगे सत्यापित करने की आवश्यकता है
  4. कम्प्यूटेशनल ओवरहेड विश्लेषण: विधि की कम्प्यूटेशनल जटिलता और अनुमान गति प्रभाव का विस्तृत विश्लेषण नहीं है

प्रभाव

  1. शैक्षणिक योगदान: भावना कंप्यूटिंग और नियंत्रणीय पाठ पीढ़ी क्षेत्र के लिए नया अनुसंधान प्रतिमान प्रदान करता है
  2. व्यावहारिक मूल्य: शिक्षा, स्वास्थ्यसेवा, मानसिक स्वास्थ्य आदि क्षेत्रों में व्यापक अनुप्रयोग संभावनाएं हैं
  3. पुनरुत्पादनीयता: लेखक कोड और डेटासेट को खुला स्रोत करने का वादा करते हैं, बाद के अनुसंधान के लिए अनुकूल है

लागू परिदृश्य

  1. शिक्षा AI सहायक: व्यक्तिगत, भावनात्मक रूप से उपयुक्त शिक्षा समर्थन प्रदान करें
  2. चिकित्सा संवाद प्रणाली: चिकित्सक-रोगी संचार में भावनात्मक अनुरणन बढ़ाएं
  3. मानसिक स्वास्थ्य समर्थन: अधिक सहानुभूतिपूर्ण AI परामर्शदाता का निर्माण करें
  4. ग्राहक सेवा रोबोट: उपयोगकर्ता अनुभव और संतुष्टि में सुधार करें

संदर्भ

पेपर में संबंधित अनुसंधान के समृद्ध संदर्भ हैं, मुख्य रूप से शामिल हैं:

  • भावना सिद्धांत आधार: Ekman की मूल भावना मॉडल
  • बड़े भाषा मॉडल: Llama श्रृंखला, Qwen श्रृंखला आदि मुख्यधारा मॉडल
  • भावना कंप्यूटिंग: भावना वर्गीकरण के लिए MNLI मॉडल
  • वेक्टर संपादन: संबंधित अनुमान समय हस्तक्षेप विधियां

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला अनुसंधान पेपर है, जो नवीन भावना वेक्टर मार्गदर्शन विधि प्रस्तावित करता है, सैद्धांतिक आधार मजबूत है, प्रायोगिक सत्यापन पूर्ण है। यह कार्य अधिक भावनात्मक बुद्धिमत्ता वाली AI प्रणाली के निर्माण के लिए प्रभावी तकनीकी पथ प्रदान करता है, जिसका महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है।