2025-11-25T10:34:17.502250

From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models

Dong, Jin, Yang et al.
Purpose: Emotion is a fundamental component of human communication, shaping understanding, trust, and engagement across domains such as education, healthcare, and mental health. While large language models (LLMs) exhibit strong reasoning and knowledge generation capabilities, they still struggle to express emotions in a consistent, controllable, and contextually appropriate manner. This limitation restricts their potential for authentic human-AI interaction. Methods: We propose a controllable emotion generation framework based on Emotion Vectors (EVs) - latent representations derived from internal activation shifts between neutral and emotion-conditioned responses. By injecting these vectors into the hidden states of pretrained LLMs during inference, our method enables fine-grained, continuous modulation of emotional tone without any additional training or architectural modification. We further provide theoretical analysis proving that EV steering enhances emotional expressivity while maintaining semantic fidelity and linguistic fluency. Results: Extensive experiments across multiple LLM families show that the proposed approach achieves consistent emotional alignment, stable topic adherence, and controllable affect intensity. Compared with existing prompt-based and fine-tuning-based baselines, our method demonstrates superior flexibility and generalizability. Conclusion: Emotion Vector (EV) steering provides an efficient and interpretable means of bridging rational reasoning and affective understanding in large language models, offering a promising direction for building emotionally resonant AI systems capable of more natural human-machine interaction.
academic

من الإجابات العقلانية إلى الرنين العاطفي: دور توليد العاطفة القابلة للتحكم في نماذج اللغة

المعلومات الأساسية

  • معرّف الورقة: 2502.04075
  • العنوان: From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models
  • المؤلفون: Yurui Dong, Luozhijie Jin, Yao Yang, Bingjie Lu, Jiaxi Yang, Zhi Liu
  • التصنيف: cs.CL (الحوسبة واللغة)
  • تاريخ النشر: فبراير 2025 (نسخة أولية من arXiv)
  • رابط الورقة: https://arxiv.org/abs/2502.04075

الملخص

تعالج هذه الورقة أوجه القصور في نماذج اللغة الكبيرة (LLMs) في التعبير العاطفي، وتقترح إطار عمل لتوليد عاطفة قابلة للتحكم بناءً على متجهات العاطفة (Emotion Vectors, EVs). تعمل هذه الطريقة على استخراج الفروقات في التنشيط الداخلي بين الاستجابات المحايدة والمشروطة بالعاطفة، وبناء تمثيلات كامنة، وحقن هذه المتجهات في الحالات المخفية لنماذج اللغة المدربة مسبقاً أثناء الاستدلال، مما يحقق تعديلاً دقيقاً ومستمراً للنبرة العاطفية دون الحاجة إلى تدريب إضافي أو تعديل معماري. يثبت التحليل النظري أن توجيه EV يعزز القدرة على التعبير العاطفي مع الحفاظ على الدقة الدلالية والسلاسة اللغوية.

السياق البحثي والدافع

تعريف المشكلة

على الرغم من أن نماذج اللغة الكبيرة الحالية تتفوق في الاستدلال وتوليد المعرفة، إلا أنها تعاني من نقص ملحوظ في التعبير العاطفي:

  1. عدم اتساق التعبير العاطفي: المحتوى الذي تولده النماذج إما محايد عاطفياً أو غير متسق في النبرة أو غير قابل للتحكم في التوجه العاطفي
  2. نقص الذكاء العاطفي: في مجالات التعليم والرعاية الصحية والصحة النفسية، غالباً ما تفشل الاستجابات الواقعية البحتة والخالية من العاطفة في تلبية توقعات المستخدمين
  3. محدودية السيناريوهات التطبيقية: يحد نقص القدرة على التعبير العاطفي من تطبيق أنظمة الذكاء الاصطناعي في سيناريوهات التفاعل بين الإنسان والآلة التي تتطلب الرنين العاطفي

أهمية البحث

العاطفة هي مكون أساسي في التواصل البشري وتلعب دوراً مهماً في عدة مجالات حاسمة:

  • مجال التعليم: يمكن لتشجيع المعلم وصبره أن يؤثر بشكل كبير على دافعية الطالب والمثابرة
  • الرعاية الصحية: يمكن للمشاركة العاطفية للطبيب والتواصل المتعاطف أن يحسن الامتثال للعلاج والرضا والمسار السريري للشفاء
  • الصحة النفسية: القدرة على الرنين العاطفي هي شرط أساسي لتقديم الدعم ذي المعنى

حدود الطرق الموجودة

  1. طرق ضبط التعليمات: غالباً ما تكون غير مرنة بما يكفي وتصعب التكيف مع التطبيقات الواسعة والمعماريات المختلفة
  2. استراتيجيات الإشارات: تعتمد على قوالب مصممة بعناية وعلى وحدات تقييم خارجية
  3. تحرير المتجهات في وقت الاستدلال: يركز بشكل أساسي على موضع الرمز الأخير، ويفتقر إلى المعنى العام، ويصعب تطبيقه على المهام مثل العاطفة التي تتطلب قابلية تعميم عالية

المساهمات الأساسية

  1. اقتراح إطار عمل لتوليد عاطفة قابلة للتحكم بناءً على متجهات العاطفة (EV): من خلال مقارنة استجابات النموذج تحت التحريض العاطفي والإشارات المحايدة لاستخراج متجهات عاطفية قابلة لإعادة الاستخدام وفعالة
  2. تحقيق التحكم العاطفي غير الخاضع للإشراف وعالي الثبات: بدون تدريب أو تغيير معماري، مع اتساق عام
  3. توفير تحليل نظري صارم: إثبات أن توجيه EV يعزز التعبير العاطفي مع الحفاظ على الدقة الدلالية
  4. بناء مجموعة بيانات تقييم متخصصة: مجموعات بيانات EmotionQuery و EmotionQuery+ لتقييم توليد العاطفة
  5. تحقيق التحكم الدقيق المستمر: من خلال التحجيم العددي لتوفير تحكم دقيق ومستمر في شدة العاطفة، مع دعم قابلية التطبيق الواسعة عبر عائلات النماذج

شرح الطريقة

تعريف المهمة

بالنظر إلى نموذج لغة مدرب مسبقاً M وحالة عاطفية مستهدفة e∈{joy, anger, disgust, fear, sadness}، الهدف من المهمة هو تعديل التمثيلات الداخلية للنموذج في وقت الاستدلال للتحكم في النبرة العاطفية للنص المُولّد، مع الحفاظ على المحتوى الدلالي والسلاسة اللغوية.

المعمارية النموذجية

بناء متجهات العاطفة

  1. بناء مجموعة البيانات: إنشاء مجموعة بيانات EmotionQuery تحتوي على 500 استعلام، 100 استعلام لكل حالة عاطفية
  2. التقاط المخرجات الداخلية: لكل استعلام، يولد النموذج تمثيلات داخلية في الإعدادات المحايدة والعاطفية 
    Ōl = (1/T) Σ(t=1 to T) Ol[t]
  3. قياس الانحراف العاطفي: حساب الفرق في المخرجات بين الإعدادات العاطفية والمحايدة 
    ΔO^(ek)_l = Ō^(emotion(ek))_l - Ō^(neutral)_l
  4. بناء متجهات العاطفة: متوسط الانحرافات العاطفية عبر مجموعة البيانات 
    EV^(ek)_l = (1/N) Σ(i=1 to N) ΔO^(i,ek)_l

توجيه متجهات العاطفة

في وقت الاستدلال، يتم تطبيق متجهات العاطفة من خلال تعديل الحالات المخفية في كل طبقة:

Ĥl = Hl + αEV^(ek)_l

حيث α هو عامل التحجيم الذي يتحكم في شدة العاطفة.

نقاط الابتكار التقني

  1. الاتساق العام: بخلاف الطرق السابقة التي ركزت بشكل أساسي على التحكم على مستوى الجملة، تحقق هذه الطريقة التحكم العاطفي العام
  2. بدون الحاجة إلى التدريب: تعمل بالكامل في وقت الاستدلال، بدون الحاجة إلى تعديل معاملات النموذج
  3. التحكم المستمر: تحقيق التعديل المستمر لشدة العاطفة من خلال عامل عددي α
  4. الإضافية: يمكن دمج عدة عواطف خطياً: Σk αk EV^(ek)_l

إعداد التجارب

مجموعات البيانات

  1. EmotionQuery: 500 استعلام، تغطي 5 عواطف أساسية، 100 لكل منها
  2. EmotionQuery+ (EQ+): نسخة موسعة من 400 استعلام، تحتوي على 250 استعلام عاطفي و 150 استعلام محايد

مؤشرات التقييم

  1. سلاسة الجملة: استخدام Llama 3.1 لحساب الارتباك (Perplexity)
  2. اتساق الموضوع: استخدام GPT-4o-mini لتقييم محاذاة الاستجابة المُولّدة مع استعلام المستخدم
  3. درجة احتمالية العاطفة (EPS): استخدام مصنف bart-large-mnli لقياس احتمالية التعبير العاطفي
  4. درجة العاطفة المطلقة (EAS): استخدام GPT-4o-mini لتقييم خمس عواطف أساسية على مقياس 0-100
  5. ثقة العاطفة المستهدفة (TEC): قياس ثقة المصنف في العاطفة المستهدفة

طرق المقارنة

  • النموذج الأصلي (بدون EV)
  • تطبيق EV بشدات مختلفة (-1×EV, 1×EV, 2×EV, 4×EV)
  • طرق أساسية قائمة على الإشارات والضبط الدقيق

تفاصيل التنفيذ

  • اختبار 11 نموذج لغة كبير ممثل، بما في ذلك سلسلة Llama وسلسلة Qwen و Baichuan2 وغيرها
  • استخدام متجه عاطفة أساسي EVbase (متوسط جميع متجهات العاطفة) للتعديل العاطفي العام

نتائج التجارب

النتائج الرئيسية

السلاسة واتساق الموضوع

  • نتائج الارتباك: تطبيق EV له تأثير ضئيل جداً على سلاسة الجملة، وفي بعض الحالات يحسنها حتى
  • اتساق الموضوع: تحافظ معظم النماذج على اتساق عالي مع الاستجابات الأصلية بعد تطبيق EV

القدرة على التعبير العاطفي

  • درجة احتمالية العاطفة: بعد تطبيق 2×EV، تحسنت درجة احتمالية العاطفة بشكل كبير لمعظم النماذج، مثل Llama3.1 و Qwen2 و MiniCPM التي وصلت إلى 1.000 و 0.9825 و 0.9950
  • درجة العاطفة المطلقة: بعد تطبيق 1×EV، زادت EAS لمعظم النماذج بما لا يقل عن 400%، بينما أدى -1×EV إلى تقليل EAS بنسبة تقارب 90%

تجارب الاستئصال

تأثير شدات EV المختلفة

النموذج0×1×2×4×
Llama2-7B (anger)21.40%45.93%98.07%90.71%
Qwen2.5-7B (anger)14.01%33.36%94.89%95.68%

تظهر النتائج أن شدات 1× و 2× EV يمكنها تعزيز محاذاة العاطفة بشكل كبير، مع ظهور تناقص في الفوائد وحتى تدهور طفيف عند شدة 4×.

تحليل الحالات

توفر الورقة حالات غنية توضح التغييرات في المخرجات تحت ظروف عاطفية مختلفة:

  • حالة الغضب: يتحول النموذج من استجابة محايدة إلى "I'm so angry and frustrated! I've been busting my butt..."
  • حالة السعادة: توليد "I was absolutely over the moon! My heart was bursting with love!"

النتائج التجريبية

  1. القابلية للتحكم الخطي: تتناسب شدة العاطفة بشكل تقريبي خطي مع عامل التحجيم α
  2. التعميم عبر النماذج: تكون الطريقة فعالة عبر نماذج بمعماريات وأحجام مختلفة
  3. الخصوصية العاطفية: يمكن لمتجهات عاطفية مختلفة توجيه النموذج بشكل موثوق لإنتاج التعبير العاطفي المقابل

التحليل النظري

الأساس الرياضي

توفر الورقة إثباتاً نظرياً صارماً، بناءً على توسع تايلور من الدرجة الأولى:

  1. الكسب العاطفي الرتيب: إذا كان اتجاه التمييز الخطي لـ Fisher متوافقاً مع EV بالمعنى المتوسط، فإن α الموجب الصغير يزيد بشكل رتيب من درجة العاطفة المستهدفة
  2. الحفاظ على الدلالات: نظراً لأن EV يتم بناؤه من أزواج الإشارات الدلالية المتطابقة ولكن المختلفة عاطفياً، فإن إسقاطه على تدرج الدلالات يقترب من الصفر
  3. القابلية للتحكم الخطي: الاعتماد الخطي لشدة العاطفة على α، وقابلية الدمج الخطي لعدة عواطف

القرب من الأمثلية

في معنى تحليل التمييز الخطي لـ Fisher، يقترب بناء EV من الأمثلية الإحصائية: تحت التقريب المبيض، يكون اتجاه Fisher الأمثل موازياً لمتجه الفرق المتوسط.

الأعمال ذات الصلة

تمثيل العاطفة وأنظمة الحوار

  • الطرق التصنيفية (العواطف المنفصلة مثل joy و sadness و anger)
  • الطرق البعدية (مقاييس الفعالية والإثارة)
  • الطرق الموجودة معقدة جداً أو تتطلب تدريباً إضافياً

ضبط التعليمات والتحكم العاطفي القائم على الإشارات

  • غالباً ما تكون طرق الضبط الدقيق غير مرنة بما يكفي وتصعب التكيف مع التطبيقات الواسعة
  • تعتمد استراتيجيات الإشارات على قوالب مصممة بعناية

تحرير المتجهات في وقت الاستدلال

  • تركز الطرق الموجودة بشكل أساسي على موضع الرمز الأخير، وتفتقر إلى المعنى العام
  • معظم الأعمال المتعلقة بمتجهات التحكم هي تحكم على مستوى الجملة، وتتطلب تدريباً

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. توجيه EV يوفر طريقة فعالة وقابلة للتفسير: لسد الفجوة بين الاستدلال العقلاني والفهم العاطفي في نماذج اللغة الكبيرة
  2. تحقيق التحكم العاطفي الدقيق: تحقيق تعديل عاطفي مستمر وقابل للتحكم دون الحاجة إلى تدريب إضافي
  3. الحفاظ على الدقة الدلالية: يثبت كل من النظرية والتجارب أن الطريقة تعزز التعبير العاطفي مع الحفاظ على الاتساق الدلالي

القيود

  1. تأثير التشبع عند شدات EV العالية: قد تؤدي الشدة 4× إلى تكرار المخرجات وتدهور الأداء
  2. اعتماد سعة EV على النموذج: قد تستخرج بعض النماذج (مثل Llama-3.1) متجهات عاطفية بسعة أكبر، مما قد يؤثر على فك التشفير اللاحق
  3. قيود العواطف الأساسية: يركز حالياً بشكل أساسي على خمس عواطف أساسية، ولا تزال معالجة العواطف المعقدة قيد الاستكشاف

الاتجاهات المستقبلية

  1. التوسع إلى حالات عاطفية أكثر تعقيداً
  2. تحسين استراتيجيات استخراج وتطبيق EV
  3. استكشاف التحكم العاطفي متعدد الأنماط
  4. دراسة الجمع بين العاطفة والتخصيص

التقييم المتعمق

المميزات

  1. قوة الابتكار الطريقة: أول من يقترح طريقة توجيه متجهات عاطفية متسقة عام، مما يحقق التحكم العاطفي الدقيق دون الحاجة إلى التدريب
  2. أساس نظري متين: توفير إثبات رياضي صارم، وشرح القرب من الأمثلية من منظور تحليل التمييز الخطي لـ Fisher
  3. تجارب شاملة وكافية: إجراء تجارب واسعة على 11 نموذج لغة مختلف، مع مؤشرات تقييم متنوعة ومعقولة
  4. قيمة عملية عالية: الطريقة بسيطة وسهلة التنفيذ، مع قابلية تعميم جيدة عبر النماذج

أوجه القصور

  1. أنواع عاطفية محدودة: تم النظر فقط في خمس عواطف أساسية، والقدرة على معالجة حالات عاطفية معقدة غير معروفة
  2. التكيف الثقافي: لم يتم النظر في الاختلافات في التعبير العاطفي عبر الخلفيات الثقافية المختلفة
  3. اتساق النصوص الطويلة: تحتاج تأثيرات الحفاظ على اتساق العاطفة في الحوارات الطويلة أو على مستوى المستند إلى مزيد من التحقق
  4. تحليل التكلفة الحسابية: يفتقد تحليل مفصل لتأثير الطريقة على التعقيد الحسابي وسرعة الاستدلال

التأثير

  1. المساهمة الأكاديمية: توفير نموذج بحثي جديد لمجالات الحوسبة العاطفية وتوليد النصوص القابل للتحكم
  2. القيمة العملية: آفاق تطبيق واسعة في مجالات التعليم والرعاية الصحية والصحة النفسية وغيرها
  3. قابلية الاستنساخ: التزم المؤلفون بفتح مصدر الكود ومجموعات البيانات، مما يفيد الأبحاث اللاحقة

السيناريوهات القابلة للتطبيق

  1. مساعدات التعليم بالذكاء الاصطناعي: توفير دعم تعليمي شخصي وعاطفي مناسب
  2. أنظمة الحوار الطبي: تعزيز الرنين العاطفي في التواصل بين الطبيب والمريض
  3. دعم الصحة النفسية: بناء مستشارين ذكاء اصطناعي أكثر تعاطفاً
  4. روبوتات خدمة العملاء: تحسين تجربة المستخدم والرضا

المراجع

تستشهد الورقة بأبحاث ذات صلة غنية، تشمل بشكل أساسي:

  • الأساس النظري للعاطفة: نموذج العواطف الأساسية لـ Ekman
  • نماذج اللغة الكبيرة: سلسلة Llama وسلسلة Qwen والنماذج السائدة الأخرى
  • الحوسبة العاطفية: استخدام نموذج MNLI للتصنيف العاطفي
  • تحرير المتجهات: طرق التدخل ذات الصلة في وقت الاستدلال

التقييم الشامل: هذه ورقة بحثية عالية الجودة تقترح طريقة توجيه متجهات عاطفية مبتكرة، مع أساس نظري متين وتحقق تجريبي شامل. يوفر هذا العمل مسار تقني فعال لبناء أنظمة ذكاء اصطناعي أكثر ذكاءً عاطفياً، مع قيمة أكاديمية وعملية مهمة.