2025-11-25T10:34:17.502250

From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models

Dong, Jin, Yang et al.
Purpose: Emotion is a fundamental component of human communication, shaping understanding, trust, and engagement across domains such as education, healthcare, and mental health. While large language models (LLMs) exhibit strong reasoning and knowledge generation capabilities, they still struggle to express emotions in a consistent, controllable, and contextually appropriate manner. This limitation restricts their potential for authentic human-AI interaction. Methods: We propose a controllable emotion generation framework based on Emotion Vectors (EVs) - latent representations derived from internal activation shifts between neutral and emotion-conditioned responses. By injecting these vectors into the hidden states of pretrained LLMs during inference, our method enables fine-grained, continuous modulation of emotional tone without any additional training or architectural modification. We further provide theoretical analysis proving that EV steering enhances emotional expressivity while maintaining semantic fidelity and linguistic fluency. Results: Extensive experiments across multiple LLM families show that the proposed approach achieves consistent emotional alignment, stable topic adherence, and controllable affect intensity. Compared with existing prompt-based and fine-tuning-based baselines, our method demonstrates superior flexibility and generalizability. Conclusion: Emotion Vector (EV) steering provides an efficient and interpretable means of bridging rational reasoning and affective understanding in large language models, offering a promising direction for building emotionally resonant AI systems capable of more natural human-machine interaction.
academic

합리적 답변에서 정서적 공명으로: 언어 모델의 제어 가능한 감정 생성의 역할

기본 정보

  • 논문 ID: 2502.04075
  • 제목: From Rational Answers to Emotional Resonance: The Role of Controllable Emotion Generation in Language Models
  • 저자: Yurui Dong, Luozhijie Jin, Yao Yang, Bingjie Lu, Jiaxi Yang, Zhi Liu
  • 분류: cs.CL (계산 언어학)
  • 발표 시간: 2025년 2월 (arXiv 사전 인쇄본)
  • 논문 링크: https://arxiv.org/abs/2502.04075

초록

본 논문은 대규모 언어 모델(LLMs)의 감정 표현 부족을 해결하기 위해 감정 벡터(Emotion Vectors, EVs)를 기반으로 한 제어 가능한 감정 생성 프레임워크를 제안합니다. 이 방법은 중립적 응답과 감정 조건부 응답 간의 내부 활성화 차이를 추출하여 잠재 표현을 구성하고, 추론 시 이러한 벡터를 사전 학습된 LLM의 숨겨진 상태에 주입함으로써 추가 학습이나 아키텍처 수정 없이 감정 톤의 정밀한 연속 조절을 실현합니다. 이론적 분석은 EV 유도가 감정 표현력을 강화하면서 의미론적 충실성과 언어 유창성을 유지함을 증명합니다.

연구 배경 및 동기

문제 정의

현재의 대규모 언어 모델은 추론과 지식 생성 측면에서 우수하지만, 감정 표현 측면에서 현저한 부족함이 있습니다:

  1. 감정 표현의 불일치: 모델이 생성한 내용은 감정적으로 중립적이거나, 톤이 일관되지 않거나, 감정 방향이 제어 불가능함
  2. 감정 지능 부족: 교육, 의료, 정신 건강 등의 분야에서 순수하게 사실적이지만 감정적으로 냉담한 응답은 사용자의 기대를 충족하지 못함
  3. 응용 시나리오 제한: 감정 표현 능력의 부재는 감정적 공명이 필요한 인간-AI 상호작용 시나리오에서 AI 시스템의 응용을 제한함

연구의 중요성

감정은 인간 커뮤니케이션의 기본 구성 요소이며 여러 핵심 분야에서 중요한 역할을 합니다:

  • 교육 분야: 교사의 격려와 인내심은 학생의 동기 부여와 지속성에 상당한 영향을 미침
  • 의료 보건: 의사의 감정적 참여와 공감적 소통은 환자의 순응도, 만족도, 심지어 임상 회복 궤적을 개선함
  • 정신 건강: 감정적 공명 능력은 의미 있는 지원을 제공하기 위한 전제 조건

기존 방법의 한계

  1. 지시 조정 방법: 충분히 유연하지 않으며 광범위한 응용 및 모델 아키텍처에 적응하기 어려움
  2. 프롬프트 전략: 신중하게 설계된 템플릿과 외부 평가 모듈에 의존
  3. 추론 시 벡터 편집: 주로 마지막 토큰 위치에 초점을 맞추며, 전역적 의미가 부족하고 높은 일반화가 필요한 감정 작업에 적용하기 어려움

핵심 기여

  1. 감정 벡터(EV) 기반의 제어 가능한 감정 생성 프레임워크 제안: 감정 유도 및 중립 프롬프트의 모델 응답을 비교하여 재사용 가능하고 효율적인 감정 벡터 추출
  2. 비감독적이고 높은 견고성의 감정 제어 실현: 학습이나 아키텍처 변경 없이 전역 일관성 달성
  3. 엄격한 이론적 분석 제공: EV 유도가 감정 표현을 강화하면서 의미론적 충실성을 유지함을 증명
  4. 전문화된 평가 데이터셋 구축: 감정 생성 평가를 위한 EmotionQuery 및 EmotionQuery+ 데이터셋
  5. 연속 정밀 제어 실현: 스칼라 스케일링을 통해 감정 강도의 연속 정밀 제어 제공, 모델 계열 전반에 걸친 광범위한 적용성 지원

방법 상세 설명

작업 정의

사전 학습된 언어 모델 M과 목표 감정 상태 e∈{joy, anger, disgust, fear, sadness}가 주어졌을 때, 작업의 목표는 추론 시 모델 내부 표현을 수정하여 생성 텍스트의 감정 톤을 제어하면서 의미론적 내용과 언어 유창성을 유지하는 것입니다.

모델 아키텍처

감정 벡터 구성

  1. 데이터셋 구축: 500개의 쿼리를 포함하는 EmotionQuery 데이터셋 생성, 각 감정 상태당 100개
  2. 내부 출력 캡처: 각 쿼리에 대해 모델이 중립 및 감정 설정에서 내부 표현 생성 
    Ōl = (1/T) Σ(t=1 to T) Ol[t]
  3. 감정 오프셋 측정: 감정 및 중립 설정에서의 출력 차이 계산 
    ΔO^(ek)_l = Ō^(emotion(ek))_l - Ō^(neutral)_l
  4. 감정 벡터 구성: 데이터셋에서 감정 오프셋 평균화 
    EV^(ek)_l = (1/N) Σ(i=1 to N) ΔO^(i,ek)_l

감정 벡터 유도

추론 시 각 계층의 숨겨진 상태를 수정하여 감정 벡터 적용:

Ĥl = Hl + αEV^(ek)_l

여기서 α는 감정 강도를 제어하는 스케일링 인수입니다.

기술적 혁신점

  1. 전역 일관성: 이전의 주로 문장 수준 제어에 초점을 맞춘 방법과 달리, 본 방법은 전역 감정 제어 실현
  2. 학습 불필요: 완전히 추론 시에 작동하며 모델 매개변수 수정 불필요
  3. 연속 제어: 스칼라 α를 통해 감정 강도의 연속 조절 실현
  4. 가산성: 여러 감정을 선형 결합 가능: Σk αk EV^(ek)_l

실험 설정

데이터셋

  1. EmotionQuery: 500개의 쿼리, 5가지 기본 감정 포함, 각각 100개
  2. EmotionQuery+ (EQ+): 400개 쿼리의 확장 버전, 250개의 감정 쿼리 및 150개의 중립 쿼리 포함

평가 지표

  1. 문장 유창성: Llama 3.1을 사용하여 혼동도(Perplexity) 계산
  2. 주제 일관성: GPT-4o-mini를 사용하여 생성 응답과 사용자 쿼리의 주제 정렬도 평가
  3. 감정 확률 점수(EPS): bart-large-mnli 분류기를 사용하여 감정 표현 확률 측정
  4. 감정 절대 점수(EAS): GPT-4o-mini를 사용하여 5가지 기본 감정에 대해 0-100 점수 부여
  5. 목표 감정 신뢰도(TEC): 분류기의 목표 감정에 대한 신뢰도 측정

비교 방법

  • 원본 모델(EV 없음)
  • 다양한 강도의 EV 적용(-1×EV, 1×EV, 2×EV, 4×EV)
  • 프롬프트 및 미세 조정 기반 기준선 방법

구현 세부 사항

  • Llama 계열, Qwen 계열, Baichuan2 등을 포함한 11개의 대표적 대규모 언어 모델 테스트
  • 범용 감정 조절을 위해 기본 감정 벡터 EVbase(모든 감정 벡터의 평균) 사용

실험 결과

주요 결과

유창성 및 주제 일관성

  • 혼동도 결과: EV 적용이 문장 유창성에 미미한 영향을 미치며, 일부 경우 개선됨
  • 주제 일관성: 대부분의 모델이 EV 적용 후 원본 응답과 비슷한 높은 주제 일관성 유지

감정 표현 능력

  • 감정 확률 점수: 2×EV 적용 후, 대부분의 모델의 감정 확률 점수가 현저히 향상, Llama3.1, Qwen2, MiniCPM이 각각 1.000, 0.9825, 0.9950 달성
  • 감정 절대 점수: 1×EV 적용 후, 대부분의 모델의 EAS가 최소 400% 증가, -1×EV는 EAS를 거의 90% 감소

소거 실험

다양한 EV 강도의 효과

모델0×1×2×4×
Llama2-7B (anger)21.40%45.93%98.07%90.71%
Qwen2.5-7B (anger)14.01%33.36%94.89%95.68%

결과는 1×과 2×EV가 감정 정렬을 현저히 강화하며, 4× 강도에서는 수익 감소 및 경미한 성능 저하가 나타남을 보여줍니다.

사례 분석

논문은 다양한 감정 조건에서의 출력 변화를 보여주는 풍부한 사례 제공:

  • 분노 조건: 모델이 중립 응답에서 "I'm so angry and frustrated! I've been busting my butt..."로 변환
  • 기쁨 조건: "I was absolutely over the moon! My heart was bursting with love!" 생성

실험 발견

  1. 선형 제어 가능성: 감정 강도와 스케일링 인수 α 간의 근사 선형 관계
  2. 모델 간 일반화: 방법이 다양한 아키텍처 및 규모의 모델에서 효과적
  3. 감정 특이성: 다양한 감정 벡터가 모델이 해당 감정 표현을 생성하도록 안정적으로 유도

이론적 분석

수학적 기초

논문은 1차 테일러 전개를 기반으로 엄격한 이론적 증명 제공:

  1. 단조 감정 이득: Fisher 판별 방향이 평균 의미에서 EV와 정렬되면, 작은 양의 α는 목표 감정 점수를 단조 증가
  2. 의미론적 보존: EV가 의미론적으로 동일하지만 감정이 다른 프롬프트 쌍에서 구성되므로, 의미론적 기울기에 대한 투영은 근사적으로 0
  3. 선형 제어 가능성: 감정 강도의 α에 대한 선형 의존성, 다중 감정의 가산성 결합

근사 최적성

Fisher 선형 판별 분석 의미에서, EV 구성은 통계적 최적성에 근접: 백색화 근사 하에서, 최적 Fisher 방향은 평균 차 벡터와 평행합니다.

관련 연구

감정 표현 및 대화 시스템

  • 분류 방법(joy, sadness, anger 등의 이산 감정)
  • 차원 방법(효가-각성 척도)
  • 기존 방법은 과도하게 복잡하거나 추가 학습 필요

지시 조정 및 프롬프트 기반 감정 제어

  • 미세 조정 방법은 충분히 유연하지 않으며 광범위한 응용에 적응하기 어려움
  • 프롬프트 전략은 신중하게 설계된 템플릿에 의존

추론 시 벡터 편집

  • 기존 방법은 주로 마지막 토큰 위치에 초점을 맞추며, 전역적 의미 부족
  • 대부분의 제어 벡터 관련 연구는 문장 수준 제어이며 학습 필요

결론 및 논의

주요 결론

  1. EV 유도는 효율적이고 해석 가능한 방법 제공: 대규모 언어 모델에서 합리적 추론과 감정 이해를 연결
  2. 정밀한 감정 제어 실현: 추가 학습 없이 연속적이고 제어 가능한 감정 조절 실현
  3. 의미론적 충실성 유지: 이론 및 실험 모두 방법이 감정 표현을 강화하면서 의미론적 일관성을 유지함을 증명

한계

  1. 높은 강도 EV의 포화 효과: 4× 강도에서 반복 출력 및 성능 저하 가능
  2. EV 크기의 모델 의존성: 일부 모델(예: Llama-3.1)에서 추출된 EV 크기가 더 크며, 후속 디코딩에 영향을 미칠 수 있음
  3. 기본 감정 제한: 현재 5가지 기본 감정에 주로 초점을 맞추며, 복잡한 감정의 처리는 추가 탐색 필요

향후 방향

  1. 더 복잡한 감정 상태로 확장
  2. EV 추출 및 적용 전략 최적화
  3. 다중 모달 감정 제어 탐색
  4. 감정과 개인화의 결합 연구

심층 평가

장점

  1. 방법의 혁신성 강함: 학습 없이 정밀한 감정 제어를 실현하는 전역 일관적 감정 벡터 유도 방법 최초 제안
  2. 이론적 기초 견고함: Fisher 판별 분석 관점에서 방법의 근사 최적성을 설명하는 엄격한 수학적 증명 제공
  3. 실험 충분하고 포괄적: 11개의 다양한 모델에서 광범위한 실험 수행, 평가 지표 다양하고 합리적
  4. 실용적 가치 높음: 방법이 간단하고 구현하기 쉬우며, 우수한 모델 간 일반화 능력

부족한 점

  1. 감정 종류 제한: 5가지 기본 감정만 고려, 복잡한 감정 상태의 처리 능력 미지수
  2. 문화적 적응성: 다양한 문화 배경에서의 감정 표현 차이 미고려
  3. 장문 일관성: 긴 대화 또는 문서 수준의 감정 일관성 유지 효과 추가 검증 필요
  4. 계산 오버헤드 분석 부족: 방법의 계산 복잡도 및 추론 속도 영향에 대한 상세 분석 부재

영향력

  1. 학술적 기여: 감정 계산 및 제어 가능한 텍스트 생성 분야에 새로운 연구 패러다임 제공
  2. 실용적 가치: 교육, 의료, 정신 건강 등의 분야에서 광범위한 응용 전망
  3. 재현 가능성: 저자가 코드 및 데이터셋 공개 약속, 후속 연구 촉진

적용 시나리오

  1. 교육 AI 어시스턴트: 개인화되고 감정적으로 적절한 학습 지원 제공
  2. 의료 대화 시스템: 의료진-환자 커뮤니케이션의 감정적 공명 강화
  3. 정신 건강 지원: 더욱 공감 능력이 있는 AI 상담사 구축
  4. 고객 서비스 로봇: 사용자 경험 및 만족도 향상

참고 문헌

논문은 풍부한 관련 연구를 인용하며, 주요 내용은 다음을 포함합니다:

  • 감정 이론 기초: Ekman의 기본 감정 모델
  • 대규모 언어 모델: Llama 계열, Qwen 계열 등 주류 모델
  • 감정 계산: 감정 분류를 위한 MNLI 모델
  • 벡터 편집: 관련 추론 시 개입 방법

전체 평가: 이것은 혁신적인 감정 벡터 유도 방법을 제안하는 높은 품질의 연구 논문이며, 이론적 기초가 견고하고 실험 검증이 충분합니다. 본 연구는 더욱 감정 지능을 갖춘 AI 시스템 구축을 위한 효과적인 기술 경로를 제공하며, 중요한 학술적 가치와 실용적 의의를 가집니다.