2025-11-12T04:28:10.201322

AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation

Wang, Wang, Wu et al.
Constrained by the cost and ethical concerns of involving real seekers in AI-driven mental health, researchers develop LLM-based conversational agents (CAs) with tailored configurations, such as profiles, symptoms, and scenarios, to simulate seekers. While these efforts advance AI in mental health, achieving more realistic seeker simulation remains hindered by two key challenges: dynamic evolution and multi-session memory. Seekers' mental states often fluctuate during counseling, which typically spans multiple sessions. To address this, we propose AnnaAgent, an emotional and cognitive dynamic agent system equipped with tertiary memory. AnnaAgent incorporates an emotion modulator and a complaint elicitor trained on real counseling dialogues, enabling dynamic control of the simulator's configurations. Additionally, its tertiary memory mechanism effectively integrates short-term and long-term memory across sessions. Evaluation results, both automated and manual, demonstrate that AnnaAgent achieves more realistic seeker simulation in psychological counseling compared to existing baselines. The ethically reviewed and screened code can be found on https://github.com/sci-m-wang/AnnaAgent.
academic

AnnaAgent: 현실적 구직자 시뮬레이션을 위한 다중 세션 메모리 기반 동적 진화 에이전트 시스템

기본 정보

  • 논문 ID: 2506.00551
  • 제목: AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation
  • 저자: Ming Wang, Peidong Wang, Lin Wu, Xiaocui Yang, Daling Wang, Shi Feng, Yuxin Chen, Bixuan Wang, Yifei Zhang
  • 분류: cs.CL cs.AI
  • 발표 시간: 2025년 6월 10일 (arXiv 프리프린트)
  • 논문 링크: https://arxiv.org/abs/2506.00551

초록

AI 기반 정신건강 연구에서 실제 구직자를 포함하는 것의 비용과 윤리적 문제로 인해, 연구자들은 개인 프로필, 증상 및 시나리오와 같은 맞춤형 구성을 사용하여 구직자를 시뮬레이션하기 위해 LLM 기반 대화 에이전트(CA)를 개발했습니다. 이러한 노력이 정신건강 분야에서 AI 응용을 발전시켰지만, 더욱 현실적인 구직자 시뮬레이션을 구현하는 데는 두 가지 핵심 과제가 남아 있습니다: 동적 진화와 다중 세션 메모리입니다. 구직자의 심리 상태는 일반적으로 여러 세션에 걸쳐 있는 상담 과정에서 자주 변동합니다. 이 문제를 해결하기 위해 본 논문은 3단계 메모리를 갖춘 정서 및 인지 동적 에이전트 시스템인 AnnaAgent를 제안합니다. AnnaAgent는 실제 상담 대화로 훈련된 정서 조절기 및 주호소 안내기를 통합하여 시뮬레이터의 구성을 동적으로 제어할 수 있습니다. 또한 3단계 메모리 메커니즘은 세션 간 단기 및 장기 메모리를 효과적으로 통합합니다. 평가 결과는 AnnaAgent가 기존 기준선보다 더욱 현실적인 구직자 시뮬레이션을 심리 상담에서 달성했음을 보여줍니다.

연구 배경 및 동기

문제 정의

본 연구가 해결하고자 하는 핵심 문제는 AI 기반 정신건강 연구에서 구직자 행동을 어떻게 더욱 현실적으로 시뮬레이션할 것인가입니다. 구체적으로:

  1. 비용 및 윤리적 제약: 많은 실제 구직자를 포함한 연구는 비용이 많이 들 뿐만 아니라 윤리적 문제를 야기할 수 있음
  2. 기존 시뮬레이션 방법의 부족: 현재 LLM 기반 대화 에이전트는 구직자 시뮬레이션 시 정서 표현의 평탄함, 제안에 대한 과도한 수용 등의 문제 존재
  3. 동적성 부족: 기존 방법은 상담 과정에서 구직자의 정서 변동 및 인지 변화를 시뮬레이션할 수 없음
  4. 다중 세션 메모리 부재: 심리 상담은 일반적으로 장기적이고 다중 세션의 과정이지만, 기존 방법은 세션 간 메모리 메커니즘 부족

연구의 중요성

정신건강 문제는 현대 사회가 직면한 중요한 과제이며, 훈련된 치료사의 수는 제한적입니다. AI 기술은 정신건강 지원에 거대한 잠재력을 가지고 있지만, 더욱 현실적인 구직자 시뮬레이션이 필요합니다:

  • 데이터 구축 및 효과 평가 수행
  • 심리 상담사 훈련
  • 심리학 연구 및 실험 수행

기존 방법의 한계

문헌 조사를 통해 저자들은 기존 구직자 시뮬레이션 방법의 다음과 같은 문제점을 발견했습니다:

  1. 정적 구성: 정서 및 증상 인식이 전체 상담 과정에서 변하지 않음
  2. 메모리 메커니즘 부재: 이전 세션 내용을 포함하는 대화 처리 불가능
  3. 비현실적 행동: 제안에 대한 과도한 동의, 순종적 태도, 평탄한 정서 표현

핵심 기여

  1. 최초 제시: 동적 진화와 다중 세션 메모리 두 가지 핵심 과제를 제시하고, 동적 진화를 정서 및 주호소의 변화로 형식화하며, 다중 세션 메모리를 다양한 단계로 분류
  2. AnnaAgent 시스템 설계: 3단계 메모리를 갖춘 정서 및 인지 동적 에이전트 시스템으로, 대화 중 정서 및 증상 인식 변화를 제어하여 상담 중 동적 진화 시뮬레이션
  3. 시스템 유효성 검증: 실험 평가를 통해 AnnaAgent가 심리 상담에서 구직자 행동을 더욱 현실적으로 시뮬레이션할 수 있음을 증명

방법론 상세 설명

작업 정의

구직자 시뮬레이션 작업은 LLM에 역할 구성을 할당해야 하며, 다음을 포함합니다:

  • 프로필(Profile): 기본 개인 정보 (나이, 성별, 직업 등)
  • 주호소(Complaint): 구직자의 증상 인식 및 주요 문제
  • 상황(Situation): 생활 환경 및 경험한 사건
  • 상태(Status): 신체 및 심리 관련 상태
  • 정서(Emotion): 기대되는 정서 반응 스타일

모델 아키텍처

AnnaAgent는 두 개의 주요 에이전트 그룹을 포함하는 다중 에이전트 시스템 아키텍처를 채택합니다:

1. 동적 진화 제어 그룹

정서 조절:

  • 정서 추론기: Qwen2.5-7B-Instruct를 기반으로 훈련되며, D4 데이터셋을 사용하여 실제 상담에서의 정서 진화 패턴 학습
  • 정서 교란기: 고정된 정서 변화 패턴을 피하기 위해 무작위 교란을 도입하며, 정서 거리에 따라 확률 가중치 할당:

P(emoT)=w(d(GT,GB)×∣GT∣)∑Gjw(d(GB,Gj))×∣Gj∣P(emo_T) = \frac{w(d(G_T, G_B) \times |G_T|)}{\sum_{G_j} w(d(G_B, G_j)) \times |G_j|}

여기서 GBG_B와 GTG_T는 각각 기본 및 목표 정서 그룹을 나타내고, d(⋅)d(\cdot)는 정서 그룹 간 거리를 나타냅니다.

주호소 안내:

  • 주호소 체인 생성: 구직자 구성 및 최근 사건을 기반으로 주호소 변화 체인 생성
  • 주호소 전환 제어: 알고리즘을 통해 체인의 다음 단계 주호소로 전환할지 여부 판단

2. 3단계 메모리 스케줄링 그룹

  • 실시간 메모리: 현재 세션의 대화 내용
  • 단기 메모리: 최근 사건 및 상태 변화로, 자기보고 척도를 통해 포착
  • 장기 메모리: 이전 세션의 대화 및 척도 기록으로, Agentic RAG를 통해 스케줄링

기술 혁신점

  1. 동적 진화 모델링: 구직자의 동적 변화를 정서 및 주호소 두 가지 차원의 진화로 최초 형식화
  2. 3단계 메모리 메커니즘: 메모리 이론을 참고하여 설계한 시간 계층화 메모리 시스템
  3. 데이터 기반 진화 학습: 실제 상담 데이터를 기반으로 훈련된 정서 및 주호소 변화 모델
  4. 다중 에이전트 조율: 에이전트 간 협력을 통한 복잡한 동적 제어 및 메모리 스케줄링 구현

실험 설정

데이터셋

  • D4 데이터셋: 중국어 우울증 진단 지향 대화 데이터셋
  • DAIC-WOZ 데이터셋: 영어 정신건강 대화 데이터셋
  • GPT-4o를 사용한 데이터 주석, 3명의 심리학 전문가에 의한 주호소 체인 데이터 검토

평가 지표

  1. 의인화 정도(Anthropomorphism): BERT-score를 사용하여 시뮬레이터 발화와 실제 구직자의 일치성 평가
  2. 성격 충실도(Personality Fidelity): 인터뷰 질문 설계, G-Eval 점수를 사용한 구성 일치도 평가
  3. 이전 세션 인식 정확성: 장기 메모리의 유효성 평가

비교 방법

세 가지 기준선 방법 선택:

  • Chen et al. (2023a)
  • Duro et al. (2024)
  • Qiu and Lan (2024)

구현 세부사항

  • 백본 모델: Qwen2.5-7B-Instruct
  • 상담사 모델: PsycoLLM, EmoLLM, SoulChat
  • 정서 분류: GoEmotions 정서 범주 기반
  • 척도 도구: SCL-90, BDI, SAAS 등 자기보고 척도

실험 결과

주요 결과

의인화 정도 비교: D4 및 DAIC 데이터셋에서 AnnaAgent는 다양한 상담사 모델과의 대화 시 최고 또는 차선의 성능 달성:

데이터셋상담사Chen et al.Duro et al.Qiu & LanAnnaAgent
D4PsycoLLM0.62930.64550.68660.6691
D4EmoLLM0.65290.64690.64490.6649
DAICPsycoLLM0.34580.48640.34260.4910

성격 충실도: AnnaAgent는 G-Eval 점수에서 전반적으로 기준선 방법을 능가합니다.

제거 실험

  1. 동적 진화 제거: 동적 진화 구성 요소를 제거한 후 F1 점수가 0.6691에서 0.6144로 감소 (D4 데이터셋)
  2. 장기 메모리 제거: 장기 메모리 제거는 가상 구직자의 이전 세션 인식 정확성을 크게 감소

일반화 연구

GPT-4o-mini 및 Llama-3.1-8B-Instruct에서의 실험은 AnnaAgent가 우수한 교차 모델 안정성을 가지고 있음을 보여주며, 상대 표준편차는 모두 10% 미만입니다.

관련 연구

LLM의 정신건강 응용

  • 대화 시스템: ChatCounselor, Serena 등이 정신건강 상담 지원 제공
  • 진단 및 치료: 진단 정확성, 치료 효과 및 서비스 접근성 향상

전통적 구직자 시뮬레이션

  • 표준화 환자: 실제 인물이 역할 수행, 비용이 높지만 더욱 현실적
  • 가상 구직자: 비용이 낮지만 현실성 부족

LLM 역할 연기

  • 역할 지식 구축: 세분화된 역할 정보 및 정서 주석을 통해
  • 개인화 훈련: 성격 특성 정보를 결합한 조건부 지시 미세 조정

결론 및 논의

주요 결론

  1. AnnaAgent는 구직자 시뮬레이션에서 동적 진화 및 다중 세션 메모리 과제를 성공적으로 해결
  2. 실제 데이터로 훈련된 정서 및 주호소 진화 모델은 시뮬레이션 현실성을 효과적으로 향상
  3. 3단계 메모리 메커니즘은 세션 간 정보 처리에서 우수한 성능 발휘

한계

  1. 형식화 단순화: 기술 구현의 편의를 위해 동적 진화 과정을 일정 수준으로 형식화 단순화
  2. 메모리 시스템 미흡: 3단계 메모리 시스템의 조율 메커니즘이 여전히 초기 단계
  3. 데이터 의존성: 실제 상담 데이터의 품질 및 수량에 높은 의존성

향후 방향

  1. 더욱 세분화된 동적 진화 모델링
  2. 더욱 복잡한 다중 세션 메모리 조율 메커니즘
  3. 더 많은 정신건강 시나리오 및 언어로의 확장

심층 평가

장점

  1. 문제 식별 정확성: 동적 진화 및 다중 세션 메모리 두 가지 핵심 과제를 최초로 명확히 제시
  2. 방법 설계 합리성: 다중 에이전트 시스템 아키텍처가 명확하고 각 모듈 기능이 분명
  3. 충분한 실험: 주요 결과, 제거 실험 및 일반화 검증 포함
  4. 높은 실용 가치: 정신건강 AI 연구에 중요한 도구 제공

부족점

  1. 제한된 이론 깊이: 동적 진화 메커니즘에 대한 심층 심리학 이론 분석 부족
  2. 단일 평가 지표: 주로 자동화 지표에 의존하며, 전문 심리학자의 인간 평가 부족
  3. 불충분한 윤리 고려: 윤리 검토를 언급했지만, 잠재적 오용 위험에 대한 논의 부족

영향력

  1. 학술 기여: AI 정신건강 분야에 새로운 연구 방향 및 기준 제공
  2. 실용 가치: 상담사 훈련, 심리학 연구 등 다양한 시나리오에 활용 가능
  3. 재현성: 오픈소스 코드 제공으로 연구 재현 및 확장 용이

적용 시나리오

  • 심리 상담사 훈련 및 평가
  • 정신건강 대화 시스템 개발
  • 심리학 연구 및 실험
  • 정신건강 데이터 증강

참고문헌

논문은 풍부한 관련 연구를 인용하며, 다음을 포함합니다:

  • 정신건강 AI 응용의 종합 연구
  • LLM 역할 연기 및 다중 에이전트 시스템 연구
  • 심리 상담 및 표준화 환자 관련 연구
  • 메모리 이론 및 RAG 기술 문헌

종합 평가: 이는 AI 정신건강 분야에서 중요한 기여를 하는 논문으로, 구직자 시뮬레이션에서 핵심 기술 과제를 최초로 체계적으로 해결합니다. 이론 깊이 및 평가 측면에서 개선 여지가 있지만, 혁신적 방법론과 실용 가치로 인해 해당 분야의 중요한 진전이 됩니다.