AnnaAgent: Dynamisches Evolutionsagentensystem mit Multi-Session-Speicher für realistische Hilfesuchenden-Simulation

Grundinformationen

• Paper-ID: 2506.00551
• Titel: AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation
• Autoren: Ming Wang, Peidong Wang, Lin Wu, Xiaocui Yang, Daling Wang, Shi Feng, Yuxin Chen, Bixuan Wang, Yifei Zhang
• Klassifizierung: cs.CL cs.AI
• Veröffentlichungsdatum: 10. Juni 2025 (arXiv-Preprint)
• Paper-Link: https://arxiv.org/abs/2506.00551

Zusammenfassung

Aufgrund von Kosten- und Ethikproblemen bei der Einbeziehung echter Hilfesuchender in KI-gestützte psychische Gesundheitsforschung haben Forscher LLM-basierte Dialogagenten (CA) entwickelt, um Hilfesuchende zu simulieren, wobei angepasste Konfigurationen wie persönliche Profile, Symptome und Szenarien verwendet werden. Obwohl diese Bemühungen die Anwendung von KI im Bereich der psychischen Gesundheit vorantreiben, bleiben zwei Schlüsselherausforderungen für eine realistischere Simulation von Hilfesuchenden bestehen: dynamische Evolution und Multi-Session-Speicher. Der psychische Zustand von Hilfesuchenden schwankt häufig während des Beratungsprozesses, der typischerweise mehrere Sitzungen umfasst. Um dieses Problem zu lösen, wird AnnaAgent vorgestellt – ein Emotionen- und Kognitions-Dynamik-Agentensystem mit dreistufigem Speicher. AnnaAgent integriert einen Emotionsregler und einen Beschwerdeleiter, die auf echten Beratungsdialogen trainiert wurden, und kann die Konfiguration des Simulators dynamisch steuern. Darüber hinaus integriert sein dreistufiger Speichermechanismus effektiv Kurz- und Langzeitspeicher über Sitzungen hinweg. Die Evaluierungsergebnisse zeigen, dass AnnaAgent eine realistischere Simulation von Hilfesuchenden in der psychologischen Beratung erreicht als bestehende Baselines.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Forschung ist, wie man das Verhalten von Hilfesuchenden in der KI-gestützten psychischen Gesundheitsforschung realistischer simulieren kann. Konkret:

1. Kosten- und Ethikbeschränkungen: Die Durchführung von Forschung mit einer großen Anzahl echter Hilfesuchender ist nicht nur kostspielig, sondern kann auch ethische Probleme aufwerfen
2. Unzulänglichkeiten bestehender Simulationsmethoden: Aktuelle LLM-basierte Dialogagenten weisen bei der Simulation von Hilfesuchenden Probleme wie flache Emotionen und leichte Akzeptanz von Ratschlägen auf
3. Mangel an Dynamik: Bestehende Methoden können die emotionalen Schwankungen und kognitiven Veränderungen von Hilfesuchenden während des Beratungsprozesses nicht simulieren
4. Fehlender Multi-Session-Speicher: Psychologische Beratung ist typischerweise ein langfristiger, mehrsitziger Prozess, aber bestehende Methoden verfügen über keinen Speichermechanismus über Sitzungen hinweg

Forschungsbedeutung

Psychische Gesundheitsprobleme sind eine wichtige Herausforderung für die heutige Gesellschaft, während die Anzahl der geschulten Therapeuten begrenzt ist. KI-Technologie hat enormes Potenzial für psychische Gesundheitsunterstützung, erfordert aber realistischere Simulationen von Hilfesuchenden für:

• Datenkonstruktion und Wirksamkeitsbewertung
• Schulung von Psychotherapeuten
• Psychologische Forschung und Experimente

Einschränkungen bestehender Methoden

Durch Literaturrecherche identifizierten die Autoren folgende Probleme bei bestehenden Simulationsmethoden für Hilfesuchende:

1. Statische Konfiguration: Emotionen und Symptomerkenntnis bleiben während des gesamten Beratungsprozesses unverändert
2. Fehlender Speichermechanismus: Unfähigkeit, Dialoge zu verarbeiten, die Inhalte aus vorherigen Sitzungen betreffen
3. Unrealistisches Verhalten: Neigung zur Zustimmung zu Ratschlägen, übermäßige Unterwürfigkeit, flache emotionale Ausdrücke

Kernbeiträge

1. Erstmalige Identifizierung von zwei Schlüsselherausforderungen – dynamische Evolution und Multi-Session-Speicher – und Formalisierung der dynamischen Evolution als Veränderungen in Emotionen und Beschwerden sowie Unterteilung des Multi-Session-Speichers in verschiedene Phasen
2. Entwurf des AnnaAgent-Systems: Ein Emotionen- und Kognitions-Dynamik-Agentensystem mit dreistufigem Speicher, das die dynamische Evolution in der Beratung durch Steuerung von Emotionen und Symptomerkenntnis-Veränderungen im Dialog simuliert
3. Validierung der Systemeffektivität: Experimentelle Bewertung zeigt, dass AnnaAgent das Verhalten von Hilfesuchenden in der psychologischen Beratung realistischer simuliert

Methodische Details

Aufgabendefinition

Die Simulationsaufgabe für Hilfesuchende erfordert die Zuweisung einer Rollenkonfiguration an das LLM, einschließlich:

• Profil: Grundlegende persönliche Informationen (Alter, Geschlecht, Beruf usw.)
• Beschwerde: Erkenntnis des Hilfesuchenden über Symptome und Hauptprobleme
• Situation: Lebensumgebung und erlebte Ereignisse
• Status: Körperliche und psychische Zustände
• Emotion: Erwarteter emotionaler Reaktionsstil

Modellarchitektur

AnnaAgent verwendet eine Multi-Agent-Systemarchitektur mit zwei Hauptagentengruppen:

1. Dynamische Evolutionskontrollgruppe

Emotionsregelung:

• Emotionsreasoner: Basierend auf Qwen2.5-7B-Instruct trainiert, verwendet D4-Datensatz zum Erlernen von Emotionsevolutionsmustern in echten Beratungen
• Emotionsstörer: Führt zufällige Störungen ein, um verfestigte Emotionsmuster zu vermeiden, weist Wahrscheinlichkeitsgewichte basierend auf emotionaler Distanz zu:

$P(emo_T) = \frac{w(d(G_T, G_B) \times |G_T|)}{\sum_{G_j} w(d(G_B, G_j)) \times |G_j|}$

wobei $G_B$ und $G_T$ jeweils die Basis- und Zielemotionsgruppen darstellen und $d(\cdot)$ die Distanz zwischen Emotionsgruppen bezeichnet.

Beschwerdeleitung:

• Beschwerdekettengenerierung: Generiert Beschwerdeveränderungsketten basierend auf Hilfesuchenden-Konfiguration und aktuellen Ereignissen
• Beschwerdewechselkontrolle: Bestimmt algorithmisch, ob zur nächsten Phase der Beschwerdekette gewechselt werden soll

2. Dreistufige Speicherscheduling-Gruppe

• Echtzeitspeicher: Dialoginhalte der aktuellen Sitzung
• Kurzzeitspeicher: Aktuelle Ereignisse und Zustandsveränderungen, erfasst durch Selbstberichtsskalen
• Langzeitspeicher: Dialoge und Skalendatensätze aus vorherigen Sitzungen, geplant durch Agentic RAG

Technische Innovationen

1. Dynamische Evolutionsmodellierung: Erstmalige Formalisierung der dynamischen Veränderungen von Hilfesuchenden als Evolution in zwei Dimensionen – Emotionen und Beschwerden
2. Dreistufiger Speichermechanismus: Zeitlich geschichtetes Speichersystem, das sich auf Gedächtnistheorie bezieht
3. Datengesteuerte Evolutionslernvorgänge: Basierend auf echten Beratungsdaten trainierte Modelle für Emotionen- und Beschwerdeveränderungen
4. Multi-Agent-Koordination: Realisierung komplexer dynamischer Steuerung und Speicherscheduling durch Agentenzusammenarbeit

Experimentelle Einrichtung

Datensätze

• D4-Datensatz: Chinesischer Depressions-Diagnose-orientierter Dialogdatensatz
• DAIC-WOZ-Datensatz: Englischer psychischer Gesundheitsdialog-Datensatz
• Verwendung von GPT-4o für Datenannotation, Einbeziehung von 3 Psychologie-Experten zur Überprüfung von Beschwerdekettendaten

Bewertungsmetriken

1. Anthropomorphismusgrad: Verwendung von BERT-Score zur Bewertung der Konsistenz zwischen Simulator-Äußerungen und echten Hilfesuchenden
2. Persönlichkeitstreue: Entwurf von Interviewfragen, Verwendung von G-Eval-Bewertung zur Bewertung der Konfigurationsübereinstimmung
3. Genauigkeit der Erkenntnis aus vorherigen Sitzungen: Bewertung der Effektivität des Langzeitspeichers

Vergleichsmethoden

Auswahl von drei Baseline-Methoden:

• Chen et al. (2023a)
• Duro et al. (2024)
• Qiu and Lan (2024)

Implementierungsdetails

• Backbone-Modell: Qwen2.5-7B-Instruct
• Beratermodelle: PsycoLLM, EmoLLM, SoulChat
• Emotionsklassifizierung: Basierend auf GoEmotions-Emotionskategorien
• Skalierungsinstrumente: SCL-90, BDI, SAAS und andere Selbstberichtsskalen

Experimentelle Ergebnisse

Hauptergebnisse

Anthropomorphismusgrad-Vergleich: Auf den D4- und DAIC-Datensätzen erreicht AnnaAgent die beste oder zweitbeste Leistung im Dialog mit verschiedenen Beratermodellen:

Persönlichkeitstreue: AnnaAgent übertrifft die Baseline-Methoden insgesamt in der G-Eval-Bewertung.

Ablationsstudien

1. Dynamische Evolutionsablation: Nach Entfernung der dynamischen Evolutionskomponente fällt der F1-Score von 0,6691 auf 0,6144 (D4-Datensatz)
2. Langzeitspeicher-Ablation: Die Entfernung des Langzeitspeichers reduziert die Genauigkeit der Erkenntnis des virtuellen Hilfesuchenden über vorherige Sitzungen erheblich

Generalisierungsstudien

Experimente mit GPT-4o-mini und Llama-3.1-8B-Instruct zeigen, dass AnnaAgent eine gute modellübergreifende Stabilität aufweist, mit relativen Standardabweichungen unter 10%.

Verwandte Arbeiten

LLM-Anwendungen in der psychischen Gesundheit

• Dialogsysteme: ChatCounselor, Serena und andere bieten Unterstützung bei psychischer Gesundheit
• Diagnose und Behandlung: Verbesserung der Diagnosegenauigkeit, Behandlungsergebnisse und Servicebarkeit

Traditionelle Hilfesuchenden-Simulation

• Standardisierte Patienten: Von echten Personen gespielt, kostspielig aber realistischer
• Virtuelle Hilfesuchende: Kostengünstig aber weniger realistisch

LLM-Rollenspiel

• Rollenwissenskonstruktion: Durch feingranulare Rolleninformationen und Emotionsannotationen
• Personalisiertes Training: Bedingte Anweisung-Feinabstimmung kombiniert mit Persönlichkeitsmerkmalsinformationen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. AnnaAgent löst erfolgreich die Herausforderungen der dynamischen Evolution und des Multi-Session-Speichers in der Hilfesuchenden-Simulation
2. Auf echten Daten trainierte Modelle für Emotionen- und Beschwerdeveränderungen können die Simulationsrealismus effektiv verbessern
3. Der dreistufige Speichermechanismus zeigt hervorragende Leistung bei der Verarbeitung sitzungsübergreifender Informationen

Einschränkungen

1. Formalisierungsvereinfachung: Zur Erleichterung der technischen Implementierung wurde der dynamische Evolutionsprozess in gewissem Maße vereinfacht
2. Grober Speichersystem: Der Koordinationsmechanismus des dreistufigen Speichersystems ist noch relativ primitiv
3. Datenabhängigkeit: Stark abhängig von der Qualität und Quantität echter Beratungsdaten

Zukünftige Richtungen

1. Feingranulare Modellierung der dynamischen Evolution
2. Komplexere Multi-Session-Speicherkoordinationsmechanismen
3. Erweiterung auf mehr psychische Gesundheitsszenarien und Sprachen

Tiefgreifende Bewertung

Stärken

1. Genaue Problemidentifizierung: Erstmalige klare Identifizierung von zwei Kernherausforderungen – dynamische Evolution und Multi-Session-Speicher
2. Vernünftiger Methodenentwurf: Klare Multi-Agent-Systemarchitektur mit definierten Modulfunktionen
3. Umfassende Experimente: Hauptergebnisse, Ablationsstudien und Generalisierungsvalidierung
4. Hoher praktischer Wert: Bereitstellung wichtiger Werkzeuge für KI-Forschung im Bereich psychische Gesundheit

Mängel

1. Begrenzte theoretische Tiefe: Mangel an tiefgreifender psychologischer Theorieanalyse der Dynamik-Evolutionsmechanismen
2. Einzelne Bewertungsmetriken: Hauptsächlich Abhängigkeit von automatisierten Metriken, Mangel an manueller Bewertung durch Psychologie-Fachleute
3. Unzureichende Ethikbetrachtung: Obwohl ethische Überprüfung erwähnt wird, ist die Diskussion über potenzielle Missbrauchsrisiken nicht ausreichend

Auswirkungen

1. Akademischer Beitrag: Bereitstellung neuer Forschungsrichtungen und Benchmarks für das KI-Bereich psychische Gesundheit
2. Praktischer Wert: Anwendbar auf Berater-Schulung, psychologische Forschung und mehrere andere Szenarien
3. Reproduzierbarkeit: Bereitstellung von Open-Source-Code für einfache Reproduktion und Erweiterung

Anwendungsszenarien

• Schulung und Bewertung von Psychotherapeuten
• Entwicklung von Dialogsystemen für psychische Gesundheit
• Psychologische Forschung und Experimente
• Datenerweiterung für psychische Gesundheit

Literaturverzeichnis

Das Paper zitiert umfangreiche verwandte Arbeiten, einschließlich:

• Übersichtsarbeiten zu KI-Anwendungen in der psychischen Gesundheit
• Forschung zu LLM-Rollenspiel und Multi-Agent-Systemen
• Forschung zu psychologischer Beratung und standardisierten Patienten
• Literatur zu Gedächtnistheorie und RAG-Technologie

Gesamtbewertung: Dies ist ein Paper mit wichtigen Beiträgen im Bereich KI und psychische Gesundheit, das erstmals systematisch Schlüsseltechnische Herausforderungen in der Hilfesuchenden-Simulation löst. Obwohl es Raum für Verbesserungen in theoretischer Tiefe und Bewertung gibt, machen seine innovativen Methoden und praktischen Werte es zu einem wichtigen Fortschritt in diesem Bereich.