2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: Steuerung großer Sprachmodelle durch Zusammenführung von Persona-Vektoren für kreative Generierung

Grundinformationen

  • Paper-ID: 2510.10157
  • Titel: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • Autoren: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • Klassifizierung: cs.CL cs.AI
  • Veröffentlichungsdatum: 11. Oktober 2025 (arXiv-Preprint)
  • Paper-Link: https://arxiv.org/abs/2510.10157v1

Zusammenfassung

Multi-LLM-Systeme verbessern die Kreativität großer Sprachmodelle durch Simulation kollektiver menschlicher Intelligenz, weisen jedoch erhebliche Mängel wie hohe Rechenkosten und große Inferenzlatenzen auf. Um diese Einschränkungen zu beheben, wird BILLY (BlendIng persona vectors for Large Language model creativitY) vorgestellt – ein trainingsfreies Framework, das die Vorteile der Multi-LLM-Zusammenarbeit in einem einzelnen Modell erfasst, nämlich die Einführung diversifizierter Perspektiven und Fachwissen. BILLY funktioniert durch Extraktion und Zusammenführung mehrerer unterschiedlicher Persona-Vektoren im Aktivierungsraum des Modells und nutzt diesen zusammengeführten Vektor zur Laufzeit, um den Generierungsprozess des Modells zu steuern und so Multi-Perspektiven-Ausgaben ohne explizite Multi-LLM-Kommunikation zu ermöglichen.

Forschungshintergrund und Motivation

Kernprobleme

  1. Rechenlast von Multi-LLM-Systemen: Obwohl traditionelle Multi-LLM-Kooperationsrahmen die Kreativität verbessern, sind sie mit hohen Rechenkosten und Inferenzlatenzen behaftet
  2. Einschränkungen einzelner Prompt-Methoden: Es ist schwierig, ein Modell durch Prompting dazu zu bringen, mehrere Rollen und Perspektiven gleichzeitig zu übernehmen und zu integrieren
  3. Abwägung zwischen Effizienz und Kreativität: Wie lässt sich die Rechenlast erheblich reduzieren, während die Kreativitätsvorteile erhalten bleiben?

Forschungsrelevanz

Kreativität wird weithin als Grundstein menschlichen Fortschritts anerkannt und treibt Innovationen in verschiedenen Bereichen voran. Aktuelle Forschungen untersuchen die Kreativität von LLMs als vielversprechendes Werkzeug für Anwendungen wie Geschichtenerzählung, Designkonzeption und wissenschaftliche Entdeckungen. Das Multi-LLM-Paradigma simuliert kollektive menschliche Intelligenz, indem mehrere LLMs iterativ diskutieren, um umfassendere Lösungen zu erhalten.

Einschränkungen bestehender Methoden

  1. Multi-LLM-Frameworks: Hohe Rechenkosten, lange Inferenzzeiten, Prozessverluste
  2. Einzelne Prompt-Methoden: Abhängig von der Fähigkeit des Modells, mehrere Rollen zu integrieren; in der Praxis kann das Modell jede Persona separat verarbeiten, aber Schwierigkeiten bei kohärenter Integration haben

Kernbeiträge

  1. Vorstellung des BILLY-Frameworks: Ein trainingsfreier Persona-Vektor-Zusammenführungsrahmen, der Multi-Perspektiven-kreative Antworten in einem einzelnen LLM ermöglicht
  2. Effizienz und Einfachheit: Vollständig trainungsfrei, keine zusätzliche Feinabstimmung oder Multi-LLM-Kommunikation erforderlich, deutlich reduzierte Rechen- und Token-Kosten
  3. Interpretierbare Mechanismen: Direkte Manipulation im latenten Aktivierungsraum bietet interpretierbare Kontrollmechanismen für Kreativität
  4. Leistungsverbesserung: Übertrifft Single-Model-Prompting und traditionelle Multi-LLM-Methoden bei kreativitätsorientierten Benchmarks

Methodische Details

Aufgabendefinition

Gegeben eine kreative Aufgabeneingabe zielt BILLY darauf ab, kreative Ausgaben zu generieren, die mehrere Fachperspektiven (wie Umweltschützer, kreative Fachleute, Futuristen) zusammenführen, während die Rechenkosten von Multi-LLM-Systemen vermieden werden.

Modellarchitektur

1. Persona-Vektor-Extraktion (Contrastive Activation)

Für eine Persona P wird der Persona-Vektor durch kontrastive Methoden extrahiert:

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

Wobei:

  • D+_P: Menge von Antworten, die die Persona-Merkmale aufweisen
  • D-_P: Menge von Basis-Antworten, die die Merkmale nicht aufweisen
  • a⃗(l)(x): Durchschnittliche Residual-Stream-Aktivierung auf Ebene l

2. Offline-Zusammenführung (Offline Fusion)

Zusammenführung von N Persona-Vektoren zu einem einzelnen zusammengesetzten Vektor:

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. Laufzeit-Steuerung (Inference-time Steering)

Änderung der Aktivierungen zur Laufzeit:

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

Wobei α ein Skalierungskoeffizient ist und in Experimenten Ebene 20 für die Steuerung ausgewählt wurde.

Technische Innovationen

  1. Aktivierungsraum-Manipulation: Direkte Manipulation auf der Ebene der internen Modellrepräsentationen statt Abhängigkeit von externer Prompt-Engineering
  2. Vektor-Zusammenführungsstrategie: Zusammenführung mehrerer Persona-Vektoren durch einfache Mittelwertbildung zur Realisierung komplexer Persona-Kombinationen
  3. Trainingsfreies Design: Nur Vektoraddition zur Laufzeit, keine Änderung der Modellgewichte
  4. Wiederverwendbarkeit: Persona-Vektoren werden einmal extrahiert und können mehrfach verwendet werden, wodurch Kosten amortisiert werden

Experimentelle Einrichtung

Datensätze

Basierend auf erweiterten Benchmarks des Wallach-Kogan-Kreativitätstests, erweitert durch GPT-4 von Lu et al.:

  1. AUT: Anforderung, innovative praktische Verwendungen für alltägliche Objekte bereitzustellen
  2. INSTANCES: Auflistung von Objekten nach spezifischen Kriterien
  3. SIMILARITIES: Identifizierung von Verbindungen oder Ähnlichkeiten zwischen Objekten
  4. SCIENTIFIC: Generierung kreativer Lösungen für wissenschaftliche Probleme

Evaluierungsmetriken

Verwendung von zwei Kernmetriken des Torrance-Tests für kreatives Denken (TTCT):

  1. Originalität (Originality): Bewertet die statistische Seltenheit oder Unkonventionalität der Antwort
  2. Ausarbeitung (Elaboration): Misst den Detailgrad und das Niveau der unterstützenden Informationen

Verwendung von GPT-4o-mini als LLM-Bewerter mit 1-5-Punkte-Bewertungsstandard.

Vergleichsmethoden

  1. Single Agent (SA): Einzelne LLM-kreative Antwort (Temperatur 0,7)
  2. SA (T=1.0): Single Agent mit hoher Temperatur-Dekodierung (Temperatur 1,0)
  3. SA-MRP: Single Agent mit Multi-Rollen-Prompting
  4. LLM Discussion: Multi-LLM-Framework mit dreistufigem strukturiertem Diskussionsprozess

Implementierungsdetails

  • Basismodelle: Qwen-2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-4B-it
  • Steuerungsebene: Ebene 20
  • Persona-Vektoren: Umweltschützer, kreative Fachleute, Futuristen, analytische Denker usw.
  • Evaluierung: 100 Anfragen pro Benchmark, Berechnung von Durchschnittswert und Standardabweichung

Experimentelle Ergebnisse

Hauptergebnisse

Bei vier Kreativitäts-Benchmarks übertrifft BILLY alle Baseline-Methoden konsistent bei der Originalitätsmetrik:

Originalitätswerte bei AUT-Aufgaben:

  • Qwen-2.5-7B: BILLY (4,71) > LLM Discussion (4,24) > SA-MRP (4,07) > SA (4,03)
  • Llama-3.1-8B: BILLY (4,38) > LLM Discussion (4,21) > SA-MRP (4,05) > SA (3,73)
  • Gemma-3-4B: BILLY (4,99) > SA-MRP (4,96) > SA (4,79) > LLM Discussion (3,70)

Effizienzvergleich:

  • Inferenzlatenz: BILLY (19s) vs. LLM Discussion (513s), etwa 25-mal schneller
  • Token-Kosten: BILLY reduziert Token-Nutzung um über 95%
  • Kosten pro 10.000 Anfragen: BILLY (0,30)vs.LLMDiscussion(0,30) vs. LLM Discussion (25,50)

Ablationsstudien

Analyse der Persona-Vektor-Kombinationen:

  • Ein einzelner Vektor des kreativen Fachmanns zeigt bereits ausgezeichnete kreative Leistung
  • Signifikante Verbesserung beim Anstieg von 1 auf 3 Vektoren
  • Weitere Zunahme von 4-7 Vektoren zeigt keinen signifikanten zusätzlichen Nutzen

Fallstudien

Am Beispiel der Aufgabe "Krankenhaus neu gestalten":

  • Umweltschützer-Vektor: Generiert praktische Blaupausen (z.B. Gemeinschaftsgärten)
  • Kreativer Fachmann-Vektor: Produziert kunstvolle Terminologie (z.B. biolumineszierende Ökosystem-Cluster)
  • Zusammengeführter Vektor: Echte Konzeptfusion, behält die substantiellen Konzepte des Umweltschützers bei, rahmt sie aber mit dem visuellen Stil des kreativen Fachmanns neu

Aktivierungsprojektionsanalyse

Durch Analyse der Aktivierungsänderungen auf Persona-Vektoren:

  1. Einschränkungen der Prompt-Methode: Multi-Rollen-Prompting ist positiv auf vCRE, aber negativ auf vENV, was zeigt, dass nicht alle erwarteten Personas konsistent induziert werden können
  2. BILLY-Vorteile: Behält positive Projektion auf vCRE und vENV bei, aktiviert erfolgreich mehrere Personas
  3. Effektivität der Vektorfusion: Einzelne Vektoren steuern präzise entsprechende semantische Konzepte, zusammengeführte Vektoren ermöglichen komplexe Interaktionen

Verwandte Arbeiten

LLM-Kreativitätsverbesserung

  1. Rollenspiel-Prompting: Anleitung des Modells zur Übernahme spezifischer kreativer Personas
  2. Multi-Agent-Kooperationsrahmen: Mehrere Agenten simulieren Brainstorming-Sitzungen
  3. Umfassende Übersicht: Vollständige Überprüfung der Forschungsrichtungen zur Kreativität

Multi-LLM-Zusammenarbeit

  1. Strukturierte Dialograhmen: Wie die nächste Generation von AutoGen-Anwendungen
  2. Rollenspiel-Dialoge: LLM Discussion und HOLLMWOOD
  3. Einschränkungen: Hohe Rechenkosten, Instabilität, geringe Effizienz

Aktivierungssteuertechniken

  1. Verhaltenskontrolle: Beeinflussung des Modellverhaltens durch Änderung interner Aktivierungen
  2. Kontrastive Methoden: Verwendung von Aktivierungsdifferenzen zur Berechnung von Steuervektoren
  3. Anwendungsbereiche: Authentizitätsverbesserung, Sicherheitsverbesserung, Persona-Kontrolle

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. BILLY erfasst erfolgreich die Kreativitätsvorteile der Multi-LLM-Zusammenarbeit in einem einzelnen Modell
  2. Deutliche Reduzierung der Inferenzzeit und Rechenkosten bei Beibehaltung oder Übertreffung der Kreativitätsleistung
  3. Aktivierungssteuerung bietet bessere Kontrollierbarkeit und Interpretierbarkeit als Multi-Rollen-Prompting

Einschränkungen

  1. Vektor-Kombinationsmethode: Derzeit wird einfache Mittelwertbildung verwendet; in Zukunft sind komplexere Kombinationstechniken erforderlich
  2. Nichtlineare Interaktionen: Die Fusionseffekte von Persona-Vektoren sind keine einfache lineare Überlagerung
  3. Aufgabenspezifische Gewichte: Fehlender Mechanismus zum Erlernen aufgabenspezifischer Gewichte für jeden Persona-Vektor

Zukünftige Richtungen

  1. Entwicklung komplexer Vektor-Kombinationsrahmen jenseits einfacher Mittelwertbildung
  2. Erlernen aufgabenspezifischer Persona-Vektor-Gewichte
  3. Entwurf von Mechanismen, die funktionale Rollen explizit modellieren, für präzisere Kontrolle

Tiefgreifende Bewertung

Stärken

  1. Methodische Innovation: Erstmalige Anwendung von Persona-Vektor-Fusion zur Kreativitätsverbesserung, neuartige technische Richtung
  2. Umfassende Experimente: Vollständige Evaluierung über mehrere Modelle und Benchmarks, einschließlich Effizienz-, Qualitäts- und Interpretierbarkeitsanalyse
  3. Praktischer Wert: Signifikante Effizienzverbesserungen machen die Methode praktisch wertvoll
  4. Theoretische Einsichten: Aktivierungsprojektionsanalyse offenbart wesentliche Unterschiede zwischen Prompt-Methoden und Aktivierungssteuerung

Mängel

  1. Theorie der Vektorfusion: Mangel an tiefgehender theoretischer Analyse, warum einfache Mittelwertbildung effektiv ist
  2. Evaluierungseinschränkungen: Hauptsächlich auf LLM-Bewerter angewiesen, möglicherweise mit Verzerrungen behaftet
  3. Generalisierungsfähigkeit: Nur bei Kreativitätsaufgaben validiert, Anwendbarkeit auf andere Aufgaben unbekannt
  4. Qualität der Persona-Vektoren: Stabilität und Konsistenz des Persona-Vektor-Extraktionsprozesses erfordern weitere Validierung

Auswirkungen

  1. Bereichsbeitrag: Bietet neue technische Wege zur LLM-Kreativitätsverbesserung
  2. Praktischer Wert: Deutliche Reduzierung der Rechenkosten, wahrscheinlich zur praktischen Bereitstellung von Multi-Persona-KI-Systemen
  3. Reproduzierbarkeit: Methode ist relativ einfach, leicht zu reproduzieren und zu erweitern

Anwendungsszenarien

  1. Kreatives Schreiben: Geschichtenerzählung, die mehrere Perspektiven zusammenführt
  2. Designkonzeption: Designlösungen, die Ästhetik, Funktionalität und Nachhaltigkeit kombinieren
  3. Wissenschaftliche Innovation: Problemlösung bei Forschungsfragen, die interdisziplinäres Denken erfordern
  4. Bildungsanwendungen: Förderung vielfältiger Denkweisen bei Studierenden

Literaturverzeichnis

Das Paper zitiert umfangreiche verwandte Arbeiten, einschließlich:

  • Klassische Forschungen zur Kreativitätspsychologie (Torrance, 1966; Wallach & Kogan, 1965)
  • Neueste Entwicklungen in Multi-Agent-Systemen (Wu et al., 2023; Lu et al., 2024)
  • Entwicklung von Aktivierungssteuertechniken (Turner et al., 2024; Chen et al., 2025)

Gesamtbewertung: Dies ist ein hochqualitatives Paper mit wichtigen Beiträgen im Bereich der LLM-Kreativitätsverbesserung. Die BILLY-Methode löst elegant das Effizienzproblem von Multi-LLM-Systemen, während sie die Kreativitätsvorteile bewahrt. Obwohl es Raum für Verbesserungen in theoretischer Analyse und Bewertungsmethoden gibt, machen sein praktischer Wert und seine technische Innovation es zu einem wichtigen Fortschritt in diesem Bereich.