2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

基本信息

  • 论文ID: 2510.10157
  • 标题: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • 作者: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • 分类: cs.CL cs.AI
  • 发表时间: 2025年10月11日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.10157v1

摘要

多LLM系统通过模拟人类集体智慧增强大语言模型的创造力，但存在计算成本高和推理延迟大等显著缺陷。为解决这些限制，本文提出BILLY（BlendIng persona vectors for Large Language model creativitY），这是一个无需训练的框架，能在单一模型内捕获多LLM协作的优势，即引入多样化视角和专业知识。BILLY通过在模型激活空间中提取和融合多个不同的人格向量来操作，在推理时使用这个合并向量引导模型的生成过程，实现多视角输出而无需显式的多LLM通信。

研究背景与动机

核心问题

  1. 多LLM系统的计算负担：传统多LLM协作框架虽能增强创造力，但存在高计算成本和推理延迟问题
  2. 单一提示方法的局限性：仅通过提示让模型同时采用多个角色和视角存在整合困难
  3. 效率与创造力的权衡：如何在保持创造力优势的同时显著降低计算开销

研究重要性

创造力被广泛认为是人类进步的基石，驱动各领域创新。近期研究探索了LLM的创造力，将其视为故事写作、设计构思和科学发现等应用的有前景工具。多LLM范式通过模拟人类集体智慧，让多个LLM进行迭代讨论以获得更全面的解决方案。

现有方法局限性

  1. 多LLM框架：计算成本高、推理时间长、存在过程损失（process loss）
  2. 单一提示方法：依赖模型整合多角色的能力，实际中模型可能分别处理每个人格但难以连贯整合

核心贡献

  1. 提出BILLY框架：一个无需训练的人格向量融合框架，能在单一LLM内实现多视角创造性响应
  2. 效率与简洁性：完全无需训练，不需要额外微调或多LLM通信，大幅降低计算和token成本
  3. 可解释性机制：直接在潜在激活空间操作，提供可解释的创造力控制机制
  4. 性能提升：在创造力导向基准测试中超越单模型提示和传统多LLM方法

方法详解

任务定义

给定一个创造性任务输入，BILLY旨在生成融合多个专业视角（如环保主义者、创意专业人士、未来主义者）的创造性输出，同时避免多LLM系统的计算开销。

模型架构

1. 人格向量提取（Contrastive Activation）

对于人格P，通过对比方法提取人格向量：

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

其中：

  • D+_P：表现该人格特征的响应集合
  • D-_P：缺乏该特征的基线响应集合
  • a⃗(l)(x)：在第l层的token平均残差流激活

2. 离线融合（Offline Fusion）

将N个人格向量融合为单一复合向量：

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. 推理时引导（Inference-time Steering）

在推理时修改激活：

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

其中α是缩放系数，实验中选择第20层进行引导。

技术创新点

  1. 激活空间操作：直接在模型内部表示层面操作，而非依赖外部提示工程
  2. 向量融合策略：通过简单平均融合多个人格向量，实现复杂人格组合
  3. 无需训练设计：仅在推理时添加向量，不改变模型权重
  4. 可重用性：人格向量一次提取，可多次使用，摊销成本

实验设置

数据集

基于Wallach-Kogan创造力测试的扩展基准，由Lu等人使用GPT-4增强：

  1. AUT：要求为日常物品提供实用创新用途
  2. INSTANCES：根据特定标准列举物品
  3. SIMILARITIES：识别物品间的连接或相似性
  4. SCIENTIFIC：为科学问题产生创造性解决方案

评价指标

采用Torrance创造性思维测试（TTCT）的两个核心指标：

  1. 原创性（Originality）：评估响应的统计稀有性或非常规性
  2. 精细化（Elaboration）：衡量响应的详细程度和支持信息水平

使用GPT-4o-mini作为LLM评判器，1-5分评分标准。

对比方法

  1. Single Agent (SA)：单一LLM创造性响应（温度0.7）
  2. SA (T=1.0)：高温度解码的单一代理（温度1.0）
  3. SA-MRP：多角色提示的单一代理
  4. LLM Discussion：多LLM框架，三阶段结构化讨论过程

实现细节

  • 基础模型：Qwen-2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-4B-it
  • 引导层：第20层
  • 人格向量：环保主义者、创意专业人士、未来主义者、分析思维者等
  • 评估：每个基准100个查询，计算平均分和标准差

实验结果

主要结果

在四个创造力基准上，BILLY在原创性指标上始终超越所有基线方法：

AUT任务原创性得分：

  • Qwen-2.5-7B: BILLY (4.71) > LLM Discussion (4.24) > SA-MRP (4.07) > SA (4.03)
  • Llama-3.1-8B: BILLY (4.38) > LLM Discussion (4.21) > SA-MRP (4.05) > SA (3.73)
  • Gemma-3-4B: BILLY (4.99) > SA-MRP (4.96) > SA (4.79) > LLM Discussion (3.70)

效率对比：

  • 推理延迟：BILLY (19s) vs LLM Discussion (513s)，快约25倍
  • Token成本：BILLY减少95%以上的token使用量
  • 每10000查询成本：BILLY (0.30)vsLLMDiscussion(0.30) vs LLM Discussion (25.50)

消融实验

人格向量组合分析：

  • 单一创意专业人士向量已显示出色创造性表现
  • 从1个向量增加到3个向量有显著改善
  • 4-7个向量的进一步增加无显著额外收益

案例分析

以"重新设计医院"任务为例：

  • 环保主义者向量：生成实用蓝图（如社区花园）
  • 创意专业人士向量：产生富有艺术感的术语（如生物发光生态群）
  • 融合向量：真正概念融合，保留环保主义者的实质概念但用创意专业人士的视觉风格重新框架

激活投影分析

通过分析激活变化在人格向量上的投影：

  1. 提示方法局限性：多角色提示在vCRE上为正但在vENV上为负，表明无法一致诱导所有预期人格
  2. BILLY优势：在vCRE和vENV上都保持正投影，成功共激活多个人格
  3. 向量融合有效性：单一向量精确控制对应语义概念，融合向量实现复杂交互

相关工作

LLM创造力增强

  1. 角色扮演提示：引导模型采用特定创造性人格
  2. 多智能体协作框架：多个智能体模拟头脑风暴会议
  3. 综合评述：创造力研究方向的全面回顾

多LLM协作

  1. 结构化对话框架：如AutoGen的下一代应用
  2. 角色扮演对话：LLM Discussion和HOLLMWOOD
  3. 局限性：高计算成本、不稳定性、效率低下

激活引导技术

  1. 行为控制：通过修改内部激活影响模型行为
  2. 对比方法：使用激活差异计算引导向量
  3. 应用领域：真实性增强、安全性改进、人格控制

结论与讨论

主要结论

  1. BILLY成功在单一模型内捕获多LLM协作的创造力优势
  2. 显著降低推理时间和计算成本，同时保持或超越创造力表现
  3. 激活引导比多角色提示提供更好的可控性和可解释性

局限性

  1. 向量组合方法：当前使用简单平均，未来需要更复杂的组合技术
  2. 非线性交互：人格向量的融合效果不是简单的线性叠加
  3. 任务特定权重：缺乏为每个人格向量学习任务特定权重的机制

未来方向

  1. 开发超越简单平均的复杂向量组合框架
  2. 学习任务特定的人格向量权重
  3. 设计明确建模功能角色的机制，实现更精确控制

深度评价

优点

  1. 方法创新性：首次将人格向量融合应用于创造力增强，技术路线新颖
  2. 实验充分性：多模型、多基准的全面评估，包含效率、质量和可解释性分析
  3. 实用价值：显著的效率提升使方法具有强实用性
  4. 理论洞察：通过激活投影分析揭示了提示方法与激活引导的本质区别

不足

  1. 向量融合理论：缺乏对为什么简单平均有效的深入理论分析
  2. 评估局限性：主要依赖LLM评判器，可能存在偏见
  3. 泛化能力：仅在创造力任务上验证，其他任务的适用性未知
  4. 人格向量质量：人格向量提取过程的稳定性和一致性需要更多验证

影响力

  1. 领域贡献：为LLM创造力增强提供了新的技术路径
  2. 实用价值：大幅降低计算成本，有望推动多人格AI系统的实际部署
  3. 可复现性：方法相对简单，易于复现和扩展

适用场景

  1. 创意写作：需要融合多种视角的故事创作
  2. 设计构思：结合美学、功能和可持续性的设计方案
  3. 科学创新：需要跨学科思维的研究问题解决
  4. 教育应用：培养学生的多元化思维能力

参考文献

论文引用了丰富的相关工作，包括：

  • 创造力心理学经典研究（Torrance, 1966; Wallach & Kogan, 1965）
  • 多智能体系统最新进展（Wu et al., 2023; Lu et al., 2024）
  • 激活引导技术发展（Turner et al., 2024; Chen et al., 2025）

总体评价：这是一篇在LLM创造力增强领域具有重要贡献的高质量论文。BILLY方法巧妙地解决了多LLM系统的效率问题，同时保持了创造力优势。尽管在理论分析和评估方法上还有改进空间，但其实用价值和技术创新性使其成为该领域的重要进展。