2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: ペルソナベクトルのマージによる大規模言語モデルの操作と創造的生成

基本情報

  • 論文ID: 2510.10157
  • タイトル: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • 著者: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • 分類: cs.CL cs.AI
  • 発表日: 2025年10月11日 (arXivプレプリント)
  • 論文リンク: https://arxiv.org/abs/2510.10157v1

要旨

複数LLMシステムは人間の集団知性をシミュレートすることで大規模言語モデルの創造性を向上させますが、計算コストが高く推論遅延が大きいという顕著な欠陥があります。これらの制限を解決するため、本論文ではBILLY（BlendIng persona vectors for Large Language model creativitY）を提案します。これは訓練不要なフレームワークであり、単一モデル内で複数LLM協働の利点、すなわち多様な視点と専門知識の導入を捉えることができます。BILLYはモデルの活性化空間から複数の異なるペルソナベクトルを抽出・融合することで動作し、推論時にこの融合ベクトルを使用してモデルの生成プロセスを操作し、明示的な複数LLM通信なしで多視点出力を実現します。

研究背景と動機

中核的な問題

  1. 複数LLMシステムの計算負担: 従来の複数LLM協働フレームワークは創造性を向上させますが、計算コストが高く推論遅延が大きい問題があります
  2. 単一プロンプト方法の限界: プロンプトのみでモデルに複数の役割と視点を同時に採用させることは統合の困難さが存在します
  3. 効率性と創造性のトレードオフ: 創造性の利点を保ちながら計算オーバーヘッドを大幅に削減する方法

研究の重要性

創造性は人間の進歩の基礎として広く認識されており、様々な分野のイノベーションを推進しています。最近の研究ではLLMの創造性を探索し、物語執筆、デザイン思考、科学発見などのアプリケーションの有望なツールとして位置付けています。複数LLMパラダイムは人間の集団知性をシミュレートすることで、複数のLLMが反復的な議論を行い、より包括的なソリューションを得ることができます。

既存方法の限界

  1. 複数LLMフレームワーク: 計算コストが高い、推論時間が長い、プロセス損失が存在する
  2. 単一プロンプト方法: モデルが複数の役割を統合する能力に依存し、実際にはモデルが各ペルソナを個別に処理する可能性があり、一貫した統合が困難です

中核的な貢献

  1. BILLYフレームワークの提案: 訓練不要なペルソナベクトル融合フレームワークで、単一LLM内で多視点の創造的応答を実現
  2. 効率性と簡潔性: 完全に訓練不要で、追加の微調整や複数LLM通信が不要であり、計算とトークンコストを大幅に削減
  3. 解釈可能性メカニズム: 潜在的な活性化空間で直接操作し、創造性制御の解釈可能なメカニズムを提供
  4. 性能向上: 創造性指向ベンチマークで単一モデルプロンプトと従来の複数LLM方法を上回る

方法の詳細

タスク定義

創造的タスク入力が与えられたとき、BILLYは複数の専門的視点（例：環境保全主義者、創造的専門家、未来主義者）を融合した創造的出力を生成することを目指しており、同時に複数LLMシステムの計算オーバーヘッドを回避します。

モデルアーキテクチャ

1. ペルソナベクトル抽出（対比的活性化）

ペルソナPに対して、対比方法によってペルソナベクトルを抽出します：

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

ここで：

  • D+_P: そのペルソナ特性を示す応答セット
  • D-_P: その特性を欠く基線応答セット
  • a⃗(l)(x): 第l層のトークン平均残差フロー活性化

2. オフライン融合

N個のペルソナベクトルを単一の複合ベクトルに融合します：

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. 推論時操作

推論時に活性化を修正します：

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

ここでαはスケーリング係数であり、実験では第20層での操作を選択しています。

技術的革新点

  1. 活性化空間操作: 外部プロンプトエンジニアリングに依存せず、モデル内部表現レベルで直接操作
  2. ベクトル融合戦略: 複数のペルソナベクトルを単純平均で融合し、複雑なペルソナ組み合わせを実現
  3. 訓練不要設計: 推論時にベクトルを追加するのみで、モデルの重みを変更しない
  4. 再利用性: ペルソナベクトルは一度抽出すれば複数回使用でき、コストを償却

実験設定

データセット

Wallach-Kogan創造性テストの拡張ベンチマークに基づき、LuらによってGPT-4で強化されました：

  1. AUT: 日常的な物体に対して実用的で革新的な用途を提供することを要求
  2. INSTANCES: 特定の基準に従って物体を列挙
  3. SIMILARITIES: 物体間の接続または類似性を識別
  4. SCIENTIFIC: 科学的問題に対する創造的なソリューションを生成

評価指標

Torrance創造的思考テスト（TTCT）の2つの中核指標を採用：

  1. 独創性（Originality）: 応答の統計的稀少性または非慣例性を評価
  2. 精緻化（Elaboration）: 応答の詳細度と支援情報のレベルを測定

GPT-4o-miniをLLM評判者として使用し、1-5点の評価基準を適用します。

比較方法

  1. Single Agent (SA): 単一LLMの創造的応答（温度0.7）
  2. SA (T=1.0): 高温度デコーディングの単一エージェント（温度1.0）
  3. SA-MRP: 複数役割プロンプトの単一エージェント
  4. LLM Discussion: 複数LLMフレームワーク、3段階の構造化議論プロセス

実装詳細

  • ベースモデル: Qwen-2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-4B-it
  • 操作層: 第20層
  • ペルソナベクトル: 環境保全主義者、創造的専門家、未来主義者、分析的思考者など
  • 評価: 各ベンチマークで100個のクエリ、平均値と標準偏差を計算

実験結果

主要な結果

4つの創造性ベンチマークにおいて、BILLYは独創性指標で一貫してすべてのベースライン方法を上回ります：

AUTタスク独創性スコア：

  • Qwen-2.5-7B: BILLY (4.71) > LLM Discussion (4.24) > SA-MRP (4.07) > SA (4.03)
  • Llama-3.1-8B: BILLY (4.38) > LLM Discussion (4.21) > SA-MRP (4.05) > SA (3.73)
  • Gemma-3-4B: BILLY (4.99) > SA-MRP (4.96) > SA (4.79) > LLM Discussion (3.70)

効率性の比較：

  • 推論遅延: BILLY (19秒) vs LLM Discussion (513秒)、約25倍高速
  • トークンコスト: BILLYはトークン使用量を95%以上削減
  • 10,000クエリあたりのコスト: BILLY (0.30)vsLLMDiscussion(0.30) vs LLM Discussion (25.50)

アブレーション実験

ペルソナベクトル組み合わせ分析：

  • 単一の創造的専門家ベクトルでも優れた創造性パフォーマンスを示す
  • 1個から3個のベクトルへの増加で顕著な改善
  • 4～7個のベクトルのさらなる増加では追加の利益がない

ケース分析

「病院の再設計」タスクの例：

  • 環境保全主義者ベクトル: 実用的な設計図を生成（例：コミュニティガーデン）
  • 創造的専門家ベクトル: 芸術的な用語を含む出力を生成（例：生物発光エコシステム）
  • 融合ベクトル: 真の概念融合を実現し、環境保全主義者の実質的な概念を保持しながら創造的専門家の視覚的スタイルで再構成

活性化投影分析

活性化変化のペルソナベクトル上への投影を分析することで：

  1. プロンプト方法の限界: 複数役割プロンプトはvCREで正ですがvENVで負であり、すべての予期されたペルソナを一貫して誘導できないことを示す
  2. BILLYの利点: vCREとvENVの両方で正の投影を維持し、複数のペルソナを成功裏に共活性化
  3. ベクトル融合の有効性: 単一ベクトルは対応するセマンティック概念を正確に制御し、融合ベクトルは複雑な相互作用を実現

関連研究

LLM創造性向上

  1. 役割扮演プロンプト: モデルに特定の創造的ペルソナを採用させるよう指導
  2. 複数エージェント協働フレームワーク: 複数のエージェントがブレーンストーミング会議をシミュレート
  3. 包括的レビュー: 創造性研究方向の全面的な概観

複数LLM協働

  1. 構造化対話フレームワーク: AutoGenの次世代アプリケーションなど
  2. 役割扮演対話: LLM DiscussionとHOLLMWOOD
  3. 限界: 計算コストが高い、不安定性、効率が低い

活性化操作技術

  1. 行動制御: 内部活性化の修正によるモデル行動への影響
  2. 対比方法: 活性化差分を使用した操作ベクトルの計算
  3. 応用分野: 真正性向上、安全性改善、ペルソナ制御

結論と議論

主要な結論

  1. BILLYは単一モデル内で複数LLM協働の創造性利点を成功裏に捉える
  2. 推論時間と計算コストを大幅に削減しながら、創造性パフォーマンスを維持または上回る
  3. 活性化操作は複数役割プロンプトより優れた制御性と解釈可能性を提供

限界

  1. ベクトル組み合わせ方法: 現在は単純平均を使用しており、将来的にはより複雑な組み合わせ技術が必要
  2. 非線形相互作用: ペルソナベクトルの融合効果は単純な線形叠加ではない
  3. タスク特定の重み: 各ペルソナベクトルのタスク特定の重みを学習するメカニズムが不足

今後の方向性

  1. 単純平均を超える複雑なベクトル組み合わせフレームワークの開発
  2. タスク特定のペルソナベクトル重みの学習
  3. 機能的役割を明示的にモデル化し、より正確な制御を実現するメカニズムの設計

深層的評価

強み

  1. 方法の革新性: ペルソナベクトル融合を創造性向上に初めて適用し、技術的アプローチが新規
  2. 実験の充実性: 複数モデル、複数ベンチマークの包括的評価、効率性、品質、解釈可能性分析を含む
  3. 実用的価値: 顕著な効率向上により、方法は強い実用性を持つ
  4. 理論的洞察: 活性化投影分析を通じてプロンプト方法と活性化操作の本質的な違いを明らかにする

不足

  1. ベクトル融合理論: 単純平均が有効である理由についての深い理論的分析が不足
  2. 評価の限界: 主にLLM評判者に依存しており、バイアスが存在する可能性
  3. 汎化能力: 創造性タスクでのみ検証され、他のタスクへの適用可能性は不明
  4. ペルソナベクトル品質: ペルソナベクトル抽出プロセスの安定性と一貫性の検証が必要

影響力

  1. 分野への貢献: LLM創造性向上に新しい技術的経路を提供
  2. 実用的価値: 計算コストを大幅に削減し、複数ペルソナAIシステムの実際の展開を推進する可能性
  3. 再現性: 方法は比較的シンプルで再現と拡張が容易

適用シーン

  1. 創造的執筆: 複数の視点を融合させた物語創作
  2. デザイン思考: 美学、機能性、持続可能性を組み合わせた設計案
  3. 科学的イノベーション: 学際的思考が必要な研究問題解決
  4. 教育応用: 学生の多元的思考能力の育成

参考文献

論文は豊富な関連研究を引用しており、以下を含みます：

  • 創造性心理学の古典的研究（Torrance, 1966; Wallach & Kogan, 1965）
  • 複数エージェントシステムの最新進展（Wu et al., 2023; Lu et al., 2024）
  • 活性化操作技術の発展（Turner et al., 2024; Chen et al., 2025）

総合評価: これはLLM創造性向上分野における重要な貢献を持つ高品質な論文です。BILLY方法は複数LLMシステムの効率性の問題を巧妙に解決しながら、創造性の利点を保持しています。理論分析と評価方法にはまだ改善の余地がありますが、その実用的価値と技術的革新性により、この分野の重要な進展となっています。