2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: Управление большими языковыми моделями посредством объединения векторов персоны для творческого поколения

Основная информация

  • ID статьи: 2510.10157
  • Название: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • Авторы: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • Категория: cs.CL cs.AI
  • Дата публикации: 11 октября 2025 г. (препринт arXiv)
  • Ссылка на статью: https://arxiv.org/abs/2510.10157v1

Аннотация

Системы с несколькими БЯМ повышают креативность больших языковых моделей путём моделирования коллективного интеллекта человека, однако имеют значительные недостатки в виде высоких вычислительных затрат и большой задержки при выводе. Для решения этих ограничений в данной работе предлагается BILLY (BlendIng persona vectors for Large Language model creativitY) — беспроцессный фреймворк, позволяющий захватить преимущества сотрудничества нескольких БЯМ в рамках единой модели, включая введение разнообразных перспектив и специализированных знаний. BILLY работает путём извлечения и объединения нескольких различных векторов персоны в пространстве активаций модели, используя объединённый вектор во время вывода для управления процессом генерации, обеспечивая многоперспективный вывод без явной коммуникации между несколькими БЯМ.

Исследовательский контекст и мотивация

Основные проблемы

  1. Вычислительная нагрузка систем с несколькими БЯМ: Традиционные фреймворки сотрудничества нескольких БЯМ, хотя и повышают креативность, имеют высокие вычислительные затраты и задержку при выводе
  2. Ограничения методов с единственным промптом: Попытка заставить модель одновременно принять несколько ролей и перспектив через промптирование сталкивается с трудностями интеграции
  3. Компромисс между эффективностью и креативностью: Как значительно снизить вычислительные затраты, сохраняя преимущества креативности

Значимость исследования

Креативность широко признана краеугольным камнем человеческого прогресса, движущей силой инноваций во всех областях. Недавние исследования изучали креативность БЯМ, рассматривая её как перспективный инструмент для приложений, таких как написание рассказов, дизайн-мышление и научные открытия. Парадигма с несколькими БЯМ, моделируя коллективный интеллект человека, позволяет нескольким БЯМ проводить итеративное обсуждение для получения более полных решений.

Ограничения существующих методов

  1. Фреймворки с несколькими БЯМ: Высокие вычислительные затраты, длительное время вывода, наличие потерь процесса (process loss)
  2. Методы с единственным промптом: Зависят от способности модели интегрировать несколько ролей; на практике модель может обрабатывать каждую персону отдельно, но с трудом интегрировать их согласованно

Основные вклады

  1. Предложение фреймворка BILLY: Беспроцессный фреймворк объединения векторов персоны, обеспечивающий многоперспективные творческие ответы в рамках единой БЯМ
  2. Эффективность и простота: Полностью беспроцессный, не требует дополнительной тонкой настройки или коммуникации между несколькими БЯМ, значительно снижает вычислительные и токен-затраты
  3. Механизм интерпретируемости: Прямое управление в пространстве скрытых активаций обеспечивает интерпретируемый механизм управления креативностью
  4. Повышение производительности: Превосходит методы с единственным промптом и традиционные подходы с несколькими БЯМ на бенчмарках, ориентированных на креативность

Подробное описание метода

Определение задачи

Учитывая входные данные творческой задачи, BILLY нацелена на генерацию творческого вывода, объединяющего несколько специализированных перспектив (например, экологиста, творческого профессионала, футуролога), избегая при этом вычислительных затрат систем с несколькими БЯМ.

Архитектура модели

1. Извлечение векторов персоны (Contrastive Activation)

Для персоны P вектор персоны извлекается посредством контрастного метода:

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

где:

  • D+_P: набор ответов, демонстрирующих характеристики персоны
  • D-_P: набор базовых ответов, лишённых этих характеристик
  • a⃗(l)(x): средняя активация остаточного потока на слое l для токена

2. Автономное объединение (Offline Fusion)

Объединение N векторов персоны в единый составной вектор:

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. Управление при выводе (Inference-time Steering)

Модификация активаций во время вывода:

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

где α — коэффициент масштабирования; в экспериментах выбран слой 20 для управления.

Технические инновации

  1. Управление в пространстве активаций: Прямое управление на уровне внутренних представлений модели, а не полагаясь на инженерию промптов
  2. Стратегия объединения векторов: Объединение нескольких векторов персоны посредством простого усреднения для реализации сложных комбинаций персон
  3. Беспроцессная конструкция: Добавление вектора только при выводе без изменения весов модели
  4. Переиспользуемость: Векторы персоны извлекаются один раз и могут использоваться многократно, амортизируя затраты

Экспериментальная установка

Наборы данных

Расширенный бенчмарк на основе теста креативности Уоллаха-Когана, улучшенный GPT-4 компанией Lu и соавторами:

  1. AUT: Требует предоставления практических инновационных применений для повседневных предметов
  2. INSTANCES: Перечисление предметов в соответствии с конкретными критериями
  3. SIMILARITIES: Определение связей или сходства между предметами
  4. SCIENTIFIC: Генерация творческих решений для научных проблем

Метрики оценки

Используются два основных показателя из теста творческого мышления Торранса (TTCT):

  1. Оригинальность (Originality): Оценивает статистическую редкость или нетрадиционность ответа
  2. Разработанность (Elaboration): Измеряет уровень детализации и поддерживающей информации в ответе

Используется GPT-4o-mini в качестве оценивающей БЯМ с 5-балльной шкалой оценок.

Методы сравнения

  1. Single Agent (SA): Единственная БЯМ с творческим ответом (температура 0,7)
  2. SA (T=1.0): Единственный агент с декодированием высокой температуры (температура 1,0)
  3. SA-MRP: Единственный агент с многоролевым промптом
  4. LLM Discussion: Фреймворк с несколькими БЯМ, трёхэтапный структурированный процесс обсуждения

Детали реализации

  • Базовые модели: Qwen-2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-4B-it
  • Слой управления: слой 20
  • Векторы персоны: экологист, творческий профессионал, футуролог, аналитический мыслитель и др.
  • Оценка: 100 запросов на каждый бенчмарк, расчёт среднего значения и стандартного отклонения

Результаты экспериментов

Основные результаты

На четырёх бенчмарках креативности BILLY последовательно превосходит все базовые методы по показателю оригинальности:

Оценки оригинальности для задачи AUT:

  • Qwen-2.5-7B: BILLY (4,71) > LLM Discussion (4,24) > SA-MRP (4,07) > SA (4,03)
  • Llama-3.1-8B: BILLY (4,38) > LLM Discussion (4,21) > SA-MRP (4,05) > SA (3,73)
  • Gemma-3-4B: BILLY (4,99) > SA-MRP (4,96) > SA (4,79) > LLM Discussion (3,70)

Сравнение эффективности:

  • Задержка вывода: BILLY (19 сек) против LLM Discussion (513 сек), примерно в 25 раз быстрее
  • Затраты на токены: BILLY снижает использование токенов более чем на 95%
  • Стоимость на 10 000 запросов: BILLY (0,30)противLLMDiscussion(0,30) против LLM Discussion (25,50)

Абляционные эксперименты

Анализ комбинаций векторов персоны:

  • Единственный вектор творческого профессионала уже демонстрирует отличную творческую производительность
  • Увеличение с 1 до 3 векторов показывает значительное улучшение
  • Дальнейшее увеличение с 4 до 7 векторов не даёт значительных дополнительных преимуществ

Анализ примеров

На примере задачи "Переосмысление больницы":

  • Вектор экологиста: Генерирует практические чертежи (например, общественные сады)
  • Вектор творческого профессионала: Создаёт богатые художественные термины (например, биолюминесцентные экосистемы)
  • Объединённый вектор: Истинное концептуальное слияние, сохраняющее существенные концепции экологиста, но переосмысленные с визуальным стилем творческого профессионала

Анализ проекции активаций

Посредством анализа проекции изменений активаций на векторы персоны:

  1. Ограничения метода с промптом: Многоролевой промпт положителен на vCRE, но отрицателен на vENV, указывая на неспособность последовательно индуцировать все предполагаемые персоны
  2. Преимущества BILLY: Сохраняет положительную проекцию как на vCRE, так и на vENV, успешно совместно активируя несколько персон
  3. Эффективность объединения векторов: Единственный вектор обеспечивает точное управление соответствующей семантической концепцией, объединённый вектор реализует сложные взаимодействия

Связанные работы

Повышение креативности БЯМ

  1. Промптирование с принятием ролей: Направление модели на принятие конкретных творческих персон
  2. Фреймворки сотрудничества нескольких агентов: Несколько агентов моделируют сеанс мозгового штурма
  3. Комплексный обзор: Всестороннее рассмотрение направлений исследования креативности

Сотрудничество нескольких БЯМ

  1. Структурированные фреймворки диалога: Такие как приложения следующего поколения AutoGen
  2. Диалоги с принятием ролей: LLM Discussion и HOLLMWOOD
  3. Ограничения: Высокие вычислительные затраты, нестабильность, низкая эффективность

Техники управления активациями

  1. Управление поведением: Влияние на поведение модели путём модификации внутренних активаций
  2. Контрастные методы: Использование различий активаций для расчёта векторов управления
  3. Области применения: Повышение аутентичности, улучшение безопасности, управление персоной

Заключение и обсуждение

Основные выводы

  1. BILLY успешно захватывает преимущества креативности сотрудничества нескольких БЯМ в рамках единой модели
  2. Значительно снижает время вывода и вычислительные затраты, сохраняя или превосходя творческую производительность
  3. Управление активациями обеспечивает лучшую управляемость и интерпретируемость по сравнению с многоролевым промптированием

Ограничения

  1. Метод комбинирования векторов: В настоящее время используется простое усреднение; в будущем требуются более сложные техники комбинирования
  2. Нелинейные взаимодействия: Эффект объединения векторов персоны не является простым линейным наложением
  3. Задачеспецифичные веса: Отсутствует механизм обучения задачеспецифичным весам для каждого вектора персоны

Направления будущих исследований

  1. Разработка сложных фреймворков комбинирования векторов, выходящих за рамки простого усреднения
  2. Обучение задачеспецифичным весам векторов персоны
  3. Разработка механизмов, явно моделирующих функциональные роли для более точного управления

Глубокая оценка

Преимущества

  1. Инновационность метода: Первое применение объединения векторов персоны для повышения креативности; технологический маршрут является новаторским
  2. Полнота экспериментов: Всестороннее оценивание на нескольких моделях и бенчмарках, включая анализ эффективности, качества и интерпретируемости
  3. Практическая ценность: Значительное повышение эффективности делает метод практически ценным
  4. Теоретические инсайты: Анализ проекции активаций раскрывает фундаментальные различия между методами с промптом и управлением активациями

Недостатки

  1. Теория объединения векторов: Отсутствует глубокий теоретический анализ того, почему простое усреднение эффективно
  2. Ограничения оценки: Главным образом полагается на оценивающую БЯМ, что может содержать предвзятость
  3. Способность к обобщению: Проверено только на творческих задачах; применимость к другим задачам неизвестна
  4. Качество векторов персоны: Стабильность и согласованность процесса извлечения векторов персоны требуют дополнительной проверки

Влияние

  1. Вклад в область: Предоставляет новый технологический путь для повышения креативности БЯМ
  2. Практическая ценность: Значительное снижение вычислительных затрат может способствовать практическому развёртыванию систем с многоперсонными ИИ
  3. Воспроизводимость: Метод относительно простой, легко воспроизводится и расширяется

Сценарии применения

  1. Творческое письмо: Написание рассказов, требующих объединения нескольких перспектив
  2. Дизайн-мышление: Разработка дизайнерских решений, объединяющих эстетику, функциональность и устойчивость
  3. Научные инновации: Решение исследовательских проблем, требующих междисциплинарного мышления
  4. Образовательные приложения: Развитие многоперспективного мышления у студентов

Библиография

Статья цитирует богатый объём связанных работ, включая:

  • Классические исследования психологии креативности (Torrance, 1966; Wallach & Kogan, 1965)
  • Последние достижения в системах с несколькими агентами (Wu et al., 2023; Lu et al., 2024)
  • Развитие техник управления активациями (Turner et al., 2024; Chen et al., 2025)

Общая оценка: Это высококачественная статья, вносящая значительный вклад в область повышения креативности БЯМ. Метод BILLY умело решает проблему эффективности систем с несколькими БЯМ, сохраняя при этом преимущества креативности. Хотя существует пространство для улучшения в теоретическом анализе и методах оценки, её практическая ценность и техническая инновационность делают её важным прогрессом в этой области.