Обучение оптимальному ансамблю подсказок для многоисточниковой передачи визуальных подсказок

Основная информация

• ID статьи: 2504.12311
• Название: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer
• Авторы: Enming Zhang, Liwen Cao, Yanru Wu, Zijie Zhao, Yang Li (Международный аспирантский институт Университета Цинхуа в Шэньчжэне, Юго-восточный университет)
• Классификация: cs.CL (вычислительная лингвистика)
• Дата публикации/конференция: препринт arXiv (последняя версия от 15 октября 2025 г.)
• Ссылка на статью: https://arxiv.org/abs/2504.12311v5

Аннотация

В данной работе предлагается фреймворк HGPrompt для задачи многоисточниковой передачи визуальных подсказок. Метод обучает оптимальные весовые коэффициенты путём совместной оптимизации информационно-теоретической меры передаваемости и регуляризационного члена минимизации конфликтов градиентов. Конкретно, предложена дифференцируемая мера передаваемости подсказок для захвата дискриминативности признаков, индуцируемых подсказками на целевой задаче, а также основанное на информации Гессиана и Фишера согласование дисперсии градиентов различных исходных подсказок, обеспечивающее стабильную и согласованную передачу знаний и подавление конфликтов градиентов. Экспериментальная проверка на крупномасштабном эталоне VTAB подтвердила эффективность HGPrompt.

Исследовательский контекст и мотивация

Определение проблемы

С развитием визуальных фундаментальных моделей настройка подсказок (Prompt Tuning) стала лёгкой стратегией адаптации к задачам нижестоящего уровня. Основная проблема, с которой сталкиваются существующие методы: как эффективно агрегировать несколько исходных подсказок для повышения обобщающей способности на новых задачах.

Исследовательская мотивация

1. Требование эффективности ресурсов: полная настройка модели становится нереальной на крупномасштабных предварительно обученных моделях, тогда как настройка подсказок требует обновления только 0,4% параметров для достижения конкурентоспособной производительности
2. Ценность активов подсказок: предварительно обученные подсказки стали ценными активами знаний, комбинация многоисточниковых подсказок может использовать дополнительные знания
3. Ограничения существующих методов: простая конкатенация или усреднённая агрегация игнорирует различия в вкладе различных исходных подсказок в целевую задачу, что может привести к коллапсу представления

Основные вызовы

• Традиционные методы оценивают передаваемость каждой подсказки изолированно, игнорируя взаимозависимости между подсказками
• Отсутствие теоретической основы эвристических методов (например, расчёт сходства параметров)
• Градиентные помехи, вводимые многоподсказочной агрегацией, приводят к нестабильности оптимизации

Основные вклады

1. Предложение фреймворка HGPrompt: первый теоретически обоснованный фреймворк для динамического обучения оптимальных весов подсказок путём оценки передаваемости интегрированных признаков, индуцируемых агрегированными подсказками
2. Информационно-теоретическая мера передаваемости: дифференцируемая мера передаваемости подсказок на основе H-score, обеспечивающая явное и интерпретируемое количественное определение вклада
3. Регуляризация выравнивания градиентов: инновационная цель согласования дисперсии градиентов, решающая проблему конфликтов градиентов между многоисточниковыми подсказками
4. Производительность SOTA: достижение передовой производительности на эталоне VTAB со средней точностью 60,3%

Подробное описание метода

Определение задачи

Дано κ исходных задач S = {Sᵢ}ᵏᵢ₌₁ и соответствующие им оптимизированные подсказки {Pᵢ}ᵏᵢ₌₁, целью является построение целевой подсказки Pₜ для новой задачи T путём оптимальной комбинации исходных подсказок. Пусть M ≤ κ — количество выбранных исходных подсказок, весовые коэффициенты α = (α₁,...,αₘ) удовлетворяют ∑ᵢαᵢ = 1 и αᵢ ≥ 0.

Архитектура модели

1. Основы визуальной настройки подсказок

Для предварительно обученного Transformer вводятся m обучаемых токенов подсказок P = p₁,...,pₘ ∈ ℝᵐˣᵈ. Для встраивания патчей E(X) ∈ ℝⁿˣᵈ входного изображения X объединённая входная последовательность имеет вид P;E(X) ∈ ℝ⁽ᵐ⁺ⁿ⁾ˣᵈ.

Вероятность предсказания:

Prθ(Y|X;P) = exp(fY([P;E(X)];θ)) / ∑ᶜᵢ₌₁exp(fᵢ([P;E(X)];θ))

2. Мера передаваемости H-score

Определение 1: Для входных данных x, метки y и экстрактора признаков f(x) односторонний H-score определяется как:

H(f) = tr(cov(f(X))⁻¹cov(E_P[X|Y][f(X)|Y]))

Эта мера имеет интуитивную интерпретацию: высокий H-score указывает на большую межклассовую дискриминативность cov(Ef(X)|Y) и минимальную избыточность признаков tr(cov(f(X))).

Определение 2: Оптимальные весовые коэффициенты признаков определяются путём максимизации H-score взвешенной суммы признаков:

α* = argmax_α H(∑ⱼαⱼ·fPⱼ) s.t. ∑ⱼαⱼ = 1

Теорема 1: H-score является выпуклой квадратичной формой относительно весовых коэффициентов α, что гарантирует надёжное решение задачи оптимизации.

3. Регуляризация выравнивания градиентов

Для решения проблемы градиентных помех при агрегации многих подсказок предложена цель согласования дисперсии градиентов:

Расчёт градиента для каждой исходной подсказки Pᵢ:

gᵢ = ∇Pᵢ L(fθ([x₀;Pᵢ;E(X)]), y)

Дисперсия градиента:

vᵢ = Var(G) = 1/(N-1) ∑ⱼ(gⁱⱼ - gᵅⱼ)²

Регуляризационный член:

Lalign(α) = 1/M ∑ᵢ||vᵢ - v̄(α)||²₂

Общая целевая функция:

L(α) = -H(α) + λLalign(α)

Технические инновации

1. Интегрированная оценка vs изолированная оценка: в отличие от традиционных методов, независимо оценивающих каждую подсказку, данная работа оценивает общую передаваемость агрегированной подсказки
2. Теоретическая основа: H-score на основе информационной теории обеспечивает строгую математическую основу, заменяя эвристические методы
3. Решение конфликтов градиентов: на основе теоретических идей информации Гессиана и Фишера разработано согласование дисперсии градиентов для снижения несогласованности оптимизации

Экспериментальная установка

Наборы данных

Используется эталон VTAB-1k, состоящий из 13 наборов данных, охватывающих три категории задач:

• Natural: изображения, полученные обычными камерами (например, CIFAR100, Flowers102, Pets)
• Specialized: данные, полученные специализированными устройствами (например, спутниковые изображения EuroSAT)
• Structured: требующие пространственного рассуждения (например, задача подсчёта CLEVR)

Метрики оценки

В качестве основной метрики оценки используется точность классификации, результаты представляют собой среднее значение трёх независимых прогонов.

Методы сравнения

Включает 11 базовых методов:

1. Переобучение классификационной головки: PARTIAL-k, MLP-k
2. Обновление подмножества параметров: Adapter, SIDETUNE, BIAS
3. Передача подсказок: Average, Single-Best, VPT, SPoT, ATTEMPT, PANDA

Детали реализации

• Основная сеть: ViT-B/16 (предварительно обучена на ImageNet-21k)
• Количество токенов подсказок: 50
• Обучение на исходных задачах: 10 эпох
• Вычислительное устройство: GPU NVIDIA A800-80GB
• Количество образцов: 2000 образцов на каждую исходную задачу для расчёта потерь передаваемости и выравнивания градиентов

Результаты экспериментов

Основные результаты

HGPrompt достигает производительности SOTA на 13 визуальных задачах:

• Средняя точность 60,3%, превосходящая все базовые методы
• Выдающаяся производительность на задачах тонкозернистого распознавания (Flowers102, Pets)
• Установление новых эталонов на задачах геометрического рассуждения (sNORB-Azimuth, dSprite-Orientation)

Абляционные эксперименты

Анализ вклада каждого компонента:

Результаты показывают, что оба компонента имеют дополняющий эффект, совместное использование достигает оптимальной производительности.

Анализ весовых коэффициентов

Проверка качества весовых коэффициентов с использованием коэффициента ранговой корреляции Спирмена:

Весовые коэффициенты, обучаемые HGPrompt, имеют наивысшую корреляцию с точностью нулевой передачи, более точно отражая семантическое сродство между задачами.

Анализ масштабируемости

С увеличением количества исходных подсказок с 3 до 11, HGPrompt демонстрирует более сильное преимущество производительности по сравнению с PANDA и SPoT, подтверждая эффективность метода на крупномасштабных наборах подсказок.

Визуализация представлений

Визуализация t-SNE показывает, что признаки, генерируемые HGPrompt, обладают лучшей дискриминативностью классов, объекты одного класса образуют плотные группировки с чёткими границами.

Связанные работы

Параметрически эффективное трансферное обучение

• Область NLP: методы Adapter, BitFit, LoRA настраивают 1-5% параметров
• Область компьютерного зрения: VPT вводит обучаемые токены, VP выполняет пиксельные возмущения

Оценка передаваемости

• Информационно-теоретические методы: H-score, LEEP, LogME оценивают дискриминативность признаков
• Оптимальный транспорт: OTCE измеряет различие домен-задача

Многоисточниковая настройка подсказок

• Передача одной задачи: SPoT использует метрику для предсказания лучшей исходной задачи, Su и др. подчёркивают роль активации нейронов
• Многозадачная установка: ATTEMPT использует механизм внимания для агрегации знаний, PANDA решает проблему забывания через дистилляцию знаний

Заключение и обсуждение

Основные выводы

1. HGPrompt достигает оптимальной интеграции подсказок путём совместной оптимизации H-score и выравнивания градиентов
2. Информационно-теоретическая мера более эффективно количественно определяет передаваемость подсказок, чем эвристические методы
3. Согласование дисперсии градиентов успешно решает проблему помех многоисточниковых подсказок

Ограничения

1. Специфичность архитектуры: текущая работа сосредоточена на архитектуре Transformer, применимость к другим архитектурам ограничена
2. Модальные ограничения: в основном ориентирована на визуальные задачи, многомодальное обучение требует новых методов проектирования подсказок
3. Вычислительные затраты: требует расчёта признаков и градиентов для нескольких исходных подсказок

Направления будущих исследований

1. Расширение на архитектурно-независимые универсальные интерфейсы подсказок
2. Исследование проектирования подсказок в многомодальном обучении
3. Разработка более эффективных методов оценки передаваемости

Глубокая оценка

Преимущества

1. Теоретическая инновация: информационно-теоретическая мера передаваемости обеспечивает строгую математическую основу
2. Передовая техника: регуляризация выравнивания градиентов ловко решает проблему многоисточниковых помех
3. Полные эксперименты: всесторонняя оценка на крупномасштабных эталонах подтверждает эффективность метода
4. Сильная интерпретируемость: процесс обучения весовых коэффициентов имеет явное теоретическое объяснение

Недостатки

1. Глубина теоретического анализа: хотя предоставлено доказательство выпуклости, анализ сходимости и оптимальности недостаточно глубок
2. Чувствительность к гиперпараметрам: выбор параметра λ значительно влияет на производительность, отсутствует адаптивный механизм
3. Сложность вычислений: недостаточно подробный анализ вычислительной сложности и масштабируемости метода

Влияние

1. Академический вклад: предоставляет новый теоретический фреймворк и практический метод для многоисточниковой передачи подсказок
2. Практическая ценность: имеет важное прикладное значение в сценариях с ограниченными ресурсами
3. Воспроизводимость: авторы обещают предоставить исходный код, что способствует распространению метода

Применимые сценарии

1. Среды с ограниченными ресурсами: мобильные устройства, граничные вычисления и т.д.
2. Требования быстрой адаптации: приложения, требующие быстрой адаптации к новым задачам
3. Многозадачное обучение: сценарии, требующие использования знаний из нескольких связанных задач

Библиография

Статья цитирует богатый объём связанных работ, включая:

• Параметрически эффективное обучение: Houlsby et al. (2019), Hu et al. (2021)
• Оценка передаваемости: Bao et al. (2019), You et al. (2021)
• Многозадачное обучение: Yu et al. (2020), Rame et al. (2022)
• Визуальные Transformer: Dosovitskiy (2020), Jia et al. (2022)

Данная статья вносит важный вклад в область многоисточниковой передачи визуальных подсказок, решая ключевые проблемы существующих методов посредством теоретических инноваций и технических прорывов, открывая новое направление исследований в параметрически эффективном трансферном обучении.