Оценка уверенности на основе активаций: повышение надежности LLM посредством оценки неопределенности на основе активаций

Основная информация

• ID статьи: 2510.13750
• Название: Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation
• Авторы: Zhiqi Huang, Vivek Datla, Chenyang Zhu, Alfy Samuel, Daben Liu, Anoop Kumar, Ritesh Soni (Capital One)
• Классификация: cs.CL (Вычислительная лингвистика)
• Дата публикации: 16 октября 2025 г. (arXiv v2)
• Ссылка на статью: https://arxiv.org/abs/2510.13750v2

Аннотация

В данной статье предлагается метод оценки уверенности для систем поиска с дополнением (RAG), который тесно коррелирует с корректностью выходных данных больших языковых моделей (LLM). Оценка уверенности особенно важна в высокорисковых областях, таких как финансы и здравоохранение, где стоимость ошибочного ответа значительно превышает стоимость отсутствия ответа. Метод расширяет существующие подходы к количественной оценке неопределенности путем использования исходных активаций сети прямого распространения (FFN) в качестве авторегрессивного сигнала, избегая присущей потери информации при проектировании логитов токенов и вероятностей после нормализации softmax. Авторы моделируют прогнозирование уверенности как задачу классификации последовательности и используют регуляризацию потерь Хубера при обучении для повышения устойчивости к зашумленному контролю. На реальных сценариях поддержки клиентов финансовой отрасли со сложной базой знаний метод превосходит сильные базовые модели и сохраняет высокую точность при строгих ограничениях на задержку.

Исследовательский контекст и мотивация

Определение проблемы

В высокорисковых сценариях применения системы RAG должны отказывать в ответе, а не предоставлять неправильные ответы. Это требует меры уверенности, которая сильно коррелирует с корректностью ответа и маскирует ответы, когда оценка уверенности падает ниже порога.

Важность проблемы

1. Требования высокорисковых областей: В строго регулируемых областях, таких как финансы и здравоохранение, репутационные и финансовые затраты на предоставление неправильного ответа значительно превышают затраты на отсутствие ответа
2. Вызовы развертывания в реальном времени: Существующие методы плохо работают с длинными нарративными ответами и требованиями задержки в производственной среде
3. Источники неопределенности: Главным образом происходят из эпистемической неопределенности (недостаточные знания модели), а не из алеаторической неопределенности (присущая случайность данных)

Ограничения существующих методов

1. Методы на основе выборки: Требуют множественных генераций, вводя чрезмерные вычислительные затраты и задержку в производственной среде
2. Методы вероятности токенов: Плохо работают на длинных ответах, где одно слово с низкой вероятностью может непропорционально снизить общую оценку последовательности
3. Потеря информации: Вероятности токенов теряют богатую информацию внутреннего представления после линейного проектирования и преобразования softmax

Основные вклады

1. Предложен метод оценки уверенности на основе активаций: Использует исходные активации FFN в качестве авторегрессивного сигнала, избегая потери информации логитов токенов
2. Структура классификации последовательности: Моделирует прогнозирование уверенности как задачу классификации последовательности с использованием LSTM для обработки последовательности активаций
3. Регуляризация потерь Хубера: Вводит потери Хубера для повышения устойчивости к зашумленному контролю на этапе поиска
4. Проверка в производственной среде: Подтверждает эффективность и масштабируемость метода в реальных сценариях поддержки финансовых клиентов
5. Оптимизация эффективности: Демонстрирует, что использование только активаций 16-го слоя значительно снижает задержку при сохранении точности

Подробное описание метода

Определение задачи

Для входных данных x и сгенерированной последовательности s целью является оценка оценки уверенности c, которая сильно коррелирует с корректностью ответа. Когда c ниже порога, система отказывает в отображении ответа.

Архитектура модели

Общая структура

Входная последовательность конструируется как:

x = xI ⊕ xQ ⊕ xC ⊕ s ⊕ xEOS

где xI (инструкция), xQ (вопрос), xC (контекст), s (ответ), xEOS (маркер конца)

Извлечение активаций

Извлечение активаций скрытого состояния из слоя ℓ Transformer:

Hℓ = (h¹ℓ, ..., h^(T+L+1)ℓ)

Сохранение только активаций, соответствующих части ответа:

Sin = (h^(T+1)ℓ, h^(T+2)ℓ, ..., h^(T+L+1)ℓ)

Классификатор последовательности

Использование LSTM в качестве классификатора последовательности g(Sin), выводящего 2-мерный вектор логитов z, оценка уверенности:

c = softmax(z)₁ = e^z₁/(e^z₀ + e^z₁)

Стратегия обучения

Функция потерь

Комбинирование потерь кросс-энтропии и регуляризации потерь Хубера:

LTotal = LCE + λLHuber

Потери Хубера определяются как:

Hδ(x) = {
  ½x² для |x| ≤ δ
  δ(|x| - ½δ) иначе
}

Потери Хубера на уровне пакета:

LHuber = Hδ(1/|B| Σci - 1/|B| ΣI(ŷi = yi))

Технические инновации

1. Исходные активации vs вероятности токенов: Избегает сжатия информации и искажения, вызванных линейным проектированием и softmax
2. Авторегрессивное моделирование последовательности: Использует LSTM для захвата временных зависимостей в процессе генерации
3. Регуляризация устойчивости: Потери Хубера более устойчивы к зашумленным меткам, вводимым ошибками поиска
4. Оптимизация слоев: Экспериментальное определение оптимального слоя для извлечения активаций

Экспериментальная установка

Набор данных

• Источник: Внутренняя база знаний поддержки клиентов Capital One
• Масштаб: 8,5 тыс. документов, примерно 45 тыс. фрагментов
• Характеристики: Полуструктурированные документы с комплексной иерархией, таблицами, списками и т.д.
• Аннотирование: Двухуровневый механизм проверки через обратную связь в реальном времени и оценку экспертов

Метрики оценки

• AUROC: Способность различения оценки уверенности
• Precision (P): Точность отображаемых ответов
• Recall (R): Полнота правильных ответов
• ROUGE-L: Оценка качества ответа
• Mask Rate: Доля замаскированных ответов
• Задержка: Среднее и P99 время ответа

Методы сравнения

• Vectara (HHEM2.1): Модель семантической согласованности на основе импликации
• VectaraFT: Версия Vectara с тонкой настройкой
• Logits-based: Модель неопределенности на основе логитов токенов

Детали реализации

• Модель: Llama 3.1 8B
• Слои активаций: 16-й и 32-й слои
• Размер контекста: Top-1, Top-3, Top-5, Full (Top-7)
• Фреймворк вывода: Hugging Face, vLLM

Результаты экспериментов

Основные результаты

Анализ порога уверенности

Оптимизация слоев и контекста

16-й слой vs 32-й слой:

• 16-й слой значительно снижает задержку (примерно на 42,5%) при сохранении аналогичной производительности
• При полном контексте 16-й слой достигает точности 0.97 с долей маскирования 31.3%

Анализ задержки:

Абляционные исследования

1. Влияние потерь Хубера: Улучшение с 0.741 до 0.772 AUROC
2. Выбор слоя активации: Производительность 16-го слоя близка к 32-му, но с меньшей задержкой
3. Влияние размера контекста: Больший контекст повышает точность, но увеличивает задержку

Связанные работы

Классификация методов количественной оценки неопределенности

1. Методы на основе выборки: Измерение согласованности через множественные генерации, но с высокими вычислительными затратами
2. Методы на основе вероятности: Использование вероятностей токенов и семантической энтропии, но с ограниченной эффективностью на длинных текстах
3. Методы на основе классификации: Такие как HHEM, избегающие множественных генераций, но требующие доступа к черному ящику
4. Методы на основе активаций: Использование внутренних представлений, основное направление вклада данной работы

Преимущества данной работы

• По сравнению с методами выборки: Одиночный прямой проход, меньшая задержка
• По сравнению с методами вероятности: Сохранение полного внутреннего представления, меньше потери информации
• По сравнению с методами черного ящика: Использование доступа белого ящика для получения более богатых сигналов

Заключение и обсуждение

Основные выводы

1. Эффективность: Метод на основе активаций значительно превосходит существующие базовые модели с AUROC 0.772
2. Практичность: Достижение хорошего баланса между точностью 0.95 и долей маскирования 29.9% в производственной среде
3. Эффективность: Активации 16-го слоя значительно снижают задержку при сохранении производительности
4. Устойчивость: Потери Хубера эффективно повышают устойчивость к зашумленному контролю

Ограничения

1. Зависимость от белого ящика: Требует доступа к внутренним активациям модели, ограничивая универсальность
2. Специфичность архитектуры: Метод адаптирован для конкретной архитектуры модели, требует переконфигурации для передачи
3. Двухэтапная обработка: Требует дополнительного прямого прохода для вычисления оценки уверенности
4. Ограничения данных: Невозможность публикации экспериментальных данных влияет на воспроизводимость

Направления будущих исследований

1. Сквозная интеграция: Прямая интеграция оценки уверенности в процесс генерации
2. Независимость от архитектуры: Разработка универсальных методов, применимых к различным архитектурам LLM
3. Оптимизация вычислений: Дальнейшее снижение вычислительных затрат на оценку уверенности
4. Теоретический анализ: Углубленное понимание теоретической связи между паттернами активаций и уверенностью

Глубокая оценка

Преимущества

1. Техническая инновация: Первая систематическая работа по использованию активаций FFN для оценки уверенности в RAG, избегающая потери информации вероятностей токенов
2. Практическая ценность: Проверка на реальных финансовых сценариях с сильной практической ориентацией
3. Комплексные эксперименты: Достаточные абляционные исследования с множественных аспектов (слои, контекст, задержка)
4. Инженерные соображения: Полное учитывание требований задержки и масштабируемости производственной среды

Недостатки

1. Ограничения универсальности: Метод зависит от доступа белого ящика и специфической архитектуры, ограничивая распространение
2. Теоретическая база: Отсутствие глубокого теоретического анализа того, почему активации FFN могут предсказывать уверенность
3. Прозрачность данных: Невозможность публикации проприетарного набора данных влияет на проверяемость результатов
4. Ограниченное сравнение: Недостаточное сравнение с более новыми методами количественной оценки неопределенности

Влияние

1. Академический вклад: Предоставляет новый технический путь для исследований надежности систем RAG
2. Промышленная ценность: Предоставляет практическое решение для развертывания LLM в высокорисковых областях
3. Методологическое вдохновение: Методы на основе активаций могут вдохновить больше исследований по использованию внутренних представлений

Применимые сценарии

1. Высокорисковые области: Финансы, здравоохранение, право и другие сценарии с экстремальными требованиями к точности
2. Развертывание белого ящика: Корпоративные приложения с доступом к внутренним параметрам модели
3. Системы реального времени: Сценарии, требующие предоставления надежных ответов при строгих ограничениях задержки
4. Специализированные базы знаний: Приложения RAG со структурированными и специализированными базами знаний

Библиография

Статья цитирует важные работы из нескольких связанных областей, включая количественную оценку неопределенности, системы RAG и анализ активаций:

• Azaria and Mitchell (2023): Обнаружение "лжи" во внутренних состояниях LLM
• Bakman et al. (2024): Оценка ответов на основе значения
• Bao et al. (2024): Модель импликации HHEM
• Dai et al. (2022): Нейроны знаний в предварительно обученных Transformer

Общая оценка: Это технически обоснованная статья с высокой практической ценностью, предлагающая инновационное решение важной проблемы оценки уверенности в системах RAG. Несмотря на определенные ограничения в универсальности и теоретической глубине, успешное применение в реальных сценариях и комплексная экспериментальная проверка придают ей значительную академическую и промышленную ценность.