Активный выбор модели для больших языковых моделей

Основная информация

• ID статьи: 2510.09418
• Название: Active Model Selection for Large Language Models
• Авторы: Yavuz Durmazkeser (TU Delft), Patrik Okanovic (ETH Zurich), Andreas Kirsch, Torsten Hoefler (ETH Zurich), Nezihe Merve Gürel (TU Delft)
• Классификация: cs.CL cs.LG
• Дата публикации/конференция: препринт arXiv, октябрь 2025
• Ссылка на статью: https://arxiv.org/abs/2510.09418

Аннотация

В данной работе представлен LLM SELECTOR — первая система активного выбора модели для больших языковых моделей (LLMs). В отличие от традиционных методов оценки и бенчмаркирования, требующих полностью аннотированных наборов данных, LLM SELECTOR эффективно определяет оптимальную LLM при ограниченном объеме аннотаций. Для любой заданной задачи LLM SELECTOR адаптивно выбирает небольшое подмножество наиболее информативных запросов для аннотирования с целью определения лучшей модели. Для дальнейшего снижения затрат на аннотирование метод использует оракул-судью на основе предпочтений. Обширные эксперименты на 6 бенчмарках с 151 LLM показывают, что LLM SELECTOR может снизить затраты на аннотирование на 59,62% при выборе лучшей и близкой к лучшей LLM.

Исследовательский контекст и мотивация

1. Основная проблема

С быстрым ростом количества больших языковых моделей выбор оптимальной LLM для конкретного приложения или распределения данных без переобучения становится все более сложной задачей. Существующие методы выбора моделей сталкиваются со следующими вызовами:

• Резкое увеличение количества доступных моделей, включая разнообразные предварительно обученные модели на академических и коммерческих платформах
• Значительные различия в производительности различных LLM при работе с разными доменами, задачами и языками
• Существующие бенчмарки не успевают за быстрым темпом выпуска новых моделей и часто сосредоточены на стандартизированных задачах

2. Важность проблемы

Выбор модели критичен для практического развертывания, поскольку:

• Различия в производительности могут быть весьма значительными, особенно в специализированных приложениях
• Затраты на аннотирование высоки, требуется эффективная стратегия выбора
• Традиционные случайные или эвристические методы выбора часто приводят к неэффективному использованию ресурсов

3. Ограничения существующих подходов

• Требование полного аннотирования: традиционные методы оценки требуют аннотирования всего набора данных
• Статические бенчмарки: не могут адаптироваться к новым моделям или специфическим требованиям приложений
• Ограничение на задачи классификации: существующие методы активного выбора модели в основном ориентированы на классификацию и не применимы к генеративным задачам
• Проблемы масштабируемости: существующие методы обычно ограничены двумя кандидатами или сценариями одномодельного тестирования

Основные вклады

1. Новаторская система: предложена первая система активного выбора модели для LLM — LLM SELECTOR
2. Информационно-теоретический подход: основан на критерии информационного выигрыша с использованием двухпараметрической модели для количественной оценки информативности
3. Механизм судьи: использует процесс аннотирования на основе судьи, значительно снижая затраты на аннотирование
4. Независимость от модели: полностью модель-независимый подход, применимый к сценариям черного ящика или только с доступом через API
5. Экспериментальная верификация: комплексная оценка на 6 бенчмарках с 151 LLM, демонстрирующая значительное снижение затрат

Подробное описание метода

Определение задачи

Дано множество n неаннотированных запросов Q = {qi ∈ Q | i ∈ n} и множество m предварительно обученных языковых моделей M = {fj : Q → R | j ∈ m}. Цель состоит в определении оптимальной модели f*, которая производит ответы наивысшего качества для запросов Q при ограничении бюджета аннотирования b ≪ n.

Задача формализуется как максимизация взаимной информации:

A_opt[b] = argmax_{A⊆{(qi,ri)|i∈[n]}, |A|≤b} I(F; A)

Архитектура модели

1. Система аннотирования на основе суждений о предпочтениях

Использует прямые суждения о предпочтениях вместо сравнения с эталонными ответами:

• Попарное сравнение: для запроса qi оракул-судья сравнивает ответы моделей fj и fk
• Результаты суждений: >, <, = обозначают предпочтение, нежелательность и равенство соответственно
• Расчет процента побед: WRQ(fj, fk) = (1/n)∑OracleJudge(qi, fj(·), fk(·))

2. Двухпараметрическая модель

Вводит двухпараметрическую модель для описания поведения оптимальной языковой модели относительно базовой:

P(F(q) < f̄(q)|F = f*) = ε_loss
P(F(q) = f̄(q)|F = f*) = ε_draw  
P(F(q) > f̄(q)|F = f*) = 1 - ε_loss - ε_draw

3. Алгоритм последовательной максимизации информации

Использует жадную стратегию для пошагового выбора запросов:

qt = argmin_{q∈Ut} E_R[H(F | At ∪ {(q,R)})]

4. Механизм слабого судьи

Использует k-граммовую языковую модель в качестве слабого судьи:

• Построение k-граммовой модели на основе ответов кандидатных моделей
• Сравнение качества ответов через среднее отношение правдоподобия последовательности
• Использование ансамбля нескольких слабых судей (z=10) для результатов

Технические инновации

1. Информационно-теоретический выбор: первое применение информационной энтропии Шеннона к выбору LLM с прочной теоретической основой
2. Ансамбль слабых судей: инновационное использование ансамбля k-граммовых моделей в качестве зашумленного оракула без необходимости реальных аннотаций для оптимизации параметров
3. Стратегия сравнения с базовой моделью: снижение сложности с O(m²) до O(m) путем сравнения с единственной базовой моделью
4. Адаптивный выбор параметров: автоматическое определение параметров ε_loss и ε_draw через ансамбль слабых судей

Экспериментальная установка

Наборы данных

Эксперименты охватывают 6 бенчмарков с 151 LLM:

Метрики оценки

1. Вероятность идентификации: доля экспериментов, в которых правильно найдена лучшая модель
2. Эффективность аннотирования: процентное снижение необходимых аннотаций по сравнению с лучшим методом базовой линии
3. 95-й процентиль разницы процента побед: 95-й процентиль разницы между процентом побед выбранной модели и абсолютно лучшей модели

Методы сравнения

• Random: случайный выбор запросов
• Bradley-Terry: апостериорное распределение на основе коэффициентов Брэдли-Терри
• Most Draws: выбор запросов с наибольшим количеством ничьих с базовой моделью
• Uncertainty: выборка на основе неопределенности
• Confidence: выборка на основе уверенности

Детали реализации

• Оракул-судья: GPT-4 для текстовых задач, Prometheus-Vision для зрительно-языковых задач
• Количество слабых судей: z=10
• Оптимизация параметров: определение ε_loss и ε_draw через поиск по сетке
• Экспериментальная установка: каждая конфигурация запускается несколько раз для получения оценок производительности

Результаты экспериментов

Основные результаты

1. Производительность вероятности идентификации

LLM SELECTOR значительно превосходит методы базовой линии на нескольких наборах данных:

• Arena-Hard: достижение 100% вероятности идентификации с 58,33% снижением аннотирования
• MediQA: снижение на 50,40% аннотирования
• MT-Bench: снижение на 40,00% аннотирования
• На других бенчмарках сопоставима с сильнейшим методом базовой линии

2. Эффективность аннотирования (близкая к оптимальной модель)

Повышение эффективности при выборе близкой к оптимальной модели с разницей процента побед δ:

Абляционные исследования

1. Анализ чувствительности параметров

Определение оптимальных параметров через 1000 реализаций:

• Arena-Hard: ε_loss=0,20, ε_draw=0,40
• AlpacaEval: ε_loss=0,20, ε_draw=0,40
• MT-Bench: ε_loss=0,15, ε_draw=0,35

2. Влияние количества слабых судей

z=10 определено как оптимальный выбор; слабые судьи сверх этого количества предоставляют ограниченную новую информацию.

Анализ робастности

Анализ 95-го процентиля разницы процента побед показывает, что LLM SELECTOR поддерживает небольшой разброс точности при различных бюджетах, достигая лучшей или второй лучшей производительности в большинстве случаев.

Связанные работы

1. Методы оценки LLM

• Традиционные бенчмарки: бенчмарки с множественным выбором и краткими ответами (MMLU, HellaSwag и др.)
• Эталонные бенчмарки: оценка BLEU, ROUGE для задач суммаризации и перевода
• Бенчмарки на основе судей: LMArena, Arena-Hard, AlpacaEval на основе LLM-as-a-Judge

2. Активный выбор модели

Существующие работы в основном сосредоточены на:

• Задачах классификации: применение традиционного активного обучения в сценариях классификации
• Онлайн-установке: сценарии потоковой передачи данных
• Сравнении двух моделей: ограничение двумя кандидатными моделями

3. Преимущества данной работы

• Первый активный выбор модели для генеративных задач LLM
• Поддержка произвольного количества кандидатных моделей
• Перспектива, ориентированная на данные, с приоритизацией выборки для аннотирования, а не пар моделей

Заключение и обсуждение

Основные выводы

1. Подтверждение эффективности: LLM SELECTOR значительно снижает затраты на аннотирование на нескольких бенчмарках
2. Последовательная производительность: демонстрирует последовательную конкурентоспособность по сравнению с нестабильной производительностью методов базовой линии
3. Практическая ценность: полностью модель-независимая конструкция делает его применимым в сценариях практического развертывания

Ограничения

1. Зависимость от базовой модели: производительность метода частично зависит от качества выбора базовой модели
2. Настройка параметров: требует предварительного определения параметров ε_loss и ε_draw
3. Качество судьи: зависит от качества и согласованности оракула-судьи
4. Вычислительные затраты: вычисления слабых судей могут стать узким местом в крупномасштабных сценариях

Направления будущих исследований

1. Адаптивные параметры: разработка адаптивной версии без предварительной установки параметров
2. Расширение на многозадачность: расширение на сценарии совместного выбора нескольких задач
3. Онлайн-обучение: интеграция онлайн-обучения для работы с динамическими наборами моделей
4. Теоретический анализ: предоставление более глубоких теоретических гарантий и анализа сходимости

Глубокая оценка

Преимущества

1. Важность проблемы: решает важную практическую проблему эпохи LLM
2. Методологическая инновация: первое систематическое применение активного обучения к выбору LLM
3. Теоретическая основа: прочная теоретическая основа на информационной теории
4. Комплексные эксперименты: обширная верификация на нескольких доменах с 151 моделью
5. Практический дизайн: модель-независимый, применимый к сценариям API

Недостатки

1. Зависимость от судьи: эффективность метода сильно зависит от качества оракула-судьи
2. Чувствительность параметров: требует настройки параметров для различных наборов данных, что может ограничить обобщаемость
3. Недостаточный теоретический анализ: отсутствуют гарантии сходимости и анализ сложности выборки
4. Анализ вычислительной сложности: недостаточный анализ вычислительных затрат слабых судей

Влияние

1. Академический вклад: открывает новое направление исследований в активном выборе LLM
2. Практическая ценность: предоставляет эффективный инструмент для практического развертывания LLM
3. Воспроизводимость: предоставляет полную реализацию с открытым исходным кодом
4. Расширяемость: закладывает основу для последующих исследований

Применимые сценарии

1. Среды с ограниченными ресурсами: практические приложения с ограниченным бюджетом аннотирования
2. Специализированные приложения: выбор модели для конкретного распределения данных
3. Выбор API-сервиса: выбор между несколькими коммерческими API-сервисами
4. Непрерывная оценка: динамические среды, требующие периодической оценки и обновления выбора модели

Библиография

Статья ссылается на богатый корпус связанных работ, включая:

• Бенчмарки оценки LLM: HELM (Liang et al., 2023), OpenCompass (2023)
• Активное обучение: Chen et al. (2015), Okanovic et al. (2025)
• LLM-as-a-Judge: Zheng et al. (2023), Li et al. (2024)
• Обучение предпочтениям: Rafailov et al. (2023), Ouyang et al. (2022)

Общая оценка: Это высококачественная статья, решающая важную практическую проблему. Она предлагает первую систему активного выбора модели для LLM с значительными вкладами в методологическую инновацию, экспериментальную верификацию и практическую ценность. Хотя есть место для улучшения в теоретическом анализе и адаптивности параметров, работа открывает новое направление исследований в области выбора LLM и имеет важное академическое и практическое значение.