Единый подход к активному обучению и обнаружению выбросов распределения

Основная информация

• ID статьи: 2405.11337
• Название: A Unified Approach Towards Active Learning and Out-of-Distribution Detection
• Авторы: Sebastian Schmidt, Leonard Schenk, Leo Schwinn, Stephan Günnemann
• Категория: cs.CV
• Дата публикации: май 2024 г. (arXiv v3: 12 октября 2025 г.)
• Ссылка на статью: https://arxiv.org/abs/2405.11337

Аннотация

При применении моделей глубокого обучения в открытых сценариях стратегии активного обучения (AL) имеют решающее значение для выявления кандидатов на разметку из больших объемов немаркированных данных. В этом контексте надежные механизмы обнаружения выбросов распределения (OOD) необходимы для обработки данных, выходящих за пределы целевого распределения приложения. Однако существующие работы рассматривают эти две проблемы отдельно. В данной статье представлен SISOM как первое унифицированное решение для AL и обнаружения OOD. Используя метрики расстояния в пространстве признаков, SISOM объединяет преимущества текущих независимых задач для эффективного решения обеих проблем. На эталонном наборе OpenOOD SISOM достиг одного первого места и двух мест в тройке лучших на данных близких OOD, а также показал лучшую производительность в задаче AL.

Исследовательский контекст и мотивация

Определение проблемы

1. Вызовы активного обучения: крупномасштабные модели глубокого обучения требуют большого объема размеченных данных, но стоимость разметки высока, требуется интеллектуальный выбор наиболее ценных образцов для разметки
2. Потребность в обнаружении OOD: при практическом развертывании модели встречают данные, выходящие за пределы распределения обучения, требуется надежный механизм обнаружения OOD
3. Ограничения независимой обработки: существующие методы рассматривают AL и обнаружение OOD как независимые задачи, что приводит к конфликтующим целям проектирования и сложности системы

Исследовательская мотивация

• Потребности практического применения: мобильные роботы, автономное вождение и другие практические приложения требуют одновременного решения проблем эффективности разметки и данных вне распределения
• Обнаружение связи задач: авторы наблюдали перекрытие и неоднозначность между данными близких OOD и немаркированными данными в скрытом пространстве
• Преимущества унифицированного подхода: унифицированная обработка может устранить накладные расходы независимых этапов проектирования и избежать конфликтующих целей проектирования

Ключевые идеи

Через визуализацию UMAP авторы обнаружили, что данные близких OOD и немаркированные кандидаты AL расположены близко в пространстве признаков, оба имеют тенденцию находиться между существующими кластерами или вблизи границ решения, что обеспечивает теоретическую основу для унифицированного подхода.

Основные вклады

1. Первый унифицированный метод: предложен SISOM как первый специально разработанный унифицированный метод для одновременного решения AL и обнаружения OOD
2. Техника анализа пространства признаков: введен анализ скрытого пространства для оптимизации цикла уточнения пространства признаков после обучения
3. Механизм саморегулирующегося слияния: предложен метод саморегулирующегося слияния мер неопределенности и разнообразия
4. Превосходная экспериментальная производительность: достигнута превосходная производительность против высокоспециализированных методов на общих эталонах AL и OOD для изображений

Подробное описание метода

Определение задачи

Активное обучение: начиная с начального размеченного пула L и немаркированного пула U, модель f через стратегию запроса Q(x,f) выбирает новые образцы A для разметки, цель - достичь лучшей производительности с минимальной разметкой.

Обнаружение OOD: для модели f, обученной на распределении Ω, определить, является ли тестовый образец x̃ внутри распределения (InD) или вне распределения (OOD):

$G(x, f) = \begin{cases} \text{InD} & \text{если } S(x; f) \geq \lambda \\ \text{OOD} & \text{если } S(x; f) < \lambda \end{cases}$

Архитектура метода SISOM

SISOM содержит пять основных компонентов:

1. Coverage (Покрытие)

Построение информативного представления пространства признаков путем соединения нескольких слоев сети: $z = h_1(x) \oplus \cdots \oplus h_j(x) \oplus \cdots \oplus h_n(x)$

2. Feature Enhancement (Улучшение признаков)

Использование взвешивания признаков градиентом дивергенции Кульбака-Лейблера: $g = \frac{\partial D_{KL}(u||f(x))}{\partial z}$$\tilde{z} = \sigma(z \odot g)$

где u - равномерное распределение, ⊙ обозначает произведение Адамара.

3. Distance Ratio (Отношение расстояний)

Определение внутриклассового и межклассового расстояний: $d_{in}(\tilde{z}) = \min_{z' \in Z_L(c'=c)} ||\tilde{z} - \tilde{z}'||_2$$d_{out}(\tilde{z}) = \min_{z' \in Z_L(c' \neq c)} ||\tilde{z} - \tilde{z}'||_2$

Оценка SISOM: $r(x) = \frac{d_{in}}{d_{out}}$

4. Feature Space Analysis (Анализ пространства признаков)

Вычисление среднего отношения расстояний как прокси разделимости пространства признаков: $r_{avg} = \frac{1}{|L|} \sum_{z \in L} \frac{d_{in}(\sigma(z \odot g))}{d_{out}(\sigma(z \odot g))}$

Адаптивное слияние неопределенности и разнообразия: $\hat{r}_i = \min(r_{avg}, 1) \cdot E_i + \max(1 - r_{avg}, 0) \cdot r_i$

5. Sigmoid Steepness (Крутизна сигмоиды)

Оптимизация параметра крутизны сигмоиды α для каждого слоя для улучшения разделимости пространства признаков: $\alpha_{opt} = \arg\min_\alpha r_{avg}(\alpha)$

Технические инновации

1. Унифицированный дизайн метрики: отношение расстояний одновременно захватывает требования AL и обнаружения OOD
2. Адаптивное слияние: автоматическое балансирование неопределенности и разнообразия в зависимости от качества пространства признаков
3. Интеграция многослойных признаков: использование информации из нескольких слоев сети для улучшения представления
4. Взвешивание градиентом: выделение важных нейронов через градиент дивергенции Кульбака-Лейблера

Экспериментальная установка

Наборы данных

Активное обучение:

• CIFAR-10/100: размер запроса q=1000/2000
• SVHN: размер запроса q=500
• Использование архитектур ResNet18/34

Обнаружение OOD:

• Соответствие установкам эталонного набора OpenOOD
• CIFAR-10: близкие OOD (CIFAR-100, Tiny ImageNet), дальние OOD (MNIST, SVHN и т.д.)
• CIFAR-100: близкие OOD (CIFAR-10, Tiny ImageNet), дальние OOD (MNIST, SVHN и т.д.)
• ImageNet-1k: близкие OOD (SSB-hard, NINCO), дальние OOD (iNaturalist и т.д.)

Метрики оценки

• Активное обучение: точность классификации в зависимости от процента размеченных данных
• Обнаружение OOD: AUROC (площадь под кривой ROC)

Методы сравнения

Базовые методы активного обучения:

• CoreSet, Badge, Learning Loss, CoreGCN
• Полусупервизированные установки: TypiClust, ProbCover, PT4AL

Базовые методы обнаружения OOD:

• NAC, KNN, MSP, Energy, ReAct, SCALE и 17 других методов

Экспериментальные результаты

Основные результаты

Производительность активного обучения

• CIFAR-10: SISOM и SISOMe превосходят другие методы во всех циклах выбора
• CIFAR-100: достигают наивысшей производительности на поздних этапах выбора
• Полусупервизированная установка: SISOM значительно выигрывает от предварительного обучения, превосходя PT4AL

Производительность обнаружения OOD

Общий рейтинг: SISOMe получил место в тройке лучших на всех трех эталонах, общий рейтинг - первое место.

Абляционные исследования

1. Оптимальная крутизна сигмоиды: улучшение производительности на CIFAR-100 и ImageNet
2. Сокращение выбора подмножества: значительное увеличение скорости вывода с небольшим улучшением производительности
3. Эффект улучшения признаков: взвешивание градиентом дивергенции Кульбака-Лейблера значительно улучшает разделимость пространства признаков

Анализ времени выполнения

При выборе 5% подмножества время выполнения SISOMe сокращается до 266 секунд с небольшим улучшением производительности.

Эксперименты полного жизненного цикла

Использование контрольных точек, обученных AL, для обнаружения OOD, SISOMe достигает лучшей производительности как на близких, так и на дальних OOD, подтверждая эффективность унифицированного подхода.

Связанные работы

Активное обучение

• Методы неопределенности: Monte Carlo Dropout, методы ансамбля
• Методы разнообразия: CoreSet, Badge и другие методы на основе градиентов
• Гибридные методы: методы, объединяющие неопределенность и разнообразие

Обнаружение OOD

• Методы предварительной обработки: увеличение данных, смешанное обучение
• Методы постобработки: фильтрация нейронов, операции с весами
• Методы на основе логитов: масштабирование температуры, оценка энергии
• Методы пространства признаков: расстояние Махаланобиса, k-ближайшие соседи

Активное обучение в открытом наборе

Существующие методы в основном используют независимые модули для обработки AL и OOD, данная работа впервые исследует внутреннюю связь между двумя задачами.

Заключение и обсуждение

Основные выводы

1. Осуществимость унификации: впервые доказано, что AL и обнаружение OOD могут быть эффективно решены единым методом
2. Превосходство производительности: достигнута или приближена передовая производительность на обеих задачах
3. Практическая ценность: упрощена сложность развертывания в практических приложениях

Ограничения

1. Вычислительная сложность: вычисление расстояний приносит дополнительные накладные расходы, хотя это можно смягчить выбором подмножества
2. Зависимость от пространства признаков: производительность метода зависит от разделимости пространства признаков
3. Чувствительность к гиперпараметрам: параметр крутизны сигмоиды требует настройки для разных наборов данных

Будущие направления

1. Активное обучение в открытом наборе: расширение унифицированного метода на сценарии открытого AL
2. Сложные задачи: расширение на более сложные задачи, такие как обнаружение объектов и семантическая сегментация
3. Разнообразие пакетов: исследование влияния техник разнообразия пакетов на методы двойной задачи

Глубокая оценка

Преимущества

1. Высокая инновационность: впервые предложен унифицированный метод для AL и обнаружения OOD, имеет важное теоретическое и практическое значение
2. Умное проектирование метода: дизайн отношения расстояний одновременно прост и эффективен, механизм адаптивного слияния отражает глубокие идеи
3. Полные эксперименты: охватывают несколько наборов данных и базовых методов, включают абляционные исследования и анализ времени выполнения
4. Прочная теоретическая основа: визуализационный анализ раскрывает внутреннюю связь между двумя задачами

Недостатки

1. Недостаточный теоретический анализ: отсутствуют теоретические гарантии сходимости и способности обобщения метода
2. Ограничения области применения: в основном проверено на задачах классификации изображений, применимость в других областях неизвестна
3. Сложность настройки параметров: несколько гиперпараметров требуют настройки для разных наборов данных, что может повлиять на практичность

Влияние

1. Академический вклад: открывает новое направление унифицированного исследования AL и обнаружения OOD
2. Практическая ценность: имеет важное значение для практических приложений, таких как мобильные роботы и автономное вождение
3. Воспроизводимость: предоставляет подробные детали реализации и код, облегчает воспроизведение и расширение

Применимые сценарии

1. Среды с ограниченными ресурсами: приложения, требующие одновременного рассмотрения эффективности разметки и обнаружения выбросов распределения
2. Системы реального времени: через выбор подмножества можно повысить эффективность при сохранении производительности
3. Приложения открытого мира: автономное вождение, навигация роботов и другие сценарии, сталкивающиеся с изменением распределения

Библиография

Статья цитирует большое количество связанных работ, в основном включая:

• Active Learning: Settles (2010), Sener & Savarese (2018), Ash et al. (2020)
• OOD Detection: Yang et al. (2022), Liu et al. (2020), Sun et al. (2022)
• OpenOOD Benchmark: Yang et al. (2022), Zhang et al. (2023)

Общая оценка: это высококачественная исследовательская статья, предлагающая инновационный унифицированный метод для решения двух важных проблем, с достаточной экспериментальной верификацией, имеющая важное значение для продвижения соответствующей области. Несмотря на некоторые недостатки в теоретическом и практическом аспектах, её пионерский вклад и превосходная производительность делают её важной работой в этой области.