2025-11-25T00:34:17.070097

A Unified Approach Towards Active Learning and Out-of-Distribution Detection

Schmidt, Schenk, Schwinn et al.
When applying deep learning models in open-world scenarios, active learning (AL) strategies are crucial for identifying label candidates from a nearly infinite amount of unlabeled data. In this context, robust out-of-distribution (OOD) detection mechanisms are essential for handling data outside the target distribution of the application. However, current works investigate both problems separately. In this work, we introduce SISOM as the first unified solution for both AL and OOD detection. By leveraging feature space distance metrics SISOM combines the strengths of the currently independent tasks to solve both effectively. We conduct extensive experiments showing the problems arising when migrating between both tasks. In these evaluations SISOM underlined its effectiveness by achieving first place in two of the widely used OpenOOD benchmarks and second place in the remaining one. In AL, SISOM outperforms others and delivers top-1 performance in three benchmarks
academic

Единый подход к активному обучению и обнаружению выбросов распределения

Основная информация

  • ID статьи: 2405.11337
  • Название: A Unified Approach Towards Active Learning and Out-of-Distribution Detection
  • Авторы: Sebastian Schmidt, Leonard Schenk, Leo Schwinn, Stephan Günnemann
  • Категория: cs.CV
  • Дата публикации: май 2024 г. (arXiv v3: 12 октября 2025 г.)
  • Ссылка на статью: https://arxiv.org/abs/2405.11337

Аннотация

При применении моделей глубокого обучения в открытых сценариях стратегии активного обучения (AL) имеют решающее значение для выявления кандидатов на разметку из больших объемов немаркированных данных. В этом контексте надежные механизмы обнаружения выбросов распределения (OOD) необходимы для обработки данных, выходящих за пределы целевого распределения приложения. Однако существующие работы рассматривают эти две проблемы отдельно. В данной статье представлен SISOM как первое унифицированное решение для AL и обнаружения OOD. Используя метрики расстояния в пространстве признаков, SISOM объединяет преимущества текущих независимых задач для эффективного решения обеих проблем. На эталонном наборе OpenOOD SISOM достиг одного первого места и двух мест в тройке лучших на данных близких OOD, а также показал лучшую производительность в задаче AL.

Исследовательский контекст и мотивация

Определение проблемы

  1. Вызовы активного обучения: крупномасштабные модели глубокого обучения требуют большого объема размеченных данных, но стоимость разметки высока, требуется интеллектуальный выбор наиболее ценных образцов для разметки
  2. Потребность в обнаружении OOD: при практическом развертывании модели встречают данные, выходящие за пределы распределения обучения, требуется надежный механизм обнаружения OOD
  3. Ограничения независимой обработки: существующие методы рассматривают AL и обнаружение OOD как независимые задачи, что приводит к конфликтующим целям проектирования и сложности системы

Исследовательская мотивация

  • Потребности практического применения: мобильные роботы, автономное вождение и другие практические приложения требуют одновременного решения проблем эффективности разметки и данных вне распределения
  • Обнаружение связи задач: авторы наблюдали перекрытие и неоднозначность между данными близких OOD и немаркированными данными в скрытом пространстве
  • Преимущества унифицированного подхода: унифицированная обработка может устранить накладные расходы независимых этапов проектирования и избежать конфликтующих целей проектирования

Ключевые идеи

Через визуализацию UMAP авторы обнаружили, что данные близких OOD и немаркированные кандидаты AL расположены близко в пространстве признаков, оба имеют тенденцию находиться между существующими кластерами или вблизи границ решения, что обеспечивает теоретическую основу для унифицированного подхода.

Основные вклады

  1. Первый унифицированный метод: предложен SISOM как первый специально разработанный унифицированный метод для одновременного решения AL и обнаружения OOD
  2. Техника анализа пространства признаков: введен анализ скрытого пространства для оптимизации цикла уточнения пространства признаков после обучения
  3. Механизм саморегулирующегося слияния: предложен метод саморегулирующегося слияния мер неопределенности и разнообразия
  4. Превосходная экспериментальная производительность: достигнута превосходная производительность против высокоспециализированных методов на общих эталонах AL и OOD для изображений

Подробное описание метода

Определение задачи

Активное обучение: начиная с начального размеченного пула L и немаркированного пула U, модель f через стратегию запроса Q(x,f) выбирает новые образцы A для разметки, цель - достичь лучшей производительности с минимальной разметкой.

Обнаружение OOD: для модели f, обученной на распределении Ω, определить, является ли тестовый образец x̃ внутри распределения (InD) или вне распределения (OOD):

\text{InD} & \text{если } S(x; f) \geq \lambda \\ \text{OOD} & \text{если } S(x; f) < \lambda \end{cases}$$ ### Архитектура метода SISOM SISOM содержит пять основных компонентов: #### 1. Coverage (Покрытие) Построение информативного представления пространства признаков путем соединения нескольких слоев сети: $$z = h_1(x) \oplus \cdots \oplus h_j(x) \oplus \cdots \oplus h_n(x)$$ #### 2. Feature Enhancement (Улучшение признаков) Использование взвешивания признаков градиентом дивергенции Кульбака-Лейблера: $$g = \frac{\partial D_{KL}(u||f(x))}{\partial z}$$ $$\tilde{z} = \sigma(z \odot g)$$ где u - равномерное распределение, ⊙ обозначает произведение Адамара. #### 3. Distance Ratio (Отношение расстояний) Определение внутриклассового и межклассового расстояний: $$d_{in}(\tilde{z}) = \min_{z' \in Z_L(c'=c)} ||\tilde{z} - \tilde{z}'||_2$$ $$d_{out}(\tilde{z}) = \min_{z' \in Z_L(c' \neq c)} ||\tilde{z} - \tilde{z}'||_2$$ Оценка SISOM: $$r(x) = \frac{d_{in}}{d_{out}}$$ #### 4. Feature Space Analysis (Анализ пространства признаков) Вычисление среднего отношения расстояний как прокси разделимости пространства признаков: $$r_{avg} = \frac{1}{|L|} \sum_{z \in L} \frac{d_{in}(\sigma(z \odot g))}{d_{out}(\sigma(z \odot g))}$$ Адаптивное слияние неопределенности и разнообразия: $$\hat{r}_i = \min(r_{avg}, 1) \cdot E_i + \max(1 - r_{avg}, 0) \cdot r_i$$ #### 5. Sigmoid Steepness (Крутизна сигмоиды) Оптимизация параметра крутизны сигмоиды α для каждого слоя для улучшения разделимости пространства признаков: $$\alpha_{opt} = \arg\min_\alpha r_{avg}(\alpha)$$ ### Технические инновации 1. **Унифицированный дизайн метрики**: отношение расстояний одновременно захватывает требования AL и обнаружения OOD 2. **Адаптивное слияние**: автоматическое балансирование неопределенности и разнообразия в зависимости от качества пространства признаков 3. **Интеграция многослойных признаков**: использование информации из нескольких слоев сети для улучшения представления 4. **Взвешивание градиентом**: выделение важных нейронов через градиент дивергенции Кульбака-Лейблера ## Экспериментальная установка ### Наборы данных **Активное обучение**: - CIFAR-10/100: размер запроса q=1000/2000 - SVHN: размер запроса q=500 - Использование архитектур ResNet18/34 **Обнаружение OOD**: - Соответствие установкам эталонного набора OpenOOD - CIFAR-10: близкие OOD (CIFAR-100, Tiny ImageNet), дальние OOD (MNIST, SVHN и т.д.) - CIFAR-100: близкие OOD (CIFAR-10, Tiny ImageNet), дальние OOD (MNIST, SVHN и т.д.) - ImageNet-1k: близкие OOD (SSB-hard, NINCO), дальние OOD (iNaturalist и т.д.) ### Метрики оценки - **Активное обучение**: точность классификации в зависимости от процента размеченных данных - **Обнаружение OOD**: AUROC (площадь под кривой ROC) ### Методы сравнения **Базовые методы активного обучения**: - CoreSet, Badge, Learning Loss, CoreGCN - Полусупервизированные установки: TypiClust, ProbCover, PT4AL **Базовые методы обнаружения OOD**: - NAC, KNN, MSP, Energy, ReAct, SCALE и 17 других методов ## Экспериментальные результаты ### Основные результаты #### Производительность активного обучения - **CIFAR-10**: SISOM и SISOMe превосходят другие методы во всех циклах выбора - **CIFAR-100**: достигают наивысшей производительности на поздних этапах выбора - **Полусупервизированная установка**: SISOM значительно выигрывает от предварительного обучения, превосходя PT4AL #### Производительность обнаружения OOD | Набор данных | SISOMe | SISOM | Лучший базовый метод | |--------|--------|-------|----------| | CIFAR-10 (близкие OOD) | **91.76** | 91.40 | 91.13 | | CIFAR-100 (близкие OOD) | 81.10 | 79.42 | **81.31** | | ImageNet (близкие OOD) | 78.59 | 77.33 | **95.22** | **Общий рейтинг**: SISOMe получил место в тройке лучших на всех трех эталонах, общий рейтинг - первое место. ### Абляционные исследования 1. **Оптимальная крутизна сигмоиды**: улучшение производительности на CIFAR-100 и ImageNet 2. **Сокращение выбора подмножества**: значительное увеличение скорости вывода с небольшим улучшением производительности 3. **Эффект улучшения признаков**: взвешивание градиентом дивергенции Кульбака-Лейблера значительно улучшает разделимость пространства признаков ### Анализ времени выполнения | Метод | SISOM | SISOMe | Badge | CoreSet | |------|-------|--------|-------|---------| | Время (сек) | 1477±896 | 954±126 | 33664±6682 | 2604±1572 | При выборе 5% подмножества время выполнения SISOMe сокращается до 266 секунд с небольшим улучшением производительности. ### Эксперименты полного жизненного цикла Использование контрольных точек, обученных AL, для обнаружения OOD, SISOMe достигает лучшей производительности как на близких, так и на дальних OOD, подтверждая эффективность унифицированного подхода. ## Связанные работы ### Активное обучение - **Методы неопределенности**: Monte Carlo Dropout, методы ансамбля - **Методы разнообразия**: CoreSet, Badge и другие методы на основе градиентов - **Гибридные методы**: методы, объединяющие неопределенность и разнообразие ### Обнаружение OOD - **Методы предварительной обработки**: увеличение данных, смешанное обучение - **Методы постобработки**: фильтрация нейронов, операции с весами - **Методы на основе логитов**: масштабирование температуры, оценка энергии - **Методы пространства признаков**: расстояние Махаланобиса, k-ближайшие соседи ### Активное обучение в открытом наборе Существующие методы в основном используют независимые модули для обработки AL и OOD, данная работа впервые исследует внутреннюю связь между двумя задачами. ## Заключение и обсуждение ### Основные выводы 1. **Осуществимость унификации**: впервые доказано, что AL и обнаружение OOD могут быть эффективно решены единым методом 2. **Превосходство производительности**: достигнута или приближена передовая производительность на обеих задачах 3. **Практическая ценность**: упрощена сложность развертывания в практических приложениях ### Ограничения 1. **Вычислительная сложность**: вычисление расстояний приносит дополнительные накладные расходы, хотя это можно смягчить выбором подмножества 2. **Зависимость от пространства признаков**: производительность метода зависит от разделимости пространства признаков 3. **Чувствительность к гиперпараметрам**: параметр крутизны сигмоиды требует настройки для разных наборов данных ### Будущие направления 1. **Активное обучение в открытом наборе**: расширение унифицированного метода на сценарии открытого AL 2. **Сложные задачи**: расширение на более сложные задачи, такие как обнаружение объектов и семантическая сегментация 3. **Разнообразие пакетов**: исследование влияния техник разнообразия пакетов на методы двойной задачи ## Глубокая оценка ### Преимущества 1. **Высокая инновационность**: впервые предложен унифицированный метод для AL и обнаружения OOD, имеет важное теоретическое и практическое значение 2. **Умное проектирование метода**: дизайн отношения расстояний одновременно прост и эффективен, механизм адаптивного слияния отражает глубокие идеи 3. **Полные эксперименты**: охватывают несколько наборов данных и базовых методов, включают абляционные исследования и анализ времени выполнения 4. **Прочная теоретическая основа**: визуализационный анализ раскрывает внутреннюю связь между двумя задачами ### Недостатки 1. **Недостаточный теоретический анализ**: отсутствуют теоретические гарантии сходимости и способности обобщения метода 2. **Ограничения области применения**: в основном проверено на задачах классификации изображений, применимость в других областях неизвестна 3. **Сложность настройки параметров**: несколько гиперпараметров требуют настройки для разных наборов данных, что может повлиять на практичность ### Влияние 1. **Академический вклад**: открывает новое направление унифицированного исследования AL и обнаружения OOD 2. **Практическая ценность**: имеет важное значение для практических приложений, таких как мобильные роботы и автономное вождение 3. **Воспроизводимость**: предоставляет подробные детали реализации и код, облегчает воспроизведение и расширение ### Применимые сценарии 1. **Среды с ограниченными ресурсами**: приложения, требующие одновременного рассмотрения эффективности разметки и обнаружения выбросов распределения 2. **Системы реального времени**: через выбор подмножества можно повысить эффективность при сохранении производительности 3. **Приложения открытого мира**: автономное вождение, навигация роботов и другие сценарии, сталкивающиеся с изменением распределения ## Библиография Статья цитирует большое количество связанных работ, в основном включая: - Active Learning: Settles (2010), Sener & Savarese (2018), Ash et al. (2020) - OOD Detection: Yang et al. (2022), Liu et al. (2020), Sun et al. (2022) - OpenOOD Benchmark: Yang et al. (2022), Zhang et al. (2023) --- **Общая оценка**: это высококачественная исследовательская статья, предлагающая инновационный унифицированный метод для решения двух важных проблем, с достаточной экспериментальной верификацией, имеющая важное значение для продвижения соответствующей области. Несмотря на некоторые недостатки в теоретическом и практическом аспектах, её пионерский вклад и превосходная производительность делают её важной работой в этой области.