Кросс-слойная агрегация кэша для сокращения токенов в ультратонкозернистом распознавании изображений

Основная информация

• ID статьи: 2501.00243
• Название: Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition
• Авторы: Edwin Arkel Rios, Jansen Christopher Yuanda, Vincent Leon Ghanz, Cheng-Wei Yu, Bo-Cheng Lai, Min-Chun Hu
• Категория: cs.CV
• Дата публикации: 31 декабря 2024 г.
• Ссылка на статью: https://arxiv.org/abs/2501.00243
• Ссылка на код: https://github.com/arkel23/CLCA

Аннотация

В данной работе предлагается новый метод кросс-слойной агрегации кэша (CLCA) для решения проблемы вычислительной эффективности при ультратонкозернистом распознавании изображений (UFGIR). UFGIR — это чрезвычайно сложная задача, требующая классификации внутри макрокатегорий, например идентификации сортов растений. Хотя методы на основе Vision Transformer показывают отличные результаты в этой задаче, вычислительные затраты значительно возрастают. Для решения проблемы потери информации при сокращении токенов предлагаются кросс-слойная агрегирующая классификационная головка (CLA) и механизм кросс-слойного кэша (CLC). Проведено более 2000 экспериментов, подтверждающих, что метод сохраняет точность, сравнимую с современными подходами, даже при экстремальном сохранении токенов на уровне 10%.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: Проблема вычислительной эффективности Vision Transformer при ультратонкозернистом распознавании изображений (UFGIR)
2. Характеристики задачи: UFGIR более сложна, чем традиционное тонкозернистое распознавание, требуя различения подклассов внутри одного вида (например, сортов растений)
3. Существующие вызовы:
   • ViT показывает отличные результаты в задачах FGIR, но имеет вычислительную сложность O(N²) или даже O(N³)
   • Высокое разрешение изображений критично для тонкозернистого распознавания, но дополнительно увеличивает вычислительную нагрузку
   • Методы сокращения токенов снижают вычислительные затраты, но приводят к потере критически важной дискриминативной информации

Исследовательская мотивация

Существующие методы сокращения токенов неизбежно теряют информацию, критически важную для тонкозернистой классификации, одновременно снижая вычислительные затраты. Особенно серьезна эта проблема потери информации при уменьшении коэффициента сохранения токенов, что негативно влияет на классификационную производительность модели.

Основные вклады

1. Предложена кросс-слойная агрегирующая (CLA) классификационная головка: Интегрирует признаки из промежуточных слоев Transformer непосредственно в классификационный модуль, обеспечивая более богатую дискриминативную информацию
2. Разработан механизм кросс-слойного кэша (CLC): Сохраняет и восстанавливает критическую информацию из предыдущих слоев, компенсируя потерю информации при сокращении токенов
3. Построена универсальная структура CLCA: Полный метод, объединяющий CLA и CLC, совместимый с различными методами сокращения токенов
4. Масштабная экспериментальная верификация: Проведено более 2000 экспериментов на 5 наборах данных, 9 архитектурах-основах и 7 методах сокращения токенов, подтверждающих эффективность и универсальность метода

Подробное описание метода

Определение задачи

Входные данные: Высокоразрешенное изображение I ∈ R^(H×W×3) Выходные данные: Предсказание ультратонкозернистого класса y ∈ {1,2,...,C} Ограничения: Значительное снижение вычислительных затрат (FLOPs) при сохранении высокой точности

Архитектура модели

1. Группа кодировщиков Vision Transformer

• Разделение изображения на патчи размером P×P, развертывание в последовательность длины N=(S₁/P)×(S₂/P)
• Добавление обучаемого CLS токена и позиционного кодирования
• Разделение L слоев трансформер-кодировщика на g групп, каждая группа содержит многоголовое самовнимание (MHSA) и позиционную сеть прямого распространения (PWFFN)
• Применение операции сокращения токенов в конце последнего слоя каждой группы

2. Кросс-слойная агрегирующая (CLA) классификационная головка

Основной дизайн головки CLA включает:

Входные данные: Выходы CLS токенов из групп кодировщиков
1. Конкатенация и переформирование признаков: CLS ∈ R^(D×g)
2. Обработка пакетной нормализацией
3. Агрегация глубокой свертки: Agg = DWConv(BN([CLS_G1; CLS_G2; ...; CLS_Gg]))
4. Нелинейная активация: Моделирование сложных отношений через BatchNorm и GELU
5. Точечная свертка классификации: preds = PWConv(GELU(BN(Agg)))

3. Механизм кросс-слойного кэша (CLC)

Рабочий процесс CLC:

Фаза кэширования:

• После каждого блока трансформер-кодировщика сохраняется глобальное среднее объединение (GAP) локальных признаков
• Введение обучаемого кросс-слойного регистра (CLR) токена для агрегации кросс-слойной дискриминативной информации
• Сохранение признаков GAP и CLR токена в кэш

Фаза восстановления:

• После позиции сокращения токенов или перед последним слоем восстановление сохраненной информации из CLC
• Добавление восстановленных токенов к исходной последовательности
• Очистка кэша для предотвращения повторного использования

Технические инновации

1. Стратегия сохранения информации: Сохранение критической информации, теряемой при сокращении токенов, через механизм кэширования
2. Кросс-слойное слияние признаков: Интеграция признаков различной глубины непосредственно в классификационное решение
3. Универсальный дизайн: Бесшовная интеграция с существующими методами сокращения токенов
4. Оптимизация градиента: Дизайн, подобный пропускающим соединениям, улучшает стабильность обучения

Экспериментальная установка

Наборы данных

Использованы 5 наборов данных ультратонкозернистых листьев:

• SoyGene: Классификация генотипов сои
• SoyLocal: Местные сорта сои
• SoyAgeing: Стадии старения сои
• SoyGlobal: Глобальные сорта сои
• Cotton: Сорта хлопка

Каждый класс представляет подтвержденное название сорта, полученное из генетического банка ресурсов.

Метрики оценки

• Основная метрика: Точность Top-1 (%)
• Метрики эффективности: FLOPs (количество операций с плавающей точкой)
• Статистический метод: Среднее значение результатов для 3 случайных начальных значений

Методы сравнения

Методы SOTA: ViT, DeiT, TransFG, SIM-Tr, CSDNet Методы сокращения токенов:

• Статическая обрезка: DynamicViT
• Динамическая обрезка: ATS
• Мягкое слияние: SiT, PatchMerger
• Жесткое слияние: DPCKNN, ToMe
• Управляемое вниманием: EViT

Детали реализации

• Оптимизатор: AdamW
• Количество эпох обучения: 50
• Коэффициент затухания веса: 0.05
• Размер пакета: 32
• Размер изображения: 224×224, 448×448
• Архитектуры-основы: 9 предварительно обученных моделей (ViT, DeiT3, MIIL, MoCov3, DINO, MAE, CLIP и др.)
• Коэффициент сохранения: 100%, 70%, 50%, 25%, 10%
• Позиции сокращения токенов: Слои 4, 7, 10 (ViT B-16 с 12 слоями)

Результаты экспериментов

Основные результаты

Ключевые выводы:

• CLCA при коэффициенте сохранения 10% достигает производительности, сравнимой с полной моделью
• На наборе данных SoyAgeing CLCA(10%) превосходит лучший базовый метод на 12%
• Вычислительные затраты снижены до 32% от исходных (25.2 против 78.5 FLOPs)

Абляционные исследования

Анализ градиентов подтверждает эффективность CLCA:

• Стабильность обучения: CLCA значительно улучшает стабильность градиентов, снижая колебания в процессе обучения
• Повторное использование признаков: Кросс-слойные соединения способствуют повторному использованию признаков, подобно пропускающим соединениям в ResNet
• Глубокий контроль: Прямое использование признаков промежуточных слоев обеспечивает неявный глубокий контроль

Проверка обобщаемости

Эксперименты на различных методах сокращения токенов показывают:

• CLCA совместим с 7 различными парадигмами сокращения токенов
• Улучшение производительности наблюдается на 9 различных предварительно обученных архитектурах-основах
• Прирост производительности остается последовательным при различных коэффициентах сохранения (25%, 50%, 70%)

Связанные работы

Тонкозернистое распознавание изображений

• Традиционное FGIR: Главным образом классификация на уровне видов
• Ультратонкозернистое распознавание: Расширение до классификации подклассов внутри видов, например сортов растений
• Применение ViT в FGIR: Преимущества глобального поля восприятия, но высокие вычислительные затраты

Технология сокращения токенов

• Обрезка токенов: Отбрасывание неважных токенов на основе оценок важности
• Слияние токенов: Объединение нескольких токенов в один для сокращения длины последовательности
• Существующие ограничения: Неизбежная потеря дискриминативной информации, особенно при низких коэффициентах сохранения

Заключение и обсуждение

Основные выводы

1. Повышение эффективности: CLCA может поддерживать конкурентоспособную производительность при экстремально низких коэффициентах сохранения токенов (10%)
2. Универсальность: Метод совместим с различными методами сокращения токенов и архитектурами-основами
3. Практическая ценность: Предоставляет эффективное решение для тонкозернистого распознавания в среде с ограниченными ресурсами

Ограничения

1. Дополнительные затраты памяти: Механизм CLC требует дополнительной памяти для хранения промежуточных признаков
2. Чувствительность гиперпараметров: Стратегия кэширования и способ агрегации могут требовать настройки для различных задач
3. Ограничения набора данных: Главным образом проверено на наборах данных листьев, обобщаемость на другие области тонкозернистого распознавания требует дальнейшей проверки

Направления будущих исследований

1. Адаптивная стратегия кэширования: Динамическая регулировка содержимого и времени кэширования в зависимости от характеристик задачи
2. Более эффективные механизмы агрегации: Исследование более легковесных методов кросс-слойного слияния признаков
3. Расширение на мультимодальность: Распространение метода на задачи мультимодального тонкозернистого распознавания

Углубленная оценка

Преимущества

1. Высокая инновационность: Первый систематический подход к решению проблемы потери информации при сокращении токенов
2. Достаточная экспериментальная база: Более 2000 экспериментов, охватывающих множество аспектов, обеспечивают надежность результатов
3. Высокая практическая ценность: Универсальный дизайн облегчает практическое применение
4. Прочная теоретическая основа: Объяснение эффективности метода с точки зрения оптимизации градиента и повторного использования признаков

Недостатки

1. Затраты памяти: Механизм CLC увеличивает использование памяти, что может частично нивелировать выигрыш в эффективности
2. Сложность: Введение дополнительных гиперпараметров и вариантов дизайна
3. Специфичность для области: Главным образом проверено на сельскохозяйственных наборах данных листьев, обобщаемость ограничена

Влияние

1. Академическая ценность: Предоставляет новые идеи и решения для области сокращения токенов
2. Практическое значение: Важно для граничных вычислений и мобильных приложений с ограниченными ресурсами
3. Воспроизводимость: Полная реализация кода облегчает последующие исследования

Применимые сценарии

1. Граничные вычисления: Мобильные устройства и встроенные системы с ограниченными вычислительными ресурсами
2. Приложения реального времени: Задачи тонкозернистого распознавания, требующие быстрого отклика
3. Крупномасштабное развертывание: Системы мониторинга сельского хозяйства, развертываемые на большом количестве устройств
4. Исследовательская платформа: Модуль усиления для других методов сокращения токенов

Библиография

В работе цитируется 32 важные публикации, охватывающие классические работы в ключевых областях тонкозернистого распознавания, Vision Transformer и сокращения токенов, обеспечивая прочную теоретическую основу для исследования.