SkipClick: Объединение быстрых ответов и низкоуровневых признаков для интерактивной сегментации в контексте зимних видов спорта

Основная информация

• ID статьи: 2501.07960
• Название: SkipClick: Combining Quick Responses and Low-Level Features for Interactive Segmentation in Winter Sports Contexts
• Авторы: Robin Schön, Julian Lorenz, Daniel Kienzle, Rainer Lienhart
• Учреждение: Университет Аугсбурга, Германия
• Категория: cs.CV (Компьютерное зрение)
• Дата публикации: Январь 2025
• Ссылка на статью: https://arxiv.org/abs/2501.07960

Аннотация

В данной работе предлагается новая архитектура интерактивной сегментации SkipClick, специально разработанная для сцен зимних видов спорта. Интерактивная сегментация предсказывает высококачественные маски сегментации на основе пользовательского руководства; в качестве метода руководства используются клики. Авторы сначала предлагают базовую архитектуру для быстрого ответа после клика, а затем описывают несколько архитектурных улучшений для повышения производительности при сегментации зимнего спортивного снаряжения на наборе данных WSESeg. По метрике среднего NoC@85 на категориях WSESeg метод требует на 2,336 и 7,946 кликов меньше, чем SAM и HQ-SAM соответственно. На наборе данных HQSeg-44k система достигает современных результатов с NoC@90 = 6,00 и NoC@95 = 9,89. Кроме того, модель протестирована на новом предложенном наборе данных для сегментации лыжников.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: В сценах зимних видов спорта требуется точная локализация спортсменов и соответствующего снаряжения, особенно задача сегментации спортивного снаряжения становится все более важной
2. Проблемы аннотирования: Аннотирование масок сегментации требует много времени и сложно, особенно для аннотирования тонких структур
3. Специфика домена: Зимнее спортивное снаряжение редко встречается в универсальных наборах данных, что создает проблемы адаптации к домену

Значимость

• Растущий спрос на точную локализацию снаряжения в спортивном анализе
• Интерактивная сегментация может значительно сократить время ручного аннотирования
• Сцены зимних видов спорта имеют уникальные визуальные характеристики (снежные пейзажи, тонкие структуры снаряжения)

Ограничения существующих методов

1. Проблемы SAM: Несмотря на обучение на наборе данных SA-1B (1,1 млрд масок), способность к обобщению в области зимнего спортивного снаряжения недостаточна
2. Время ответа: Методы ранней интеграции требуют повторного запуска всей сети, что приводит к медленному ответу
3. Обработка деталей: Существующие методы испытывают трудности при обработке тонких структур зимнего спортивного снаряжения

Основные вклады

1. Модель интерактивной сегментации в реальном времени: Предложена модель, способная выполнять сегментацию в специальных областях, таких как зимние виды спорта, с особым акцентом на обработку тонких структур в изображениях
2. Архитектурные инновации: Через абляционные эксперименты проверена производительность модели на наборе данных WSESeg, даже превосходящая SAM, обученный на более крупных наборах данных
3. Способность к обобщению: Доказано, что модель не переобучена на область зимних видов спорта и показывает конкурентоспособные результаты на универсальных наборах данных потребительских изображений
4. Новый набор данных: Предложен набор данных SHSeg (сегментация лыжников), содержащий 534 маски сегментации и 496 изображений

Описание метода

Определение задачи

Задача интерактивной сегментации определяется следующим образом: дано изображение $x_{img} \in \mathbb{R}^{H×W×3}$, целью является создание высококачественной маски сегментации $m \in \{0,1\}^{H×W}$, где 1 обозначает целевой объект, а 0 обозначает фон.

Пользователь предоставляет руководство через итеративное взаимодействие:

1. Пользователь проверяет текущую маску $m_τ$
2. Размещает клик $p_τ = (i_τ, j_τ, l_τ)$, где $(i_τ, j_τ)$ — координаты, $l_τ \in \{+,-\}$ — метка переднего плана/фона
3. Сеть генерирует улучшенную маску $m_{τ+1}$ на основе $x_{img}$, $m_τ$ и накопленных кликов $p_{0:τ}$

Архитектура модели

Базовая архитектура

1. Магистральная сеть: Используется предварительно обученный ViT-B на DINOv2, что избегает смещения от аннотированных данных
2. Извлечение признаков изображения: $f_{img} = \text{Linear}(\text{ViTBackbone}(x_{img})) \in \mathbb{R}^{\frac{H}{14}×\frac{W}{14}×d_{model}}$
3. Кодирование подсказок: Положительные и отрицательные клики кодируются как диски радиусом 5 пикселей, генерируя карты кликов $m^+, m^-$$f_{prompt} = \text{PatchEmbedding}(\text{Concat}(m^+, m^-, m_τ))$
4. Интеграция признаков: $f_{mix} = f_{img} + f_{prompt}$$\hat{f}_{mix} = \text{ViTBlocks}(f_{mix})$
5. Декодирование маски: Использует декодер FPN и SegFormer для генерации финальной маски

Полная архитектура SkipClick

1. Замораживание магистральной сети: Предотвращает переобучение, сохраняет способность к обобщению
2. Многоуровневая интеграция признаков: Использует признаки из слоев 3, 6, 9, 12 ViT $f_1, f_2, f_3, f_4 = \text{ViTBackbone}(x_{img})$$f_{img} = \text{Linear}(\text{Concat}(f_1, f_2, f_3, f_4))$
3. Пропускающие соединения: Дизайн, аналогичный U-Net $\hat{f}_i = \text{Concat}(\hat{f}_{mix}, f_i) \text{ для } i = 1,2,3,4$

Технические инновации

1. Стратегия поздней интеграции: Кодирование изображения выполняется только один раз, после взаимодействия запускается только легкий предсказатель маски
2. Интеграция многомасштабных признаков: Объединяет признаки разных уровней для сохранения информации с высокой детализацией
3. Дизайн пропускающих соединений: Обеспечивает доступ к промежуточным признакам после интеграции подсказок для обработки тонких структур
4. Стратегия замораживания: Сохраняет способность к обобщению предварительно обученной модели путем замораживания магистральной сети

Экспериментальная установка

Наборы данных

1. Данные обучения: Комбинированный набор данных COCO+LVIS (99 тыс. изображений, 1,5 млн масок)
2. Наборы данных оценки:
   • WSESeg: 7452 маски, 10 категорий зимнего спортивного снаряжения
   • SHSeg: 534 маски лыжников, 496 изображений (новый)
   • HQSeg-44k: Набор данных с высококачественной аннотацией
   • Универсальные наборы данных: GrabCut, Berkeley, DAVIS, SBD

Метрики оценки

• NoC@θ: Количество кликов, необходимых для достижения порога IoU θ
• Основные метрики: NoC@85, NoC@90, NoC@95
• Верхний предел: Максимум 20 кликов

Детали реализации

• Оптимизатор: Adam (lr=5×10⁻⁵, β₁=0.9, β₂=0.999)
• Функция потерь: Focal Loss
• Обучение: 55 эпох, 30 000 изображений на эпоху
• Разрешение: 896×896 для WSESeg/SHSeg/HQSeg-44k, 672×672 для DAVIS
• Случайная выборка: Начально до 24 случайных точек, итеративное обучение в 3 раунда

Результаты экспериментов

Основные результаты

Производительность на наборе данных WSESeg

• На 2,336 клика меньше, чем SAM (NoC@85)
• На 7,946 кликов меньше, чем HQ-SAM (NoC@85)

Современные результаты на HQSeg-44k

Сравнение времени ответа

• SkipClick: 6.61 мс (самый быстрый)
• SAM: 15.01 мс
• HQ-SAM: 18.83 мс
• SAM + Schön et al.: 41.38 мс

Абляционные эксперименты

Ключевые выводы:

1. Замораживание магистральной сети: Небольшое улучшение (9.463→9.416)
2. Интеграция промежуточных признаков: Значительное улучшение (9.416→7.285)
3. Пропускающие соединения: Дальнейшее улучшение (7.285→6.494)

Проверка способности к обобщению

Производительность на универсальных наборах данных доказывает, что модель не переобучена на область зимних видов спорта:

Связанные работы

Приложения в спортивной сегментации

• Сегментация спортсменов в футболе и баскетболе 3,9
• Отслеживание и сегментация острия шпаги в фехтовании 40
• Обнаружение ключевых точек лыжного снаряжения 31,32

Развитие интерактивной сегментации

1. Методы ранней интеграции: RITM 44, FocalClick 2, SimpleClick 28 — хорошее качество, но медленный ответ
2. Методы поздней интеграции: SAM 20, InterFormer 15 — быстрый ответ, но возможное снижение качества
3. Адаптация к домену: Методы онлайн-адаптации 22,23,41,42

Заключение и обсуждение

Основные выводы

1. SkipClick значительно превосходит SAM и HQ-SAM в задаче сегментации зимнего спортивного снаряжения
2. Многоуровневая интеграция признаков и пропускающие соединения критически важны для обработки тонких структур
3. Замораживание предварительно обученной магистральной сети помогает сохранить способность к обобщению
4. Модель показывает конкурентоспособные результаты на универсальных наборах данных, что доказывает хорошую способность к обобщению

Ограничения

1. Размер набора данных: Данные обучения меньше, чем набор данных SA-1B для SAM
2. Специфика домена: Хотя доказана способность к обобщению, модель в основном оптимизирована для сцен зимних видов спорта
3. Вычислительные ресурсы: Требует магистральную сеть ViT-B, предъявляет определенные требования к вычислительным ресурсам

Направления будущих исследований

1. Расширение на задачи сегментации в других спортивных областях
2. Исследование более легких архитектурных решений
3. Изучение более эффективных способов взаимодействия с пользователем

Глубокая оценка

Преимущества

1. Высокая практическая ценность: Решает проблему баланса между скоростью ответа и качеством сегментации в практических приложениях
2. Технические инновации: Умело объединяет многоуровневые признаки и пропускающие соединения, эффективно обрабатывает тонкие структуры
3. Полные эксперименты: Включает детальные абляционные эксперименты и проверку на нескольких наборах данных
4. Вклад набора данных: Набор данных SHSeg заполняет пробел в сегментации лыжников
5. Проверка обобщения: Способность к обобщению проверена на нескольких универсальных наборах данных

Недостатки

1. Теоретический анализ: Отсутствует глубокий теоретический анализ того, почему многоуровневая интеграция признаков эффективна
2. Исследование пользователей: Отсутствует оценка опыта реальных пользователей
3. Граничные случаи: Недостаточный анализ производительности в экстремальных погодных условиях или при плохом освещении
4. Ограниченное сравнение: Основное сравнение с семейством SAM, отсутствует сравнение с другими методами поздней интеграции

Влияние

1. Академическая ценность: Предоставляет эффективное решение для интерактивной сегментации в специальных областях
2. Практическая ценность: Имеет прямую ценность в приложениях спортивного анализа, видеоаннотирования и т.д.
3. Воспроизводимость: Предоставляет детальные детали реализации и обещание кода

Применимые сценарии

1. Анализ спортивных видео: Особенно подходит для точной сегментации снаряжения и персонала в зимних видах спорта
2. Инструменты видеоаннотирования: Может быть интегрирован в системы видеоаннотирования для повышения эффективности
3. Сегментация тонких структур: Подходит для задач сегментации, требующих обработки сложных границ
4. Интерактивные приложения: Характеристика быстрого ответа делает её подходящей для интерактивных приложений

Библиография

Статья цитирует 46 соответствующих источников, включая:

• 20 SAM: Segment Anything Model
• 18 HQ-SAM: Segment Anything in High Quality
• 28 SimpleClick: Interactive Image Segmentation with Simple Vision Transformers
• 41 Работы, связанные с набором данных WSESeg
• 44 RITM: Reviving Iterative Training with Mask Guidance

Общая оценка: Это высококачественная статья в области компьютерного зрения, которая предлагает эффективное решение для интерактивной сегментации в специальной, но важной области зимних видов спорта. Технический подход обоснован, экспериментальная проверка полна, работа имеет хорошую практическую ценность и академический вклад.