2025-11-16T00:28:11.703942

SkipClick: Combining Quick Responses and Low-Level Features for Interactive Segmentation in Winter Sports Contexts

SchÃ¶n, Lorenz, Kienzle et al.

In this paper, we present a novel architecture for interactive segmentation in winter sports contexts. The field of interactive segmentation deals with the prediction of high-quality segmentation masks by informing the network about the objects position with the help of user guidance. In our case the guidance consists of click prompts. For this task, we first present a baseline architecture which is specifically geared towards quickly responding after each click. Afterwards, we motivate and describe a number of architectural modifications which improve the performance when tasked with segmenting winter sports equipment on the WSESeg dataset. With regards to the average NoC@85 metric on the WSESeg classes, we outperform SAM and HQ-SAM by 2.336 and 7.946 clicks, respectively. When applied to the HQSeg-44k dataset, our system delivers state-of-the-art results with a NoC@90 of 6.00 and NoC@95 of 9.89. In addition to that, we test our model on a novel dataset containing masks for humans during skiing.

academic

SkipClick: 冬季スポーツコンテキストにおける迅速な応答と低レベル特徴を組み合わせたインタラクティブセグメンテーション

基本情報

論文ID: 2501.07960
タイトル: SkipClick: Combining Quick Responses and Low-Level Features for Interactive Segmentation in Winter Sports Contexts
著者: Robin Schön, Julian Lorenz, Daniel Kienzle, Rainer Lienhart
所属機関: University of Augsburg, Germany
分類: cs.CV (Computer Vision)
発表時期: 2025年1月
論文リンク: https://arxiv.org/abs/2501.07960

要約

本論文は、冬季スポーツシーンに特化した新型インタラクティブセグメンテーションアーキテクチャであるSkipClickを提案している。インタラクティブセグメンテーションはユーザーガイダンス情報を通じて高品質なセグメンテーションマスクを予測し、本論文ではクリックプロンプトをガイダンス方式として使用している。著者らはまずクリック後の迅速な応答に特化したベースラインアーキテクチャを提案し、その後WSESeg データセット上での冬季スポーツ装備セグメンテーション性能を向上させるための複数のアーキテクチャ改善について述べている。WSESeg カテゴリの平均NoC@85指標において、本手法はそれぞれSAMおよびHQ-SAMと比較して2.336および7.946回のクリック削減を実現している。HQSeg-44kデータセット上では、NoC@90が6.00、NoC@95が9.89の最先端結果を達成している。さらに、著者らは新たに提案されたスキーヤー人体セグメンテーションデータセット上でもモデルをテストしている。

研究背景と動機

問題定義

中核的課題: 冬季スポーツシーンにおいて、アスリートおよび関連装備の精密な位置特定が必要であり、特にスポーツ装備のセグメンテーションタスクの重要性が増加している
アノテーション課題: セグメンテーションマスクのアノテーションは時間がかかり困難であり、特に細かい構造のアノテーションが課題である
領域特異性: 冬季スポーツ装備は汎用データセットではあまり出現せず、ドメイン適応の問題が存在する

重要性

スポーツ分析における装備の精密な位置特定の需要増加
インタラクティブセグメンテーションは人手によるアノテーション時間を大幅に削減可能
冬季スポーツシーンは独特の視覚的特徴（雪景、精密な装備構造）を有する

既存手法の限界

SAMの問題: SA-1Bデータセット（11億マスク）上で訓練されているにもかかわらず、冬季スポーツ装備領域への汎化能力が不足している
応答時間: 早期融合手法はネットワーク全体を再実行する必要があり、応答が遅い
細部処理: 既存手法は冬季スポーツ装備の細かい構造の処理が困難である

中核的貢献

リアルタイムインタラクティブセグメンテーションモデル: 冬季スポーツなどの特殊領域でセグメンテーションを実行できるリアルタイムモデルを提案し、特に画像内の細かい構造の処理に焦点を当てている
アーキテクチャ革新: アブレーション実験によってWSESegデータセット上でのモデル性能を検証し、より大規模なデータセット上で訓練されたSAMを上回る性能を実現している
汎化能力: モデルが冬季スポーツ領域に過適合していないことを証明し、汎用消費者画像データセット上で競争力のある性能を示している
新規データセット: 534個のセグメンテーションマスクと496枚の画像を含むSHSeg（スキーヤー人体セグメンテーション）データセットを提案している

手法の詳細

タスク定義

インタラクティブセグメンテーションタスクは以下のように定義される：画像 $x_{img} \in \mathbb{R}^{H×W×3}$ が与えられたとき、目標は高品質なセグメンテーションマスク $m \in \{0,1\}^{H×W}$ を作成することであり、1は目標オブジェクト、0は背景を表す。

ユーザーは反復的なインタラクションを通じてガイダンスを提供する：

ユーザーが現在のマスク $m_τ$ を確認する
クリック $p_τ = (i_τ, j_τ, l_τ)$ を配置する。ここで $(i_τ, j_τ)$ は座標、 $l_τ \in \{+,-\}$ は前景/背景ラベルである
ネットワークが $x_{img}$ 、 $m_τ$ および累積クリック $p_{0:τ}$ に基づいて改善されたマスク $m_{τ+1}$ を生成する

モデルアーキテクチャ

ベースラインアーキテクチャ

バックボーンネットワーク: DINOv2で事前訓練されたViT-Bを使用し、アノテーションデータの偏見を回避する
画像特徴抽出: $f_{img} = \text{Linear}(\text{ViTBackbone}(x_{img})) \in \mathbb{R}^{\frac{H}{14}×\frac{W}{14}×d_{model}}$
プロンプトエンコーディング: 正負のクリックを半径5ピクセルのディスクとしてエンコードし、クリックマップ $m^+, m^-$ を生成する $f_{prompt} = \text{PatchEmbedding}(\text{Concat}(m^+, m^-, m_τ))$
特徴融合: $f_{mix} = f_{img} + f_{prompt}$ $\hat{f}_{mix} = \text{ViTBlocks}(f_{mix})$
マスクデコーディング: FPNおよびSegFormerデコーダを使用して最終マスクを生成する

SkipClick完全アーキテクチャ

バックボーンネットワークの凍結: 過適合を防止し、汎化能力を維持する
多層特徴融合: ViTの第3、6、9、12層の特徴を使用する $f_1, f_2, f_3, f_4 = \text{ViTBackbone}(x_{img})$ $f_{img} = \text{Linear}(\text{Concat}(f_1, f_2, f_3, f_4))$
スキップ接続: U-Netに類似した設計 $\hat{f}_i = \text{Concat}(\hat{f}_{mix}, f_i) \text{ for } i = 1,2,3,4$

技術的革新点

後期融合戦略: 画像エンコーディングは1回のみ実行され、インタラクション後は軽量なマスク予測器のみを実行する
マルチスケール特徴統合: 異なるレベルの特徴を組み合わせて細粒度情報を保持する
スキップ接続設計: プロンプト統合後も中間特徴にアクセス可能であり、細かい構造を処理する
凍結戦略: バックボーンネットワークを凍結することで事前訓練モデルの汎化能力を維持する

実験設定

データセット

訓練データ: COCO+LVIS組み合わせデータセット（99k画像、150万マスク）
評価データセット:
- WSESeg: 7452個のマスク、10個の冬季スポーツ装備カテゴリ
- SHSeg: 534個のスキーヤーマスク、496枚の画像（新規提案）
- HQSeg-44k: 高品質アノテーションデータセット
- 汎用データセット: GrabCut, Berkeley, DAVIS, SBD