2025-11-17T08:34:13.390930

Open Vocabulary Multi-Label Video Classification

Gupta, Rizve, Unnikrishnan et al.

Pre-trained vision-language models (VLMs) have enabled significant progress in open vocabulary computer vision tasks such as image classification, object detection and image segmentation. Some recent works have focused on extending VLMs to open vocabulary single label action classification in videos. However, previous methods fall short in holistic video understanding which requires the ability to simultaneously recognize multiple actions and entities e.g., objects in the video in an open vocabulary setting. We formulate this problem as open vocabulary multilabel video classification and propose a method to adapt a pre-trained VLM such as CLIP to solve this task. We leverage large language models (LLMs) to provide semantic guidance to the VLM about class labels to improve its open vocabulary performance with two key contributions. First, we propose an end-to-end trainable architecture that learns to prompt an LLM to generate soft attributes for the CLIP text-encoder to enable it to recognize novel classes. Second, we integrate a temporal modeling module into CLIP's vision encoder to effectively model the spatio-temporal dynamics of video concepts as well as propose a novel regularized finetuning technique to ensure strong open vocabulary classification performance in the video domain. Our extensive experimentation showcases the efficacy of our approach on multiple benchmark datasets.

academic

オープン語彙マルチラベルビデオ分類

基本情報

論文ID: 2407.09073
タイトル: Open Vocabulary Multi-Label Video Classification
著者: Rohit Gupta, Mamshad Nayeem Rizve, Jayakrishnan Unnikrishnan, Ashish Tawari, Son Tran, Mubarak Shah, Benjamin Yao, Trishul Chilimbi
分類: cs.CV
発表日時: arXiv:2407.09073v2 cs.CV 13 Oct 2025
論文リンク: https://arxiv.org/abs/2407.09073

要約

事前学習済みビジョン言語モデル(VLM)は、画像分類、物体検出、画像セグメンテーションなど、オープン語彙のコンピュータビジョンタスクにおいて顕著な進展を遂行している。最近の研究の一部は、VLMをビデオ内のオープン語彙単一ラベルアクション分類に拡張することに焦点を当てている。しかし、従来の手法は包括的なビデオ理解に不足しており、オープン語彙設定下で複数のアクションおよび実体(物体など)を同時に認識することができない。本論文は、この問題をオープン語彙マルチラベルビデオ分類として定義し、事前学習済みVLM(CLIPなど)をこのタスクに適応させる手法を提案する。大規模言語モデル(LLM)を活用して、VLMに対してクラスラベルに関する意味的ガイダンスを提供し、2つの主要な貢献を通じてオープン語彙性能を向上させる。第一に、LLMをプロンプトしてCLIPテキストエンコーダ用のソフト属性を生成するエンドツーエンド学習可能なアーキテクチャを提案し、新規クラスの認識を可能にする。第二に、時間的モデリングモジュールをCLIPの視覚エンコーダに統合し、ビデオ概念の時空間動態を効果的にモデル化し、ビデオドメインにおける強力なオープン語彙分類性能を保証する新規な正則化微調整技術を提案する。

研究背景と動機

問題定義

従来のビデオ分類手法には以下の制限がある：

語彙表限定：古典的手法は可能なすべてのクラスを事前に知る必要があり、モデルはラベル付きデータセット上での教師あり学習のみが可能
注釈コスト高：人手による注釈プロセスは労働集約的であり、ビデオデータセットは通常特定ドメイン(特定のスポーツや単純な活動など)に限定される
単一概念認識：既存のオープン語彙手法は主に単一ラベル分類に焦点を当てており、ビデオ内の複数の概念を同時に認識できない

研究動機

ビデオアプリケーションの広範な普及に伴い、広範な概念を認識できるビデオモデルの開発が必要である。本論文の中核的動機は以下の通りである：

大規模画像テキストペア上での事前学習によるVLMの利点を活用する
豊富な世界知識を持つLLMを組み合わせて意味理解を強化する
オープン語彙設定下で複数のビデオ概念(アクション、物体、シーンなど)を同時に認識する実現

技術的課題

マルチラベル設定における類似度スコアリング問題：異なるタイプの概念(アクション、物体など)のVLM類似度スコアの範囲が異なる
時間的モデリング：画像言語事前学習モデルはビデオ時間動態のモデリング能力に欠ける
オープン語彙性能の保持：ビデオデータ上での微調整時に過学習しやすく、汎化能力を喪失する

核心的貢献

エンドツーエンド学習可能なラベルエンコーダ：LLMをプロンプトしてVLMテキストエンコーダ用のソフト属性を生成する学習方法を提案し、オープン語彙マルチラベルビデオ分類を実現
時間的強化視覚エンコーダ：事前学習済みVLM画像エンコーダに時間的モデリング能力を統合しながら、強力なオープン語彙性能を保持
新規ベンチマークデータセット：5つのデータセット上でオープン語彙マルチラベルビデオ分類ベンチマークを定義し、6つの強力なベースラインと比較
顕著な性能向上：複数のベンチマークデータセット上でベースライン手法を大幅に上回る

訓練ステージ：閉集合訓練ラベル上でラベルエンコーダとビデオエンコーダを同時に訓練
分類器語彙拡張ステージ：新規クラスラベルの埋め込みを計算してラベル埋め込みデータベースに保存
推論ステージ：ビデオ特徴を計算してラベル埋め込みデータベースとマッチング

1. LLM意味強化ラベル埋め込み

固定LLMプロンプト手法：

クラスを視覚的に区別するのに有用な特徴を生成するようLLMに尋ねるプロンプトテンプレートを設計
LLMの出力を属性リストとして解析し、クラス名と共にCLIPテキストエンコーダにプロンプト
平均プーリングにより属性強化テキスト埋め込みを生成

エンドツーエンド学習可能LLMプロンプト：固定プロンプト手法の学習不可能な問題を解決するため、以下のアーキテクチャを提案：

学習可能プレフィックス：LLMプロンプトのプレフィックスとしてのN個のd次元学習可能ベクトル
プロンプト変換器：LLM出力意味空間をCLIP入力意味空間にマッピング
ソフト属性生成：各プレフィックスに対してKL回のデコード反復を実行し、K個のL-トークン部分列をソフト属性として生成

数学的表現：

入力シーケンス：I ∈ R^(M×d)
プレフィックスPiとプロンプトテンプレートの連結：[Pi; I] ∈ R^((1+M)×d)
最終ラベル埋め込み：ft(ℓ) = MeanPool(Normalize(CLIP_text([soft_prompt; tokenize(ℓ)])))

2. 正則化並列時間的モデリング

時間的モデリングブランチ：

CLIPビジョンエンコーダの最後のT層に並列時間的モデリングブランチを追加
CLIPビジョンブランチを凍結し、新規時間層のみを訓練
各時間ブロックは以下を含む：
- CLIPウェイトから初期化された空間注意層
- ランダムに初期化された時間注意層

ウェイト正則化戦略：ゼロショット性能を保持するため、空間注意層にランダムウェイト正則化を使用：

θ = αθ_ft + (1-α)θ_frozen, ここで α ~ U(0, λ)

ビデオ埋め込み生成：最終時間トークン(TMP)と各フレームCLSトークンの平均プーリングにより全体ビデオ埋め込みを生成。

訓練目的

加重二値交差エントロピー損失を採用：

L(B) = -∑_{v∈B} [∑_{ℓ∈P(v)} log p(ℓ,v) + w∑_{ℓ∈N(v)} log(1-p(ℓ,v))]

ここで：

p(ℓ,v) = σ(s(ℓ,v)/τ)
s(ℓ,v) = (ft(ℓ))^T fv(v)
τは温度パラメータ、wは重みハイパーパラメータ

実験設定

データセット

訓練データセット：

YouTube-8M：主に実体に注釈、ゲームタイトル削除後2429クラスを保持
Kinetics-400：高品質人手検証アクションラベル、400クラス

評価データセット：

TAO (Tracking Any Object)：物体に焦点を当てたオープン語彙データセット
ActivityNet：アクションに焦点を当てたデータセット
RareAct：物体、アクション、およびそれらの稀な組み合わせを含むデータセット

評価指標

AUPR (Area Under Precision-Recall curve)：全体的な精度再現率トレードオフを要約する分類性能
Peak F1-Score：最適閾値で達成されるF1スコア

比較手法

CoOp：CLIPテキストエンコーダプロンプトを学習する軽量適応手法
DualCoOp：CoOpのマルチラベル拡張、正負プロンプトを学習
LLM + CLIP (Frozen)：固定LLMプロンプトベースライン
ViFi-CLIP：訓練データセット上でCLIP画像およびテキストエンコーダを微調整

実験結果

主要結果

AUPR性能比較：

手法	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (クラス名プロンプト)	6.3	26.2	43.8	44.2	9.5
固定LLMプロンプト	6.9	30.6	50.2	46.8	11.5
DualCoOp	8.3	23.9	47.1	33.0	7.6
本手法	16.7	43.2	65.5	50.2	13.2

Peak F1性能比較：

手法	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (クラス名プロンプト)	14.9	34.2	44.6	47.1	17.6
固定LLMプロンプト	21.6	37.3	50.2	51.4	19.8
DualCoOp	16.2	33.2	49.0	40.5	15.0
本手法	32.7	46.6	56.6	53.8	25.1