2025-11-19T15:28:14.078632

Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition

Rios, Yuanda, Ghanz et al.

Ultra-fine-grained image recognition (UFGIR) is a challenging task that involves classifying images within a macro-category. While traditional FGIR deals with classifying different species, UFGIR goes beyond by classifying sub-categories within a species such as cultivars of a plant. In recent times the usage of Vision Transformer-based backbones has allowed methods to obtain outstanding recognition performances in this task but this comes at a significant cost in terms of computation specially since this task significantly benefits from incorporating higher resolution images. Therefore, techniques such as token reduction have emerged to reduce the computational cost. However, dropping tokens leads to loss of essential information for fine-grained categories, specially as the token keep rate is reduced. Therefore, to counteract the loss of information brought by the usage of token reduction we propose a novel Cross-Layer Aggregation Classification Head and a Cross-Layer Cache mechanism to recover and access information from previous layers in later locations. Extensive experiments covering more than 2000 runs across diverse settings including 5 datasets, 9 backbones, 7 token reduction methods, 5 keep rates, and 2 image sizes demonstrate the effectiveness of the proposed plug-and-play modules and allow us to push the boundaries of accuracy vs cost for UFGIR by reducing the kept tokens to extremely low ratios of up to 10\% while maintaining a competitive accuracy to state-of-the-art models. Code is available at: \url{https://github.com/arkel23/CLCA}

academic

超微細粒度画像認識におけるトークン削減のための層間キャッシュ集約

基本情報

論文ID: 2501.00243
タイトル: Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition
著者: Edwin Arkel Rios, Jansen Christopher Yuanda, Vincent Leon Ghanz, Cheng-Wei Yu, Bo-Cheng Lai, Min-Chun Hu
分類: cs.CV
発表日: 2024年12月31日
論文リンク: https://arxiv.org/abs/2501.00243
コードリンク: https://github.com/arkel23/CLCA

要約

本論文は、超微細粒度画像認識(UFGIR)タスクにおける計算効率の問題に対して、新規な層間キャッシュ集約(CLCA)手法を提案している。UFGIRは極めて困難なタスクであり、植物品種の識別など、マクロカテゴリ内での分類を必要とする。Vision Transformerベースの手法はこのタスクで優れた性能を達成しているが、計算コストが著しく増加する。トークン削減プロセスにおける情報損失の問題を解決するため、本論文は層間集約分類ヘッド(CLA)と層間キャッシュ機構(CLC)を提案し、2000回以上の実験を通じて検証した結果、トークン保持率が10%という極端な条件下でも、既存の最先端手法と同等の精度を維持できることを示している。

研究背景と動機

問題定義

中核的問題: 超微細粒度画像認識(UFGIR)におけるVision Transformerの計算効率問題
タスク特性: UFGIRは従来の微細粒度認識よりも困難であり、同一物種内の部分カテゴリ(例えば植物品種)を区別する必要がある
既存の課題:
- ViTはFGIRタスクで優れた性能を示すが、計算複雑度はO(N²)またはO(N³)である
- 高解像度画像は微細粒度認識に不可欠であるが、計算負荷をさらに増加させる
- トークン削減技術は計算コストを低減できるが、微細粒度分類に重要な判別情報の損失を招く

研究動機

既存のトークン削減手法は、計算コストを低減する一方で、微細粒度分類に不可欠な情報を必然的に失っている。特にトークン保持率が低下する場合、この情報損失はより深刻となり、モデルの分類性能に影響を与える。

核心的貢献

層間集約(CLA)分類ヘッドの提案: Transformerの中間層の特徴を分類モジュールに直接統合し、より豊富な判別情報を提供する
層間キャッシュ(CLC)機構の設計: 先行層の重要情報を保存・復元し、トークン削減プロセスにおける情報損失を補償する
プラグアンドプレイ型CLCAフレームワークの構築: CLAとCLCを組み合わせた完全な手法であり、複数のトークン削減技術と互換性がある
大規模実験検証: 5つのデータセット、9種類のバックボーン、7種類のトークン削減手法上で2000回以上の実験を実施し、手法の有効性と汎用性を実証している

画像をP×Pサイズのパッチに分割し、長さN=(S₁/P)×(S₂/P)の系列に平坦化する
学習可能なCLSトークンと位置エンコーディングを追加する
L層のtransformerエンコーダをgグループに分割し、各グループは多頭自己注意(MHSA)と位置フィードフォワードネットワーク(PWFFN)を含む
各グループの最後の層でトークン削減操作を適用する

2. 層間集約(CLA)分類ヘッド

CLAヘッドの中核設計は以下を含む:

入力: 各エンコーダグループのCLSトークン出力
1. 特徴連結と再形成: CLS ∈ R^(D×g)
2. バッチ正規化処理
3. 深度方向畳み込み集約: Agg = DWConv(BN([CLS_G1; CLS_G2; ...; CLS_Gg]))
4. 非線形活性化: BatchNormとGELUを通じた複雑な関係のモデル化
5. ポイント畳み込み分類: preds = PWConv(GELU(BN(Agg)))

3. 層間キャッシュ(CLC)機構

CLCの動作フロー:

キャッシュ段階:

各transformerエンコーダブロック後、局所特徴のグローバル平均プーリング(GAP)を保存する
層間判別情報を集約する学習可能な層間レジスタ(CLR)トークンを導入する
GAP特徴とCLRトークンをキャッシュに保存する

復元段階:

トークン削減位置後または最後の層前にCLCから保存情報を復元する
復元されたトークンを元の系列に追加する
重複使用を避けるためキャッシュをクリアする

技術的革新点

情報保持戦略: キャッシュ機構を通じてトークン削減プロセスで失われた重要情報を保存する
層間特徴融合: 異なる深さの特徴を分類決定に直接統合する
プラグアンドプレイ設計: 既存の複数のトークン削減手法とシームレスに統合できる
勾配最適化: スキップ接続に類似した設計により訓練の安定性を改善する

実験設定

データセット

5つの超微細粒度葉画像データセットを使用:

SoyGene: ダイズ遺伝子型分類
SoyLocal: 地域ダイズ品種
SoyAgeing: ダイズ老化段階
SoyGlobal: 世界的ダイズ品種
Cotton: 綿花品種

各カテゴリは遺伝資源ライブラリから取得した確認済み品種名を表す。

評価指標

主要指標: Top-1精度(%)
効率指標: FLOPs(浮動小数点演算数)
統計手法: 3つのランダムシードの平均結果

比較手法

SOTA手法: ViT, DeiT, TransFG, SIM-Tr, CSDNet トークン削減手法:

静的剪定: DynamicViT
動的剪定: ATS
ソフトマージ: SiT, PatchMerger
ハードマージ: DPCKNN, ToMe
注意駆動: EViT

実装詳細

オプティマイザ: AdamW
訓練エポック: 50
重み減衰: 0.05
バッチサイズ: 32
画像サイズ: 224×224, 448×448
バックボーン: 9種類の事前学習モデル(ViT, DeiT3, MIIL, MoCov3, DINO, MAE, CLIPなど)
保持率: 100%, 70%, 50%, 25%, 10%
トークン削減位置: 第4、7、10層(12層ViT B-16)

実験結果

主要結果

手法	Cotton	SoyAgeing	SoyGlobal	FLOPs (10⁹)
ViT	52.5	67.0	40.6	78.5
DeiT	54.2	69.5	45.3	78.5
TransFG	54.6	72.2	21.2	447.9
CSDNet	57.9	75.4	56.3	78.5
CLCA (10%)	55.6	87.4	61.1	25.2
CLCA (70%)	67.8	88.3	58.2	50.9