2025-11-19T15:28:14.078632

Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition

Rios, Yuanda, Ghanz et al.
Ultra-fine-grained image recognition (UFGIR) is a challenging task that involves classifying images within a macro-category. While traditional FGIR deals with classifying different species, UFGIR goes beyond by classifying sub-categories within a species such as cultivars of a plant. In recent times the usage of Vision Transformer-based backbones has allowed methods to obtain outstanding recognition performances in this task but this comes at a significant cost in terms of computation specially since this task significantly benefits from incorporating higher resolution images. Therefore, techniques such as token reduction have emerged to reduce the computational cost. However, dropping tokens leads to loss of essential information for fine-grained categories, specially as the token keep rate is reduced. Therefore, to counteract the loss of information brought by the usage of token reduction we propose a novel Cross-Layer Aggregation Classification Head and a Cross-Layer Cache mechanism to recover and access information from previous layers in later locations. Extensive experiments covering more than 2000 runs across diverse settings including 5 datasets, 9 backbones, 7 token reduction methods, 5 keep rates, and 2 image sizes demonstrate the effectiveness of the proposed plug-and-play modules and allow us to push the boundaries of accuracy vs cost for UFGIR by reducing the kept tokens to extremely low ratios of up to 10\% while maintaining a competitive accuracy to state-of-the-art models. Code is available at: \url{https://github.com/arkel23/CLCA}
academic

Schichtübergreifende Cache-Aggregation zur Token-Reduktion in der Ultra-Feinkörner-Bilderkennung

Grundinformationen

  • Paper-ID: 2501.00243
  • Titel: Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition
  • Autoren: Edwin Arkel Rios, Jansen Christopher Yuanda, Vincent Leon Ghanz, Cheng-Wei Yu, Bo-Cheng Lai, Min-Chun Hu
  • Klassifizierung: cs.CV
  • Veröffentlichungsdatum: 31. Dezember 2024
  • Paper-Link: https://arxiv.org/abs/2501.00243
  • Code-Link: https://github.com/arkel23/CLCA

Zusammenfassung

Dieser Artikel schlägt eine neuartige Methode der schichtübergreifenden Cache-Aggregation (CLCA) vor, um die Rechnereffizienz bei der Ultra-Feinkörner-Bilderkennung (UFGIR) zu verbessern. UFGIR ist eine äußerst anspruchsvolle Aufgabe, die eine Klassifizierung innerhalb von Makroklassen erfordert, beispielsweise die Identifizierung von Pflanzensorten. Obwohl auf Vision Transformer basierende Methoden bei dieser Aufgabe hervorragende Leistungen erzielen, steigen die Rechenkosten erheblich an. Um das Problem des Informationsverlusts während des Token-Reduktionsprozesses zu lösen, schlägt dieser Artikel einen schichtübergreifenden Aggregations-Klassifizierungskopf (CLA) und einen schichtübergreifenden Cache-Mechanismus (CLC) vor. Durch über 2000 Experimente wird nachgewiesen, dass die Methode auch unter extremen Bedingungen mit einer Token-Beibehaltungsrate von nur 10% eine Genauigkeit beibehält, die mit modernen Methoden vergleichbar ist.

Forschungshintergrund und Motivation

Problembeschreibung

  1. Kernproblem: Rechnereffizienzproblem von Vision Transformer bei der Ultra-Feinkörner-Bilderkennung (UFGIR)
  2. Aufgabenmerkmale: UFGIR ist schwieriger als traditionelle Feinkörner-Erkennung und erfordert die Unterscheidung von Unterkategorien innerhalb derselben Art (z. B. Pflanzensorten)
  3. Bestehende Herausforderungen:
    • ViT zeigt hervorragende Leistungen bei FGIR-Aufgaben, hat aber eine Rechenkomplexität von O(N²) oder sogar O(N³)
    • Hochauflösungsbilder sind für die Feinkörner-Erkennung entscheidend, erhöhen aber die Rechenlast weiter
    • Token-Reduktions-Techniken können die Rechenkosten senken, führen aber zum Verlust kritischer diskriminativer Informationen

Forschungsmotivation

Bestehende Token-Reduktions-Methoden verlieren zwangsläufig Informationen, die für die Feinkörner-Klassifizierung entscheidend sind, während sie die Rechenkosten senken. Besonders wenn die Token-Beibehaltungsrate sinkt, wird dieser Informationsverlust schwerwiegender und beeinträchtigt die Klassifizierungsleistung des Modells.

Kernbeiträge

  1. Vorschlag eines schichtübergreifenden Aggregations-Klassifizierungskopfes (CLA): Integriert direkt Merkmale aus mittleren Schichten des Transformers in das Klassifizierungsmodul und bietet umfassendere diskriminative Informationen
  2. Entwurf eines schichtübergreifenden Cache-Mechanismus (CLC): Speichert und stellt kritische Informationen aus vorherigen Schichten wieder her und kompensiert den Informationsverlust während des Token-Reduktionsprozesses
  3. Aufbau eines Plug-and-Play-CLCA-Rahmens: Eine vollständige Methode, die CLA und CLC kombiniert und mit mehreren Token-Reduktions-Techniken kompatibel ist
  4. Großflächige experimentelle Validierung: Über 2000 Experimente auf 5 Datensätzen, 9 Backbone-Netzwerken und 7 Token-Reduktions-Methoden belegen die Effektivität und Universalität der Methode

Methodische Details

Aufgabendefinition

Eingabe: Hochauflösungsbild I ∈ R^(H×W×3) Ausgabe: Vorhersage der Ultra-Feinkörner-Kategorie y ∈ {1,2,...,C} Einschränkung: Signifikante Reduzierung der Rechenkosten (FLOPs) bei Beibehaltung hoher Genauigkeit

Modellarchitektur

1. Vision Transformer Encoder-Gruppen

  • Teilt das Bild in Patches der Größe P×P auf und flacht diese zu einer Sequenz der Länge N=(S₁/P)×(S₂/P) ab
  • Fügt ein lernbares CLS-Token und Positionskodierung hinzu
  • Unterteilt die L-Schicht-Transformer-Encoder in g Gruppen, wobei jede Gruppe Multi-Head Self-Attention (MHSA) und Position-wise Feed-Forward Network (PWFFN) enthält
  • Wendet Token-Reduktionsoperationen nach der letzten Schicht jeder Gruppe an

2. Schichtübergreifender Aggregations-Klassifizierungskopf (CLA)

Das Kerndesign des CLA-Kopfes umfasst:

Eingabe: CLS-Token-Ausgaben aus verschiedenen Encoder-Gruppen
1. Merkmal-Verkettung und Umgestaltung: CLS ∈ R^(D×g)
2. Batch-Normalisierungsverarbeitung
3. Tiefenweise Faltungs-Aggregation: Agg = DWConv(BN([CLS_G1; CLS_G2; ...; CLS_Gg]))
4. Nichtlineare Aktivierung: Modellierung komplexer Beziehungen durch BatchNorm und GELU
5. Punkt-Faltungs-Klassifizierung: preds = PWConv(GELU(BN(Agg)))

3. Schichtübergreifender Cache-Mechanismus (CLC)

Der Arbeitsablauf des CLC:

Cache-Phase:

  • Nach jedem Transformer-Encoder-Block wird die globale Durchschnitts-Pooling (GAP) lokaler Merkmale gespeichert
  • Führt ein lernbares schichtübergreifendes Register (CLR) Token ein, das schichtübergreifende diskriminative Informationen aggregiert
  • Speichert GAP-Merkmale und CLR-Token im Cache

Wiederherstellungsphase:

  • Nach der Token-Reduktionsposition oder vor der letzten Schicht werden gespeicherte Informationen aus dem CLC wiederhergestellt
  • Die wiederhergestellten Token werden an die ursprüngliche Sequenz angehängt
  • Der Cache wird geleert, um eine Wiederverwendung zu vermeiden

Technische Innovationspunkte

  1. Informationsbeibehaltungs-Strategie: Bewahrt kritische Informationen, die während des Token-Reduktionsprozesses verloren gehen, durch einen Cache-Mechanismus
  2. Schichtübergreifende Merkmal-Fusion: Integriert direkt Merkmale verschiedener Tiefen in die Klassifizierungsentscheidung
  3. Plug-and-Play-Design: Lässt sich nahtlos mit bestehenden Token-Reduktions-Methoden kombinieren
  4. Gradienten-Optimierung: Ein dem Skip-Connection ähnliches Design verbessert die Trainingsstabilität

Experimentelle Einrichtung

Datensätze

Verwendet 5 Ultra-Feinkörner-Blattdatensätze:

  • SoyGene: Sojabohnen-Genotyp-Klassifizierung
  • SoyLocal: Lokale Sojabohnen-Sorten
  • SoyAgeing: Sojabohnen-Alterungsstadien
  • SoyGlobal: Globale Sojabohnen-Sorten
  • Cotton: Baumwollsorten

Jede Kategorie repräsentiert bestätigte Sortennamen aus genetischen Ressourcensammlungen.

Bewertungsmetriken

  • Hauptmetrik: Top-1-Genauigkeit (%)
  • Effizienzmetrik: FLOPs (Gleitkommaoperationen)
  • Statistische Methode: Durchschnittliche Ergebnisse von 3 zufälligen Seeds

Vergleichsmethoden

SOTA-Methoden: ViT, DeiT, TransFG, SIM-Tr, CSDNet Token-Reduktions-Methoden:

  • Statisches Pruning: DynamicViT
  • Dynamisches Pruning: ATS
  • Weiches Merging: SiT, PatchMerger
  • Hartes Merging: DPCKNN, ToMe
  • Aufmerksamkeits-gesteuert: EViT

Implementierungsdetails

  • Optimierer: AdamW
  • Trainings-Epochen: 50
  • Gewichtszerfall: 0,05
  • Batch-Größe: 32
  • Bildgröße: 224×224, 448×448
  • Backbone-Netzwerke: 9 vortrainierte Modelle (ViT, DeiT3, MIIL, MoCov3, DINO, MAE, CLIP usw.)
  • Beibehaltungsrate: 100%, 70%, 50%, 25%, 10%
  • Token-Reduktions-Position: Schichten 4, 7, 10 (12-Schicht ViT B-16)

Experimentelle Ergebnisse

Hauptergebnisse

MethodeCottonSoyAgeingSoyGlobalFLOPs (10⁹)
ViT52,567,040,678,5
DeiT54,269,545,378,5
TransFG54,672,221,2447,9
CSDNet57,975,456,378,5
CLCA (10%)55,687,461,125,2
CLCA (70%)67,888,358,250,9

Wichtigste Erkenntnisse:

  • CLCA erreicht auch bei 10% Beibehaltungsrate eine mit dem vollständigen Modell vergleichbare Leistung
  • Beim SoyAgeing-Datensatz verbessert sich CLCA(10%) um 12% gegenüber der besten Baseline-Methode
  • Die Rechenkosten werden auf 32% des Originals reduziert (25,2 vs. 78,5 FLOPs)

Ablationsstudien

Durch Gradienten-Analyse wird die Effektivität von CLCA validiert:

  • Trainingsstabilität: CLCA verbessert die Gradienten-Stabilität erheblich und reduziert Schwankungen während des Trainings
  • Merkmal-Wiederverwendung: Schichtübergreifende Verbindungen fördern die Merkmal-Wiederverwendung, ähnlich wie Skip-Connections in ResNet
  • Tiefenüberwachung: Die direkte Nutzung von Merkmalen aus mittleren Schichten bietet implizite Tiefenüberwachung

Generalisierungsvalidierung

Experimente mit verschiedenen Token-Reduktions-Methoden zeigen:

  • CLCA ist mit 7 verschiedenen Token-Reduktions-Paradigmen kompatibel
  • Verbesserungen auf 9 verschiedenen vortrainierten Backbone-Netzwerken
  • Leistungsverbesserungen bleiben bei verschiedenen Beibehaltungsraten (25%, 50%, 70%) konsistent

Verwandte Arbeiten

Feinkörner-Bilderkennung

  • Traditionelle FGIR: Hauptsächlich Klassifizierung auf Artebene
  • Ultra-Feinkörner-Erkennung: Erweiterung auf Unterkategorien-Klassifizierung innerhalb von Arten, wie Pflanzensorten
  • ViT in FGIR: Vorteile des globalen Empfangsfeldes, aber hohe Rechenkosten

Token-Reduktions-Techniken

  • Token-Pruning: Verwirft unwichtige Token basierend auf Wichtigkeitsbewertungen
  • Token-Merging: Kombiniert mehrere Token zu einem, um die Sequenzlänge zu reduzieren
  • Bestehende Einschränkungen: Führt zwangsläufig zu Informationsverlust, besonders bei niedriger Beibehaltungsrate

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Effizienzsteigerung: CLCA kann bei extrem niedriger Token-Beibehaltungsrate (10%) wettbewerbsfähige Leistung aufrechterhalten
  2. Universalität: Die Methode ist mit mehreren Token-Reduktions-Techniken und Backbone-Netzwerken kompatibel
  3. Praktischer Wert: Bietet eine effektive Lösung für die Feinkörner-Erkennung in ressourcenbeschränkten Umgebungen

Einschränkungen

  1. Zusätzlicher Speicheraufwand: Der CLC-Mechanismus erfordert zusätzlichen Speicher für mittlere Merkmale
  2. Hyperparameter-Empfindlichkeit: Cache-Strategie und Aggregationsmethode müssen möglicherweise für verschiedene Aufgaben angepasst werden
  3. Datensatz-Einschränkungen: Hauptsächlich auf Blatt-Datensätzen validiert; die Generalisierbarkeit auf andere Feinkörner-Bereiche ist noch zu überprüfen

Zukünftige Richtungen

  1. Adaptive Cache-Strategien: Dynamische Anpassung des Cache-Inhalts und des Timings basierend auf Aufgabenmerkmalen
  2. Effizientere Aggregationsmechanismen: Erkundung leichtgewichtigerer Methoden zur schichtübergreifenden Merkmal-Fusion
  3. Multimodale Erweiterung: Erweiterung der Methode auf multimodale Feinkörner-Erkennungsaufgaben

Tiefgreifende Bewertung

Stärken

  1. Starke Innovativität: Erste systematische Lösung des Informationsverlusts bei der Token-Reduktion
  2. Umfangreiche Experimente: Über 2000 Experimente mit mehreren Dimensionen; Ergebnisse sind zuverlässig
  3. Hoher praktischer Wert: Das Plug-and-Play-Design ermöglicht einfache praktische Anwendung
  4. Solide theoretische Grundlagen: Erklärung der Methodeneffektivität aus Perspektiven der Gradienten-Optimierung und Merkmal-Wiederverwendung

Mängel

  1. Speicheraufwand: Der CLC-Mechanismus erhöht die Speichernutzung und kann einen Teil der Effizienzgewinne aufzehren
  2. Komplexität: Führt zusätzliche Hyperparameter und Designentscheidungen ein
  3. Domänen-Spezifität: Hauptsächlich in der landwirtschaftlichen Blatt-Erkennung validiert; begrenzte Generalisierbarkeit

Auswirkungen

  1. Akademischer Wert: Bietet neue Ideen und Lösungen für das Token-Reduktions-Feld
  2. Praktische Bedeutung: Wichtig für Edge-Computing und mobile Anwendungen mit begrenzten Ressourcen
  3. Reproduzierbarkeit: Vollständige Code-Implementierung verfügbar, erleichtert Folgeforschen

Anwendungsszenarien

  1. Edge-Computing: Mobile Geräte und eingebettete Systeme mit begrenzten Rechenressourcen
  2. Echtzeit-Anwendungen: Feinkörner-Erkennungsaufgaben, die schnelle Reaktionen erfordern
  3. Großflächige Bereitstellung: Landwirtschaftliche Überwachungssysteme, die auf vielen Geräten bereitgestellt werden müssen
  4. Forschungsplattform: Als Verbesserungsmodul für andere Token-Reduktions-Methoden

Literaturverzeichnis

Dieser Artikel zitiert 32 wichtige Arbeiten, die klassische Werke in den Schlüsselbereichen Feinkörner-Erkennung, Vision Transformer und Token-Reduktion abdecken und eine solide theoretische Grundlage für die Forschung bieten.