2025-11-20T12:19:22.539414

Deep Attention-guided Adaptive Subsampling

Shankaranarayana, Roy, Sudhakar et al.

Although deep neural networks have provided impressive gains in performance, these improvements often come at the cost of increased computational complexity and expense. In many cases, such as 3D volume or video classification tasks, not all slices or frames are necessary due to inherent redundancies. To address this issue, we propose a novel learnable subsampling framework that can be integrated into any neural network architecture. Subsampling, being a nondifferentiable operation, poses significant challenges for direct adaptation into deep learning models. While some works, have proposed solutions using the Gumbel-max trick to overcome the problem of non-differentiability, they fall short in a crucial aspect: they are only task-adaptive and not inputadaptive. Once the sampling mechanism is learned, it remains static and does not adjust to different inputs, making it unsuitable for real-world applications. To this end, we propose an attention-guided sampling module that adapts to inputs even during inference. This dynamic adaptation results in performance gains and reduces complexity in deep neural network models. We demonstrate the effectiveness of our method on 3D medical imaging datasets from MedMNIST3D as well as two ultrasound video datasets for classification tasks, one of them being a challenging in-house dataset collected under real-world clinical conditions.

academic

Tiefe aufmerksamkeitsgeleitet adaptive Unterabtastung

Grundinformationen

Paper-ID: 2510.12376
Titel: Deep Attention-guided Adaptive Subsampling
Autoren: Sharath M Shankaranarayana, Soumava Kumar Roy, Prasad Sudhakar, Chandan Aladahalli (GE Healthcare, Bangalore, Indien)
Klassifizierung: cs.CV, cs.AI, cs.LG
Veröffentlichungsdatum: 14. Oktober 2025 (arXiv-Preprint)
Paper-Link: https://arxiv.org/abs/2510.12376v1

Zusammenfassung

Obwohl tiefe neuronale Netze erhebliche Leistungsverbesserungen erzielt haben, gehen diese Verbesserungen häufig mit erhöhter Rechenkomplexität und Kosten einher. In vielen Fällen, wie bei 3D-Volumen- oder Videoklassifizierungsaufgaben, sind aufgrund inhärenter Redundanz nicht alle Schichten oder Frames erforderlich. Um dieses Problem zu lösen, schlagen die Autoren ein neuartiges lernbares Unterabtastungs-Framework vor, das in jede neuronale Netzwerk-Architektur integriert werden kann. Das Framework passt die Eingabe während der Inferenz durch ein aufmerksamkeitsggeleitetes Abtastmodul dynamisch an und erreitet sowohl Leistungsverbesserungen als auch reduzierte Komplexität von Deep-Learning-Modellen.

Forschungshintergrund und Motivation

Kernprobleme

Herausforderungen der Recheneffizienz: Tiefe neuronale Netze sehen sich enormen Rechenkosten beim Verarbeiten hochdimensionaler Daten (wie Videos und Volumenscans) gegenüber
Datendundanz: In 3D-medizinischen Bildern und Videodaten existiert umfangreiche redundante Information; nicht alle Frames/Schichten sind für die endgültige Aufgabe nützlich
Einschränkungen von Abtaststrategien: Traditionelle gleichmäßige Abtastung oder handwerkliche heuristische Methoden können die signifikantesten Informationen nicht erkennen und priorisieren

Unzulänglichkeiten bestehender Methoden

Deep Probabilistic Subsampling (DPS): Obwohl wirksam, lernt es eine feste, inhaltsunabhängige Strategie
Active Deep Probabilistic Subsampling (ADPS): Obwohl es instanzebenenabhängige Anpassung einführt, wird es nur auf Basis bereits abgetasteter Komponenten konditioniert und nutzt nicht direkt die Eingabemerkmale selbst
Statisches Problem: Einmal gelernt, bleibt der Abtastmechanismus statisch und kann sich nicht an verschiedene Eingaben anpassen

Forschungsmotivation

Angesichts der Einschränkungen bestehender Methoden schlagen die Autoren ein dynamisches Abtastungs-Framework vor, das sowohl aufgabenadaptiv als auch eingabeadaptiv ist und die Abtaststrategie zur Inferenzzeit basierend auf spezifischen Eingaben anpassen kann.

Kernbeiträge

Neuartiges Plug-and-Play-Neurabtastungsmodul: Präsentation eines Moduls für dynamische Abtastung von 3D-Volumen und Videos, das sich zur Inferenzzeit an Eingaben anpasst und duale Aufgaben- und Eingabeadaptivität erreicht
Umfassende Leistungsvalidierung: Validierung des Frameworks auf acht medizinischen Bilddatensätzen, einschließlich sechs MedMNIST3D-Datensätzen, einem öffentlichen Ultraschallvideo-Datensatz und einem proprietären, in klinischer Umgebung erfassten Datensatz
End-to-End trainierbares Framework: Sicherung der End-to-End-Differenzierbarkeit diskreter Probenauswahl durch Gumbel-Softmax-Reparametrisierungstrick
Interpretierbarkeit: Abtastmatrizen werden als Ausgabe erzeugt, was den Abtastprozess explizit steuerbar und interpretierbar macht

Methodische Details

Aufgabendefinition

Gegeben eine Sequenz mit T Frames $X \in \mathbb{R}^{B \times T \times C \times H \times W}$ , besteht das Ziel darin, eine Abtastfunktion $S_\theta$ zu lernen, die eine Teilmenge von k Frames auswählt (wobei $k \ll T$ ).

Modellarchitektur

1. Leichte Merkmalsextraktion

Das Merkmalsextraktionsmodul enthält mehrere parallele Pfade zur Berechnung einer umfangreichen Darstellung der Eingabesequenz:

Erfassung zeitlicher Dynamik: Berechnung der Varianz zwischen Frames in räumlichen und Kanaldimensionen
Identifikation anatomischer Grenzen: Anwendung von Sobel- und Laplacian-Kernsammlungen zur Berechnung von Kantenmagnitude
Merkmalszusammenfassung: Verkettung extrahierter Merkmale zur Bildung einer umfassenden Merkmalsdarstellung $F \in \mathbb{R}^{B \times T \times d}$

2. Multi-Head-Aufmerksamkeitsschicht

Der aggregierte Merkmalsensor F wird durch eine Multi-Head-Aufmerksamkeitsschicht verarbeitet, um endgültige Abtast-Logits zu generieren:

$s^h = \text{Softplus}(\text{MLP}^h(F))$

$A^{(:,j,:)}_h = a_{\text{base}} \odot s^{(:,j)}_h$

$A = \frac{1}{H} \sum_{h=1}^H A^h$

wobei H die Anzahl der Aufmerksamkeitsköpfe ist und $s^h \in \mathbb{R}^{B \times k}$ kopfspezifische Skalierungsfaktoren sind.

3. Differenzierbare Gumbel-Softmax-Abtastung

Zur Ermöglichung des End-to-End-Trainings wird der Gumbel-Softmax-Trick für differenzierbare Abtastung verwendet:

Adaptive Temperaturenskalierung: $\tau = \tau_0 \cdot (0.5 + \sigma(\text{MLP}_{\text{temp}}(F)))$

Abtastprozess: $G_{b,j,t} \sim \text{Gumbel}(0,1)$ $P_{\text{soft}} = \text{Softmax}_t\left(\frac{A + G}{\tau}\right)$

Verwendung des Straight-Through-Estimators (STE) zur Sicherung der Differenzierbarkeit, was letztendlich die Abtastmatrix $P \in \mathbb{R}^{B \times k \times T}$ ergibt.

Technische Innovationspunkte

Dynamische Eingabeadaptation: Im Gegensatz zur statischen Strategie von DPS kann DAS die Abtaststrategie dynamisch basierend auf Eingabeinhalten anpassen
Leichte Konstruktion: Im Vergleich zum mehrstufigen Prozess von ADPS verwendet DAS ein leichtes Einfach-Durchlauf-Modul
Adaptiver Temperaturmechanismus: Dynamische Kontrolle des Gleichgewichts zwischen Exploration und Exploitation
Multimodale Merkmalsfusion: Kombination zeitlicher Dynamik und räumlicher Strukturinformation

Experimentelle Einrichtung

Datensätze

MedMNIST3D: Sechs 3D-Volumen-Datensätze (Organ, Nodule, Adrenal, Fracture, Vessel, Synapse), die mehrere Organfragmentierungs- und Pathologieerkennung-Aufgaben abdecken
Breast Ultrasound Video (BUSV): Öffentlicher Ultraschallvideo-Datensatz für Brustkrebs, binäre Benchmark für Brustläsionserkennung
Interner Antrum-Datensatz: Proprietärer klinischer Ultraschallvideo-Datensatz, erfasst in echter Krankenhausumgebung, enthält fünf Klassen von Mageninhalt-Klassifizierung

Bewertungsmetriken

Ausgeglichene Genauigkeit (Balanced Accuracy)
AUC (Area Under Curve)
Alle Ergebnisse sind Durchschnitte von drei unabhängigen Läufen

Vergleichsmethoden

Full Sequence: Verarbeitung aller Frames oder Schichten (Rechner-Obergrenze)
Random Sampling: Zufällige Auswahl von k Frames
Uniform Sampling: Gleichmäßig verteilte Frame-Auswahl
Deep Probabilistic Subsampling (DPS): Aufgabenadaptiv aber inhaltsunabhängige gelernte Abtastung
Active Deep Probabilistic Subsampling (ADPS): Eingabeadaptiv aber nur auf bereits abgetasteten Komponenten basierend

Implementierungsdetails

Downstream-Architektur: MobileNetV3-Small als Merkmalsextraktor
Optimierer: Adam (lr=1e-4, batch size=16)
Abtastquote: Alle Unterabtastungsmethoden wählen 50% der ursprünglichen Sequenzlänge
Frühes Stoppen: Basierend auf Validierungsverlust

Experimentelle Ergebnisse

Hauptergebnisse

Leistung auf öffentlichen Datensätzen (Tabelle 1)

Auf den meisten MedMNIST3D-Datensätzen übertrifft DAS DPS und ADPS erheblich:

Organ-Datensatz: AUC 0,931 vs ADPS 0,928, Genauigkeit 58,1% vs ADPS 57,3%
Nodule-Datensatz: AUC 0,799 vs ADPS 0,782, Genauigkeit 75,8% vs ADPS 75,8%
Vessel-Datensatz: AUC 0,752 vs ADPS 0,739, Genauigkeit 82,9% vs ADPS 80,7%

Leistung auf internem Datensatz (Tabelle 2)

Auf dem herausfordernden Antrum-Datensatz übertrifft DAS sogar die Full-Sequence-Baseline:

AUC: 0,639 vs Full Sequence 0,611
Genauigkeit: 34,1% vs Full Sequence 30,1%

Wichtige Erkenntnisse

Redundanznutzung: ADPS und DAS erreichen auf vielen Datensätzen nahezu Full-Sequence-Leistung, was darauf hindeutet, dass Redundanz in Klassifizierungsaufgaben durch ausgezeichnete Abtaststrategien genutzt werden kann
Vorteile in realen Szenarien: DAS zeigt besonders hervorragende Leistung bei lauteren klinischen Ultraschallscans
Recheneffizienz: Erreicht erhebliche Recheneinsparungen bei Beibehaltung oder Verbesserung der Leistung

Ablationsstudien

Obwohl das Paper keine detaillierten Ablationsstudien enthält, können durch Vergleiche mit verschiedenen Baselines folgende Erkenntnisse gewonnen werden:

Wichtigkeit des Aufmerksamkeitsmechanismus (Verbesserung gegenüber zufälliger und gleichmäßiger Abtastung)
Wert der Eingabeadaptivität (Verbesserung gegenüber DPS)
Vorteile der dynamischen Abtastung (gegenüber statischen Methoden)

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

DAS erreicht erfolgreich duale Aufgaben- und Eingabeadaptivität, passt die Abtaststrategie zur Inferenzzeit dynamisch an
Validierung der Methodenwirksamkeit auf mehreren medizinischen Bilddatensätzen, besonders hervorragende Leistung in echten klinischen Umgebungen
Das Framework hat gute Universalität und kann in jede neuronale Netzwerk-Architektur integriert werden

Einschränkungen

Abhängigkeit der Merkmalsextraktion: Aktuelle Verwendung vordefinierter Merkmale (zeitliche Varianz, Kantenerkennung) kann die Adaptivität einschränken
Bewertungsumfang: Hauptsächlich in medizinischen Bildern validiert; Generalisierungsfähigkeit auf andere Bereiche erfordert weitere Verifikation
Analyse des Rechenaufwands: Fehlende detaillierte Komplexitätsanalyse und tatsächliche Inferenzzeitvergleiche

Zukünftige Richtungen

Das Paper schlägt eine vielversprechende Forschungsrichtung vor: Entwicklung lernbarer Merkmalsextraktionsmodule, die automatisch signifikante Merkmale zur Anleitung des Abtastprozesses identifizieren können, um die DAS-Leistung weiter zu verbessern.

Tiefgreifende Bewertung

Stärken

Klare Problemdefinition: Genaue Identifikation von Kerneinschränkungen bestehender Methoden (statisch vs. dynamische Abtastung)
Technische Innovativität: Geschickte Kombination von Aufmerksamkeitsmechanismen mit differenzierbarer Abtastung zur Erreichung von Eingabeadaptivität
Experimentelle Vollständigkeit: Umfassende Bewertung auf mehreren Datensätzen, einschließlich echter klinischer Daten
Hoher praktischer Wert: Methode ist einfach und wirksam, leicht in bestehende Architekturen integrierbar

Mängel

Fehlende theoretische Analyse: Mangel an theoretischer Analyse der Konvergenz und Stabilität der Methode
Unzureichende Ablationsstudien: Keine detaillierte Analyse der Beiträge einzelner Komponenten (Multi-Head-Aufmerksamkeit, adaptive Temperatur usw.)
Quantifizierung der Recheneffizienz: Obwohl Effizienzverbesserungen behauptet werden, fehlen konkrete Vergleiche von Rechenzeit und Speichernutzung
Empfindlichkeit von Hyperparametern: Keine Analyse der Auswirkungen kritischer Hyperparameter (wie Kopfanzahl H, Temperatur τ₀) auf die Leistung

Einfluss

Akademischer Beitrag: Bietet neue Perspektiven für das Feld der lernbaren Abtastung, besonders bezüglich Eingabeadaptivität
Praktische Anwendung: Direkter Anwendungswert in der medizinischen Bildverarbeitung, besonders geeignet für ressourcenbegrenzte Umgebungen
Reproduzierbarkeit: Methodenbeschreibung ist relativ klar, aber Code und detaillierte Implementierungsdetails fehlen

Anwendungsszenarien

Medizinische Bildanalyse: 3D-Volumen- und Ultraschallvideobearbeitung
Videoverständnis: Effiziente Verarbeitung langer Videosequenzen
Ressourcenbegrenzte Umgebungen: Mobile Geräte und Edge-Computing-Szenarien
Echtzeitanwendungen: Klinische Diagnosesysteme, die schnelle Reaktionen erfordern

Referenzen

Das Paper zitiert Schlüsselarbeiten im Feld, einschließlich:

Gumbel-Softmax-bezogene Arbeiten 3,4
Bahnbrechende Arbeiten zur lernbaren Abtastung DPS 1 und ADPS 2
MedMNIST3D-Benchmark-Datensätze 5
Anwendungen von Aufmerksamkeitsmechanismen in der Videoverarbeitung 7,8

Gesamtbewertung: Dies ist ein technisch solides Paper mit klarer Problemdefinition. Obwohl theoretische Analyse und experimentelle Tiefe verbesserungswürdig sind, hat der vorgeschlagene Ansatz der dynamischen eingabeadaptiven Abtastung erheblichen Wert, besonders in praktischen Anwendungsszenarien wie medizinischen Bildern. Die Einfachheit und Universalität der Methode verleihen ihr guten praktischen Wert.