LiteStage: Latenzabhängiges Layer Skipping für mehrstufiges Reasoning

Grundinformationen

• Paper-ID: 2510.14211
• Titel: LiteStage: Latenzabhängiges Layer Skipping für mehrstufiges Reasoning
• Autoren: Beomseok Kang, Jiwon Song, Jae-Joon Kim (Seoul National University)
• Klassifizierung: cs.CL, cs.AI
• Veröffentlichungsdatum: 16. Oktober 2025
• Paper-Link: https://arxiv.org/abs/2510.14211
• Code-Link: https://github.com/beomseokg/LiteStage

Zusammenfassung

Mehrstufiges Reasoning hat sich als effektive Strategie zur Verbesserung der Reasoning-Fähigkeiten kleiner Sprachmodelle etabliert, indem komplexe Probleme in sequenzielle Teilstufen zerlegt werden. Dies geht jedoch mit erhöhter Latenz einher. Die Autoren beobachten, dass bestehende adaptive Beschleunigungstechniken (wie Layer Skipping) in dieser Einstellung Schwierigkeiten haben, Effizienz und Genauigkeit auszugleichen, und stoßen auf zwei Hauptherausforderungen: (1) unterschiedliche Skipping-Empfindlichkeit zwischen Stufen und (2) Erzeugung redundanter Output-Token. Um diese Probleme zu lösen, wird LiteStage vorgestellt – ein latenzabhängiges Layer-Skipping-Framework für mehrstufiges Reasoning. LiteStage kombiniert eine phasenweise Offline-Suche zur Zuweisung optimaler Layer-Budgets mit einem konfidenzbasierten Online-Generierungs-Early-Exit-Mechanismus zur Unterdrückung unnötiger Dekodierung. Experimente auf drei Benchmarks (OBQA, CSQA und StrategyQA) zeigen, dass LiteStage eine Beschleunigung von bis zu 1,70× mit weniger als 4,0% Genauigkeitsverlust erreicht und bisherige trainingsfreie Layer-Skipping-Methoden übertrifft.

Forschungshintergrund und Motivation

Problemdefinition

Mehrstufiges Reasoning verbessert die Reasoning-Fähigkeiten kleiner Sprachmodelle durch Zerlegung komplexer Probleme in mehrere aufeinanderfolgende Teilprobleme. Beispielsweise nutzt TinyThinker ein dreistufiges Reasoning-Schema: Recall (Abruf), Analysis (Analyse) und Summary (Zusammenfassung). Obwohl dieser Ansatz die Reasoning-Qualität effektiv verbessert, erhöht er unvermeidlich die Reasoning-Latenz.

Kernherausforderungen

Durch eingehende Analyse identifizieren die Autoren zwei kritische Probleme:

1. Unterschiedliche Skipping-Empfindlichkeit zwischen Stufen: Verschiedene Reasoning-Stufen zeigen erhebliche Unterschiede in ihrer Empfindlichkeit gegenüber Layer Skipping. Experimente zeigen, dass Stage 3 (Zusammenfassungsstufe) am empfindlichsten gegenüber Layer Skipping ist, während Stage 1 (Abrufstufe) relativ robust ist.
2. Redundante Token-Erzeugung: Obwohl Layer Skipping die Rechenkosten pro Token reduziert, führt es häufig zur Erzeugung zusätzlicher Token, was die End-to-End-Latenz tatsächlich erhöht.

Einschränkungen bestehender Methoden

Bestehende Layer-Skipping-Methoden (wie SkipDecode, UnifiedSkip, AdaSkip) verwenden typischerweise einheitliche Skipping-Strategien, die sich nicht an die Besonderheiten verschiedener Stufen im mehrstufigen Reasoning anpassen, was zu folgenden Problemen führt:

• Übermäßige Kompression in empfindlichen Stufen verursacht drastische Genauigkeitsverluste
• Vernachlässigung des Problems der erhöhten Generierungslänge durch Layer Skipping
• Fehlende latenzabhängige Optimierungsmechanismen

Kernbeiträge

1. Einführung des LiteStage-Frameworks: Das erste speziell für mehrstufiges Reasoning entwickelte latenzabhängige Layer-Skipping-Framework, das effektiv die Unterschiede in der Empfindlichkeit zwischen Stufen und das Problem der redundanten Token-Erzeugung löst.
2. Phasenweise Layer-Budget-Allokationsstrategie: Entwurf eines Greedy-Search-Algorithmus von der langsamsten zur schnellsten Stufe, der jeder Reasoning-Stufe ein optimales Layer-Skipping-Budget zuweist.
3. Konfidenzgesteuerte Generierungs-Early-Exit-Mechanismus: Einführung von Online-Konfidenzüberwachung zur dynamischen Beendigung von Generierungen mit niedriger Konfidenz und weiterer Verbesserung der Reasoning-Effizienz.
4. Signifikante Leistungsverbesserungen: Erreicht 1,16–1,70× Beschleunigung auf drei Benchmark-Datensätzen mit nur 0,4–4,0% Genauigkeitsverlust und übertrifft bestehende trainingsfreie Methoden erheblich.

Methodische Details

Aufgabendefinition

Gegeben ein Test-Datensatz D ist das Ziel, phasenweise Layer-Budgets L zu finden, die die Reasoning-Latenz unter einem gegebenen Genauigkeitsschwellenwert ε minimieren:

argmin_L (1/|D|) ∑_{d∈D} T(M_L(d))
subject to: A(M_L(d)) ≤ A(M(d)) - ε

wobei T und A jeweils Reasoning-Latenz und Genauigkeit darstellen, und M_L und M jeweils das Modell mit angewendetem Layer Skipping und das vollständige Layer-Modell darstellen.

Modellarchitektur

LiteStage besteht aus zwei komplementären Komponenten:

1. Offline-Konfiguration (Offline Configuration)

Schritt 1: Layer-Wichtigkeitsschätzung

• Verwendung von Kosinus-Ähnlichkeit auf Sub-Layer-Ebene als Wichtigkeitsproxy
• Separate Berechnung der Wichtigkeit von Multi-Head Self-Attention (MHSA) und Feed-Forward Network (FFN):

I^(j)_MHSA = (1/N) ∑_{n=0}^{N-1} cos(MHSA^(j)(x) + x, x)
I^(j)_FFN = (1/N) ∑_{n=0}^{N-1} cos(FFN^(j)(x) + x, x)

Schritt 2: Layer-Budget-Suche

• Durchführung einer Greedy-Suche beginnend mit der langsamsten Reasoning-Stufe
• Konstruktion von Genauigkeits-Latenz-Kurven und Auswahl der optimalen Latenz-Konfiguration unter Genauigkeitsbeschränkungen
• Stufenweise Optimierung zur genauen Abbildung von Wechselwirkungen zwischen Stufen

2. Online-Anpassung (Online Adjustment)

Schritt 3: Generierungs-Early-Exit

• Verwaltung eines Konfidenz-Caches der letzten n Token
• Berechnung der durchschnittlichen Konfidenz μ_Conf und vorzeitige Beendigung der Generierung bei Unterschreitung des Schwellenwerts
• Konfidenz wird als maximaler Logit-Wert jedes Token definiert

Technische Innovationen

1. Nicht-uniforme Layer-Budget-Zuweisung: Adaptive Zuweisung unterschiedlicher Layer-Skipping-Budgets basierend auf der Empfindlichkeit verschiedener Stufen, um Überkompressionierung in empfindlichen Stufen zu vermeiden.
2. Latenzabhängige Optimierung: Berücksichtigung nicht nur der Genauigkeit, sondern auch der tatsächlichen Reasoning-Latenz, automatische Ausschließung von Konfigurationen, die zwar mehr Layer überspringen, aber höhere Latenz aufweisen.
3. Dynamische Generierungskontrolle: Proaktive Kontrolle der Generierungslänge durch Konfidenzüberwachung zur Minderung des Problems der redundanten Token durch Layer Skipping.

Experimentelle Einrichtung

Datensätze

Verwendung des dreistufigen Reasoning-Prozesses von TinyThinker zur Evaluierung auf drei Frage-Antwort-Benchmarks:

• OpenBookQA (OBQA): Open-Domain-Frage-Antwort-Aufgabe
• CommonSenseQA (CSQA): Common-Sense-Reasoning-Frage-Antwort
• StrategyQA: Strategisches Reasoning-Frage-Antwort

Evaluierungsmetriken

• Genauigkeit: Korrektheit der Frage-Antwort-Antworten
• Beschleunigungsfaktor: Verbesserung der Reasoning-Geschwindigkeit im Vergleich zum vollständigen Layer-Modell
• Latenz: End-to-End-Reasoning-Zeit

Vergleichsmethoden

• SkipDecode: Progressives Deep-Layer Skipping
• UnifiedSkip: Periodisches Layer Skipping
• AdaSkip: Sub-Layer-Wichtigkeitsschätzung basierend auf Kosinus-Ähnlichkeit

Implementierungsdetails

• Hauptsächliche Verwendung des TinyLlama-1.1B-Chat-v1.0-Modells
• Training für 10 Epochen mit Batch-Größe 16 (OBQA/CSQA) oder 24 (StrategyQA)
• Lernrate 5×10^-5
• Verwendung des Self-Consistency-Protokolls mit 10 Iterationen zur Evaluierung
• Konfidenz-Schwellenwert auf 0,5 gesetzt, Cache-Größe n=5

Experimentelle Ergebnisse

Hauptergebnisse

Auf allen drei Benchmark-Datensätzen übertrifft LiteStage die Baseline-Methoden erheblich:

Wichtigste Erkenntnisse

1. Unterschiedliche Stufen-Empfindlichkeit: Experimente mit einzelnem Stage Skipping bestätigen, dass Stage 3 am empfindlichsten gegenüber Layer Skipping ist und ihre Genauigkeitskurve die Gesamtleistungsobergrenze bestimmt.
2. Latenz-Paradoxon: Mehr Layer Skipping führt nicht immer zu schnellerem Reasoning; aufgrund der erhöhten Generierungslänge können bestimmte Konfigurationen tatsächlich zu erhöhter Latenz führen.
3. Konfidenz-Muster: Die Token-Konfidenz von Layer-Skipping-Modellen zeigt einen monoton abnehmenden Trend, während vollständige Layer-Modelle später möglicherweise Konfidenz zurückgewinnen.

Ablationsstudien

Auswirkungen nicht-uniformer Layer-Budgets:

• Bei gleicher Anzahl übersprungener Layer zeigt LiteStage signifikant höhere Genauigkeit als einheitliche Skipping-Strategien
• Mit zunehmender Anzahl übersprungener Layer vergrößert sich der Leistungsunterschied weiter

Beitrag der Generierungs-Early-Exit:

• Bei leichtem Layer Skipping ist die Auswirkung der Generierungs-Early-Exit minimal (-0,5% Dekodierungsschritte)
• Bei schwerem Layer Skipping können bis zu 82,5% der Dekodierungsschritte reduziert werden
• Die Genauigkeit bleibt grundsätzlich stabil, in einzelnen Fällen sogar leicht verbessert

Fallstudien

Durch konkrete Fallbeispiele von CSQA wird demonstriert, dass die Generierungs-Early-Exit effektiv redundante Texte mit niedriger Konfidenz abschneidet, während die Kernlogik des Reasoning erhalten bleibt und die endgültige Antwort konsistent bleibt.

Verwandte Arbeiten

Mehrstufige Generierung

• TinyThinker: Einführung des dreistufigen Reasoning-Zyklus Recall-Analysis-Summary
• DeAR: Verwendung von Decompose-Analyze-Rethink-Prozess
• CasCoD: Kaskadenweise Destillation zerlegter Gedankenketten
• Self-Discover: Dynamische Organisation von Reasoning-Strukturen

Layer-Skipping-Techniken

Trainingsbasierte Methoden:

• LayerSkip, DeeBERT, EE-LLM: Early Exit mittlerer Schichten
• Mixture-of-Depths: Erfordert Modell- und Router-Training

Trainingsfreie Methoden:

• SkipDecode: Progressives Deep-Layer Skipping
• Unified Skipping: Periodisches Skipping
• ShortGPT: Basierend auf Kosinus-Ähnlichkeit
• AdaSkip: Sub-Layer-Wichtigkeitsschätzung

Generierungs-Early-Exit

Bestehende Methoden konzentrieren sich hauptsächlich auf längere Reasoning-Modelle und vernachlässigen das Problem der verlängerten Generierung durch Modellkompression.

Schlussfolgerung und Diskussion

Hauptschlussfolgerungen

1. Nicht-uniforme Empfindlichkeit im mehrstufigen Reasoning: Verschiedene Reasoning-Stufen zeigen erhebliche Unterschiede in ihrer Empfindlichkeit gegenüber Layer-Kompression, was differenzierte Optimierungsstrategien erfordert.
2. Notwendigkeit latenzabhängiger Optimierung: Reines Layer Skipping kann aufgrund erhöhter Generierungslänge zu verschlechterter Latenz führen; eine umfassende Berücksichtigung von Genauigkeit und Latenz ist erforderlich.
3. Effektivität der Generierungskontrolle: Konfidenzbasierte Generierungs-Early-Exit kann das Problem der redundanten Generierung durch Layer Skipping effektiv mindern.

Einschränkungen

1. Offline-Suchaufwand: Im Vergleich zu anderen trainingsfreien Methoden erfordert die Offline-Konfiguration von LiteStage mehr Rechenressourcen (etwa 1–7,6 Stunden).
2. Modellarchitektur-Abhängigkeit: Hauptsächlich auf Llama-Familie-Modellen validiert, mit begrenzter Effektivität auf anderen Architekturen wie Qwen.
3. Begrenzte Anwendbarkeit: Speziell für mehrstufige Reasoning-Szenarien konzipiert; die Anwendbarkeit auf einstufiges Reasoning ist nicht ausreichend validiert.

Zukünftige Richtungen

1. Erweiterung auf mehr Modellarchitekturen: Untersuchung von Skipping-Empfindlichkeitsmerkmalen verschiedener Architekturen
2. Dynamische Budget-Zuweisung: Entwicklung von Mechanismen zur Laufzeit-Selbstanpassung von Layer-Budgets
3. Multimodale Reasoning-Optimierung: Erweiterung des Frameworks auf multimodale Reasoning-Aufgaben wie Vision-Language

Tiefgehende Bewertung

Stärken

1. Genaue Problemidentifikation: Genaue Identifikation von Engpässen im mehrstufigen Reasoning, einschließlich unterschiedlicher Stufen-Empfindlichkeit und redundanter Generierung.
2. Vernünftige Methodengestaltung: Das Offline-Online-Kombinationsframework-Design ist elegant und gewährleistet sowohl Optimierungseffektivität als auch Kontrolle des Laufzeit-Overheads.
3. Umfassende experimentelle Gestaltung: Detaillierte Motivationsexperimente, Ablationsstudien und Fallanalysen validieren die Methodeneffektivität vollständig.
4. Hoher praktischer Wert: Als trainingsfreie Methode hat sie gute Aussichten für praktische Anwendungen.

Mängel

1. Unzureichende theoretische Analyse: Mangel an theoretischer Erklärung für Unterschiede in der Stufen-Empfindlichkeit, hauptsächlich auf empirischen Beobachtungen basierend.
2. Heuristische Parametereinstellung: Kritische Parameter wie Konfidenz-Schwellenwert und Cache-Größe basieren hauptsächlich auf heuristischen Einstellungen ohne systematische Analyse.
3. Begrenzte Verallgemeinerbarkeit: Erhebliche Leistungsunterschiede über verschiedene Modellarchitekturen hinweg; die Verallgemeinerungsfähigkeit muss verbessert werden.

Auswirkungen

1. Akademischer Beitrag: Erste systematische Untersuchung des Layer-Skipping-Optimierungsproblems im mehrstufigen Reasoning, bietet neue Perspektiven für verwandte Forschung.
2. Praktischer Wert: Bietet praktische Lösungen für effizientes Reasoning kleiner Sprachmodelle und trägt zur Förderung von Edge-Deployment bei.
3. Reproduzierbarkeit: Bereitstellung einer vollständigen Code-Implementierung erleichtert nachfolgende Forschung und Anwendung.

Anwendungsszenarien

LiteStage ist besonders geeignet für:

• Deployment auf ressourcenbeschränkten Edge-Geräten
• Komplexe Aufgaben, die mehrstufiges Reasoning erfordern
• Latenz-sensitive Echtzeitanwendungen
• Reasoning-Beschleunigung kleiner Sprachmodelle

Referenzen

Das Paper zitiert mehrere wichtige verwandte Arbeiten, darunter:

• TinyThinker (Piao and Park, 2024): Repräsentative Arbeit zu mehrstufigem Reasoning
• AdaSkip (He et al., 2025): Neueste Methode zum Sub-Layer-Level Layer Skipping
• Mixture-of-Depths (Raposo et al., 2024): Bahnbrechende Arbeit zur dynamischen Rechenverteilung

Gesamtbewertung: Dieses Paper präsentiert eine innovative Lösung für das Layer-Skipping-Optimierungsproblem im mehrstufigen Reasoning mit signifikanten Beiträgen sowohl in theoretischen Erkenntnissen als auch in praktischen Effekten. Obwohl es einige Einschränkungen gibt, eröffnet es neue Forschungsrichtungen für effizientes Reasoning kleiner Sprachmodelle und hat wichtige akademische und praktische Bedeutung.