2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

Lokale Zeitskalen-Gatter für zeitskalen-robuste kontinuierliche Spiking Neural Networks

Grundinformationen

  • Paper-ID: 2510.12843
  • Titel: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • Autoren: Ansh Tiwari, Ayush Chauhan
  • Klassifizierung: cs.LG (Machine Learning)
  • Veröffentlichungsdatum: 13. Oktober 2025 (Preprint)
  • Paper-Link: https://arxiv.org/abs/2510.12843

Zusammenfassung

Spiking Neural Networks (SNNs) bieten Energieeffizienzvorteile auf neuromorphen Hardwareplattformen, zeigen jedoch Schwächen bei Aufgaben, die schnelle Anpassung und Langzeitgedächtnis erfordern, besonders in kontinuierlichen Lernszenarien. Diese Arbeit präsentiert Local Timescale Gates (LT-Gate), ein Neuronenmodell, das duale Zeitkonstanten-Dynamiken mit adaptiven Gattermechanismen kombiniert. Jedes Spike-Neuron verfolgt parallel schnelle und langsame Zeitskalen-Informationen und reguliert deren Einfluss durch gelernte lokale Gatter. Dieses Design ermöglicht es einzelnen Neuronen, langsame Kontextinformationen zu bewahren und gleichzeitig auf schnelle Signale zu reagieren, wodurch das Stabilitäts-Plastizitäts-Dilemma gelöst wird. Die Forschung führt auch eine von biologischer Homöostase inspirierte Varianz-Tracking-Regularisierung ein, um Entladungsaktivität zu stabilisieren. Experimente zeigen, dass LT-Gate auf zeitlichen Klassifizierungsbenchmarks etwa 51% endgültige Genauigkeit erreicht, eine signifikante Verbesserung gegenüber dem kürzlichen Hebbian-Kontinuierliches-Lernen-Baseline (HLOP) von 46%.

Forschungshintergrund und Motivation

Kernprobleme

  1. Katastrophales Vergessen beim kontinuierlichen Lernen: SNNs vergessen wie traditionelle neuronale Netze zuvor gelernte Kenntnisse beim Lernen neuer Aufgaben
  2. Stabilitäts-Plastizitäts-Dilemma: Notwendigkeit, zwischen Stabilität des bereits Gelernten und Plastizität beim Lernen neuer Kenntnisse zu balancieren
  3. Zeitskalen-Adaptivität: Bestehende Methoden haben Schwierigkeiten mit Aufgaben, die unterschiedliche Zeitskalen-Reaktionen erfordern

Bedeutung

  • Neuromorphe Berechnung wird wegen ihrer ereignisgesteuerten Energieeffizienzvorteile intensiv erforscht
  • Kontinuierliches Lernen ist eine Schlüsseltechnologie für die Realisierung von lebenslangem Lernen in KI-Systemen
  • Biologische neuronale Systeme lösen dieses Problem durch verschiedene Adaptationsprozesse und unterschiedliche intrinsische Zeitskalen

Limitierungen bestehender Methoden

  1. Gewichtsregularisierung und Experience Replay: Erfordern zusätzliche Speicher- und Rechenkosten
  2. HLOP-Methode: Benötigt iterative Unterraum-Berechnungen mit hoher Rechenkomplexität
  3. DSD-SNN: Erfordert komplexe Netzwerk-Erweiterungsstrategien
  4. Mangelnde biologische Plausibilität: Die meisten Methoden erfüllen nicht die lokalen Recheneinschränkungen neuromorpher Hardware

Kernbeiträge

  1. Vorschlag des LT-Gate-Neuronenmodells: Kombiniert duale Zeitskalen-Dynamiken und lokale Gattermechanismen für flexible zeitliche Kreditvergabe
  2. Entwurf eines Varianz-Regularisierungsmechanismus: Basierend auf biologischer Homöostase-Theorie, erhält Neuron-Aktivierungen in gesundem Bereich und verhindert Instabilität bei Aufgabenwechsel
  3. Erreichung signifikanter Leistungsverbesserungen: Deutliche Verbesserung der kontinuierlichen Lernleistung auf zeitlich heterogenen Aufgaben ohne externe Speicherung oder Architektur-Wachstum
  4. Neuromorphe Hardware-Kompatibilität: Effiziente Abbildung auf Intel Loihi 2 Chip, unterstützt lokale Filterung und Gattervorgänge für On-Chip-Lernen

Methodische Details

Aufgabendefinition

Die Forschung konzentriert sich auf inkrementelles Lernen im zeitlichen Bereich: Das Netzwerk muss kontinuierlich zwischen Eingabebereichen mit unterschiedlichen Zeitskalen lernen, wie der Wechsel von hochfrequenten (1000 Hz) zu niederfrequenten (50 Hz) Eingabebereichen, während gleichzeitig die Klassifizierungsfähigkeit für frühere Bereiche erhalten bleibt.

Modellarchitektur

Duales Zeitskalen-Neuronenmodell

Das LT-Gate-Neuron enthält zwei parallele Leak-Integrate-and-Fire (LIF) Einheiten:

Schnelle Membranpotential-Dynamik:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

Langsame Membranpotential-Dynamik:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

wobei 0 < ρ_f < ρ_s < 1 Zerfallsfaktoren sind, ρ = e^(-dt/τ)

Lokale Zeitskalen-Gatterung

Die beiden Membranpotentiale werden durch eine lernbare Gattervariable γ_i ∈ 0,1 kombiniert:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1: Neuron verhält sich als Langzeitskalen-Einheit, bewahrt frühere Eingaben
  • γ_i ≈ 0: Priorisiert schnelle Reaktionen

Varianz-Tracking-Homöostase-Regularisierung

Führt einen Regularisierungsterm ein, der jedes Neuron ermutigt, eine Zielentladungsrate und Varianz zu bewahren:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

wobei (μ*, σ*) Zielwerte sind und λ_var ein Gewichtungskoeffizient ist.

Technische Innovationen

  1. Verteilter Gattermechanismus: Im Gegensatz zu expliziten Gattereinheiten in LSTMs ist der Gattermechanismus von LT-Gate auf jeden Spike-Neuron-Zustand lokalisiert
  2. Dualer Homöostase-Prozess: Schnelle Dynamik reagiert auf Eingabeänderungen, langsame Dynamik und Gatterung bieten negative Rückkopplung zur Aufrechterhaltung der Gesamtentladungsraten-Statistik
  3. Hardware-bewusster Entwurf: Alle Berechnungen (Zerfall, Akkumulation, Schwellenwert, Gatterung) sind lokal zu jedem Neuron oder jeder Synapse, ohne globale Koordination
  4. Adaptive Zeitkonstanten-Zuweisung: Durch Lernen von γ kann das Netzwerk ein effektives Zeitkonstanten-Spektrum über Neuronen verteilen

Experimentelle Einrichtung

Datensätze

  • Frequenzvarianz-MNIST-Datensatz: Kodiert Standard-MNIST-Bilder als Spike-Sequenzen mit unterschiedlichen Bildraten
    • Schneller Bereich: 1000 Hz Eingabe-Präsentationsrate
    • Langsamer Bereich: 50 Hz Eingabe-Präsentationsrate

Bewertungsmetriken

  • Endgültige Genauigkeit: Klassifizierungsgenauigkeit auf kombiniertem Testset
  • Vergessensrate: Genauigkeitsabfall bei alten Aufgaben nach dem Lernen neuer Aufgaben
  • Konvergenzgeschwindigkeit: Trainingsrunden erforderlich, um 90% endgültige Genauigkeit zu erreichen

Vergleichsmethoden

  • HLOP: Hebbian Learning Orthogonal Projection Methode
  • DSD-SNN: Dynamic Structural Development Spiking Neural Network
  • Standard-SNN: Single-Timescale LIF Baseline

Implementierungsdetails

  • Netzwerk-Architektur: 3-schichtiges konvolutives SNN (32→64→128 Einheiten)
  • Optimierer: Adam, Lernrate 0,001
  • Zeitkonstanten: τ_f = 5ms, τ_s = 50ms
  • Zielentladungsrate: 2%, Varianz-Regularisierungsgewicht λ_var = 0,01

Experimentelle Ergebnisse

Hauptergebnisse

MethodeEndgültige Genauigkeit (%)Vergessensrate Aufgabe A (%)Genauigkeit Aufgabe B (%)Konvergenzgeschwindigkeit (Runden)
Standard-SNN38,212,541,845
HLOP45,25,847,140
DSD-SNN42,87,144,535
LT-Gate51,03,252,825

Wichtigste Erkenntnisse

  1. Signifikante Leistungsverbesserung: LT-Gate erreicht 51,0% endgültige Genauigkeit, 5,8 Prozentpunkte höher als HLOP
  2. Minimales Vergessen: Nur 3,2% Vergessensrate, bewahrt etwa 95% der ursprünglichen Leistung
  3. Schnelle Konvergenz: Konvergenz in 25 Runden, 40-60% schneller als Baseline-Methoden

Ablationsstudien

  • LT-Gate ohne Gatterung: Genauigkeit sinkt auf 46,5%, Vergessensrate steigt auf 8,9%
  • Ohne Varianz-Regularisierung: Genauigkeit 49,8%, gelegentliche Trainingsinstabilität

Verallgemeinerung über Zeitskalen

Nach Training nur auf 1000 Hz erreicht LT-Gate 48% Genauigkeit auf dem untrainierten langsamen Bereich (10 Hz), während Standard-SNN nur 20% erreicht, was starke domänenübergreifende Verallgemeinerungsfähigkeit demonstriert.

Verwandte Arbeiten

SNN-Kontinuierliches-Lernen-Methoden

  1. Gewichtsregularisierung: Spike-Versionen der Elastic Weight Consolidation
  2. Experience Replay: Speicher-Replay-Mechanismen zum Schutz alter Kenntnisse
  3. Gehirn-inspirierte Methoden: HLOP nutzt Hebbian/Anti-Hebbian Updates, DSD-SNN dynamisches Wachstum/Pruning von Neuronen

Multi-Timescale Neuronenberechnung

  1. LSNN-Modell: Heterogene Neuronenmischung mit unterschiedlichen Adaptationszeitkonstanten
  2. Biologische Neuronenmodelle: Schwellenwert-Adaptation und Neuronen mit langsam veränderlichen Strömen

Neuromorphe Hardware

Intel Loihi Chip unterstützt mehrere Synapsen-Spuren mit unterschiedlichen Zerfallsraten, was natürliche Hardware-Unterstützung für LT-Gate bietet.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Multi-Timescale-Verarbeitung ist eine effektive Lösung für das Stabilitäts-Plastizitäts-Dilemma
  2. Lokale Gattermechanismen sind verteilten Gattern überlegen und besser für neuromorphe Hardware geeignet
  3. Biologisch inspirierte Homöostase-Mechanismen sind für Netzwerk-Stabilität entscheidend
  4. Hardware-bewusster Entwurf ermöglicht effizientes On-Chip-Lernen

Limitierungen

  1. Abhängigkeit von Proxy-Gradienten-Backpropagation: Begrenzt biologische Plausibilität
  2. Begrenzte Evaluierungsreichweite: Nur zwei sequenzielle Bereiche getestet, Multi-Task-Szenarien benötigen weitere Validierung
  3. Feste Zeitkonstanten: Keine Implementierung adaptiver Pro-Neuron-Zeitkonstanten-Lernens
  4. Skalierbarkeit auf komplexe Aufgaben: Könnte leichte Replay- oder Regularisierungs-Ergänzungen benötigen

Zukünftige Richtungen

  1. Lokale Lernregeln: Entwicklung STDP-basierter Gatter-Adaptationsmechanismen
  2. Multi-Timescale-Erweiterung: Nutzung von drei oder mehr Zeitskalen
  3. Hardware-Co-Design: Entwicklung spezialisierter Zeitskalen-Gatter-Schaltungen
  4. Großflächige Anwendungen: Erweiterung auf tiefe Vision- und Sprach-SNNs

Tiefgreifende Bewertung

Stärken

  1. Starke Innovativität: Erste Implementierung verteilter Multi-Timescale-Gatterung in SNNs
  2. Umfangreiche Experimente: Umfassende Ablationsstudien und Hardware-Kompatibilitätsvalidierung
  3. Überzeugende Ergebnisse: Signifikante Verbesserungen gegenüber SOTA-Methoden auf mehreren Metriken
  4. Hoher praktischer Wert: Direkte Abbildung auf kommerzielle neuromorphe Chips

Mängel

  1. Unzureichende theoretische Analyse: Mangel an theoretischer Analyse der Gatter-Lern-Dynamiken
  2. Datensatz-Limitierungen: Hauptsächlich auf synthetischen zeitlichen Daten validiert, fehlende echte Benchmarks
  3. Vergleichsfairness: Einige Baseline-Methoden könnten nicht vollständig optimiert sein

Einflussfähigkeit

  1. Domänenbeitrag: Bietet neues Designparadigma für SNN-Kontinuierliches-Lernen
  2. Hardware-Förderung: Fördert Entwicklung Multi-Timescale-Funktionalität in neuromorpher Hardware
  3. Reproduzierbarkeit: Bietet vollständigen Code und detaillierte Implementierungsdetails

Anwendungsszenarien

  1. Edge-AI-Geräte: Niederenergie-intelligente Systeme, die kontinuierliche Anpassung erfordern
  2. Robotik: Echtzeit-Lernen und Anpassung in dynamischen Umgebungen
  3. Sensornetzwerke: Signalverarbeitung unter variablen Abtastraten
  4. Neuromorphe Berechnung: Anwendungen, die spezialisierte Hardware-Eigenschaften nutzen

Literaturverzeichnis

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.