2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

Porte di Scala Temporale Locale per Reti Neurali Spike Robuste alla Scala Temporale in Apprendimento Continuo

Informazioni Fondamentali

  • ID Articolo: 2510.12843
  • Titolo: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • Autori: Ansh Tiwari, Ayush Chauhan
  • Classificazione: cs.LG (Machine Learning)
  • Data di Pubblicazione: 13 ottobre 2025 (Preprint)
  • Link Articolo: https://arxiv.org/abs/2510.12843

Riassunto

Le reti neurali spike (SNNs) presentano vantaggi di efficienza energetica su hardware neuromorfo, ma mostrano prestazioni insufficienti in compiti che richiedono adattamento rapido e memoria a lungo termine, in particolare in scenari di apprendimento continuo. Questo articolo propone le Porte di Scala Temporale Locale (LT-Gate), un modello neuronale che combina dinamiche a doppia costante di tempo e meccanismi di gating adattivi. Ogni neurone spike traccia in parallelo informazioni a scala temporale veloce e lenta, modulando localmente la loro influenza attraverso meccanismi di gating appresi. Questo design consente ai singoli neuroni di mantenere informazioni di contesto lento mentre rispondono a segnali veloci, affrontando il dilemma stabilità-plasticità. Lo studio introduce inoltre una regolarizzazione di tracciamento della varianza ispirata all'omeostasi biologica per stabilizzare l'attività di scarica. Gli esperimenti dimostrano che LT-Gate raggiunge circa il 51% di accuratezza finale su benchmark di classificazione temporale, un miglioramento significativo rispetto al recente baseline di apprendimento continuo Hebbiano (HLOP) del 46%.

Contesto di Ricerca e Motivazione

Problemi Fondamentali

  1. Dimenticanza Catastrofica nell'Apprendimento Continuo: Le SNNs, come le reti neurali tradizionali, dimenticano le conoscenze precedentemente apprese quando imparano nuovi compiti
  2. Dilemma Stabilità-Plasticità: Necessità di bilanciare la stabilità nel mantenere conoscenze acquisite con la plasticità nell'apprendimento di nuove conoscenze
  3. Adattabilità della Scala Temporale: I metodi esistenti faticano a gestire compiti che richiedono risposte a scale temporali diverse

Importanza

  • Il calcolo neuromorfo è ampiamente studiato per i suoi vantaggi di efficienza energetica guidati da eventi
  • L'apprendimento continuo è una tecnologia chiave per realizzare sistemi di IA con apprendimento permanente
  • I sistemi neurali biologici risolvono questo problema attraverso molteplici processi adattivi e scale temporali intrinseche diverse

Limitazioni dei Metodi Esistenti

  1. Regolarizzazione dei Pesi e Replay dell'Esperienza: Richiedono overhead di memoria e calcolo aggiuntivi
  2. Metodo HLOP: Richiede calcoli iterativi di sottospazi con elevata complessità computazionale
  3. DSD-SNN: Necessita di strategie complesse di espansione della rete
  4. Mancanza di Plausibilità Biologica: La maggior parte dei metodi non rispetta i vincoli di calcolo locale dell'hardware neuromorfo

Contributi Fondamentali

  1. Propone il Modello Neuronale LT-Gate: Combina dinamiche a doppia scala temporale e meccanismi di gating locale, realizzando un'assegnazione flessibile del credito temporale
  2. Progetta un Meccanismo di Regolarizzazione della Varianza: Basato sulla teoria dell'omeostasi biologica, mantiene l'attivazione neuronale in un intervallo sano, prevenendo instabilità durante i cambi di compito
  3. Realizza Miglioramenti Significativi delle Prestazioni: Migliora notevolmente le prestazioni di apprendimento continuo su compiti eterogenei temporali, senza richiedere memoria esterna o crescita architettonica
  4. Compatibilità con Hardware Neuromorfo: Mappatura efficiente al chip Intel Loihi 2, supportando operazioni di filtraggio e gating locali per l'apprendimento on-chip

Dettagli del Metodo

Definizione del Compito

La ricerca si concentra su compiti di apprendimento incrementale nel dominio temporale: la rete deve eseguire apprendimento continuo tra domini di input a scale temporali diverse, come il passaggio da domini di input ad alta frequenza (1000Hz) a domini a bassa frequenza (50Hz), mantenendo al contempo la capacità di classificazione nei domini precedenti.

Architettura del Modello

Modello Neuronale a Doppia Scala Temporale

Il neurone LT-Gate contiene due unità Leaky Integrate-and-Fire (LIF) parallele:

Dinamica del Potenziale di Membrana Veloce:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

Dinamica del Potenziale di Membrana Lento:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

dove 0 < ρ_f < ρ_s < 1 sono fattori di decadimento, ρ = e^(-dt/τ)

Gating di Scala Temporale Locale

I due potenziali di membrana sono combinati attraverso variabili di gating apprese γ_i ∈ 0,1:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1: il neurone si comporta come unità a scala temporale lunga, mantenendo input passati
  • γ_i ≈ 0: privilegia risposte veloci

Regolarizzazione dell'Omeostasi con Tracciamento della Varianza

Introduce un termine di regolarizzazione che incoraggia ogni neurone a mantenere un tasso di scarica e una varianza target:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

dove (μ*, σ*) sono valori target e λ_var è il coefficiente di peso.

Punti di Innovazione Tecnica

  1. Meccanismo di Gating Distribuito: A differenza delle unità di gating esplicite dell'LSTM, il meccanismo di gating di LT-Gate è localizzato allo stato di ogni neurone spike
  2. Processo Omeostatico Duale: La dinamica veloce risponde ai cambiamenti di input, mentre la dinamica lenta e il gating forniscono retroazione negativa, mantenendo le statistiche del tasso di scarica complessivo
  3. Design Consapevole dell'Hardware: Tutti i calcoli (decadimento, accumulo, soglia, gating) sono locali a ogni neurone o sinapsi, senza necessità di coordinamento globale
  4. Allocazione Adattiva della Costante di Tempo: Attraverso l'apprendimento di γ, la rete può distribuire uno spettro efficace di costanti di tempo tra i neuroni

Configurazione Sperimentale

Dataset

  • Dataset MNIST con Variazione di Frequenza: Codifica immagini MNIST standard come sequenze spike a diverse frequenze di fotogrammi
    • Dominio veloce: frequenza di presentazione input 1000Hz
    • Dominio lento: frequenza di presentazione input 50Hz

Metriche di Valutazione

  • Accuratezza Finale: Accuratezza di classificazione sul set di test combinato
  • Tasso di Dimenticanza: Diminuzione di accuratezza su compiti vecchi dopo l'apprendimento di nuovi compiti
  • Velocità di Convergenza: Numero di epoche necessarie per raggiungere il 90% di accuratezza finale

Metodi di Confronto

  • HLOP: Metodo di Proiezione Ortogonale con Apprendimento Hebbiano
  • DSD-SNN: Rete Neurale Spike con Sviluppo di Struttura Dinamica
  • SNN Standard: Baseline LIF a scala temporale singola

Dettagli di Implementazione

  • Architettura di Rete: SNN Convoluzionale a 3 strati (32→64→128 unità)
  • Ottimizzatore: Adam, tasso di apprendimento 0.001
  • Costanti di Tempo: τ_f = 5ms, τ_s = 50ms
  • Tasso di Scarica Target: 2%, peso regolarizzazione varianza λ_var = 0.01

Risultati Sperimentali

Risultati Principali

MetodoAccuratezza Finale (%)Tasso Dimenticanza Compito A (%)Accuratezza Compito B (%)Velocità Convergenza (epoche)
SNN Standard38.212.541.845
HLOP45.25.847.140
DSD-SNN42.87.144.535
LT-Gate51.03.252.825

Scoperte Chiave

  1. Miglioramento Significativo delle Prestazioni: LT-Gate raggiunge il 51.0% di accuratezza finale, 5.8 punti percentuali superiore a HLOP
  2. Dimenticanza Minima: Solo il 3.2% di tasso di dimenticanza, mantenendo circa il 95% delle prestazioni originali
  3. Convergenza Rapida: Convergenza in 25 epoche, 40-60% più veloce rispetto ai metodi baseline

Esperimenti di Ablazione

  • LT-Gate senza Gating: Accuratezza scende al 46.5%, tasso di dimenticanza sale all'8.9%
  • Senza Regolarizzazione della Varianza: Accuratezza 49.8%, instabilità di addestramento occasionale

Generalizzazione Tra Scale Temporali

Dopo l'addestramento solo a 1000Hz, LT-Gate raggiunge il 48% di accuratezza nel dominio lento non addestrato (10Hz), mentre l'SNN standard raggiunge solo il 20%, dimostrando una forte capacità di generalizzazione tra domini.

Lavori Correlati

Metodi di Apprendimento Continuo per SNN

  1. Regolarizzazione dei Pesi: Versioni spike del Consolidamento Elastico dei Pesi
  2. Replay dell'Esperienza: Meccanismi di riproduzione della memoria per proteggere le conoscenze vecchie
  3. Metodi Ispirati al Cervello: HLOP utilizza aggiornamenti Hebbiani/anti-Hebbiani, DSD-SNN cresce/pota dinamicamente i neuroni

Calcolo Neurale Multi-Scala Temporale

  1. Modello LSNN: Miscela eterogenea di neuroni con diverse costanti di tempo di adattamento
  2. Modelli di Neuroni Biologici: Adattamento della soglia e neuroni adattivi con cambiamenti lenti della corrente

Hardware Neuromorfo

Il chip Intel Loihi supporta tracce sinaptiche multiple con diversi tassi di decadimento, fornendo supporto hardware naturale per LT-Gate.

Conclusioni e Discussione

Conclusioni Principali

  1. L'elaborazione multi-scala temporale è una soluzione efficace per affrontare il dilemma stabilità-plasticità
  2. I meccanismi di gating locale sono superiori al gating centralizzato e più adatti all'hardware neuromorfo
  3. I meccanismi omeostatici ispirati alla biologia sono critici per la stabilità della rete
  4. Il design consapevole dell'hardware realizza un apprendimento on-chip efficiente

Limitazioni

  1. Dipendenza da Backpropagation con Gradiente Surrogato: Limita la plausibilità biologica
  2. Portata di Valutazione Limitata: Test su solo due domini sequenziali, scenari multi-compito richiedono ulteriore verifica
  3. Costanti di Tempo Fisse: Non realizza l'apprendimento adattivo della costante di tempo per neurone
  4. Scalabilità a Compiti Complessi: Potrebbe richiedere replay leggero o integrazione di regolarizzazione

Direzioni Future

  1. Regole di Apprendimento Locale: Sviluppare meccanismi di adattamento del gating basati su STDP
  2. Estensione Multi-Scala Temporale: Utilizzo di tre o più scale temporali
  3. Progettazione Collaborativa Hardware: Sviluppare circuiti di gating temporale dedicati
  4. Applicazioni su Larga Scala: Estensione a SNN di visione profonda e vocali

Valutazione Approfondita

Punti di Forza

  1. Forte Innovatività: Prima implementazione di gating multi-scala temporale distribuito nelle SNN
  2. Esperimenti Completi: Esperimenti di ablazione completi e verifica della compatibilità hardware
  3. Risultati Convincenti: Miglioramenti significativi rispetto ai metodi SOTA su molteplici metriche
  4. Alto Valore Pratico: Mappatura diretta a chip neuromorfi commerciali

Insufficienze

  1. Analisi Teorica Inadeguata: Mancanza di analisi teorica della dinamica di apprendimento del gating
  2. Limitazioni del Dataset: Validazione principalmente su dati temporali sintetici, mancanza di benchmark del mondo reale
  3. Equità del Confronto: Alcuni metodi baseline potrebbero non essere completamente ottimizzati

Impatto

  1. Contributo al Settore: Fornisce un nuovo paradigma di progettazione per l'apprendimento continuo delle SNN
  2. Promozione Hardware: Promuove lo sviluppo di funzionalità multi-scala temporale nell'hardware neuromorfo
  3. Riproducibilità: Fornisce codice completo e dettagli di implementazione

Scenari Applicabili

  1. Dispositivi AI Edge: Sistemi intelligenti a basso consumo che richiedono adattamento continuo
  2. Robotica: Apprendimento e adattamento in tempo reale in ambienti dinamici
  3. Reti di Sensori: Elaborazione di segnali con frequenze di campionamento variabili
  4. Calcolo Neuromorfo: Applicazioni che sfruttano le caratteristiche dell'hardware specializzato

Riferimenti Bibliografici

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.