Portes d'Échelle Temporelle Locale pour les Réseaux de Neurones Impulsionnels Robustes aux Échelles Temporelles en Apprentissage Continu

Informations Fondamentales

• ID de l'article: 2510.12843
• Titre: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
• Auteurs: Ansh Tiwari, Ayush Chauhan
• Classification: cs.LG (Apprentissage Automatique)
• Date de Publication: 13 octobre 2025 (Prépublication)
• Lien de l'article: https://arxiv.org/abs/2510.12843

Résumé

Les réseaux de neurones impulsionnels (SNNs) offrent des avantages énergétiques sur le matériel neuromorphe, mais présentent des performances insuffisantes dans les tâches nécessitant une adaptation rapide et une mémoire à long terme, particulièrement dans les scénarios d'apprentissage continu. Cet article propose les portes d'échelle temporelle locale (LT-Gate), un modèle de neurone combinant des dynamiques à double constante de temps et un mécanisme de porte adaptatif. Chaque neurone impulsionnel suit en parallèle les informations d'échelle temporelle rapide et lente, en régulant localement leur influence par le biais d'une porte apprise. Cette conception permet à chaque neurone de maintenir les informations de contexte lent tout en réagissant aux signaux rapides, résolvant ainsi le dilemme stabilité-plasticité. L'étude introduit également une régularisation de suivi de variance inspirée par l'homéostasie biologique pour stabiliser l'activité de décharge. Les expériences montrent que LT-Gate atteint environ 51% de précision finale sur les repères de classification temporelle, soit une amélioration significative par rapport à la ligne de base récente d'apprentissage continu Hebbian (HLOP) de 46%.

Contexte et Motivation de la Recherche

Problèmes Fondamentaux

1. Oubli Catastrophique en Apprentissage Continu: Les SNNs, comme les réseaux de neurones traditionnels, oublient les connaissances précédemment apprises lors de l'apprentissage de nouvelles tâches
2. Dilemme Stabilité-Plasticité: Nécessité d'équilibrer la stabilité des connaissances acquises et la plasticité pour apprendre de nouvelles connaissances
3. Adaptabilité aux Échelles Temporelles: Les méthodes existantes ont du mal à traiter les tâches nécessitant des réponses à différentes échelles temporelles

Importance

• L'informatique neuromorphe suscite un intérêt considérable en raison de ses avantages énergétiques pilotés par les événements
• L'apprentissage continu est une technologie clé pour réaliser des systèmes d'IA d'apprentissage tout au long de la vie
• Les systèmes nerveux biologiques résolvent ce problème par le biais de multiples processus adaptatifs et d'échelles temporelles intrinsèques différentes

Limitations des Méthodes Existantes

1. Régularisation des poids et rejeu d'expérience: Nécessitent des frais généraux de stockage et de calcul supplémentaires
2. Méthode HLOP: Nécessite des calculs itératifs de sous-espace, complexité computationnelle élevée
3. DSD-SNN: Nécessite des stratégies complexes d'extension de réseau
4. Manque de plausibilité biologique: La plupart des méthodes ne respectent pas les contraintes de calcul local du matériel neuromorphe

Contributions Principales

1. Proposition du modèle de neurone LT-Gate: Combinaison de dynamiques à double échelle temporelle et d'un mécanisme de porte local, permettant une attribution flexible du crédit temporel
2. Conception d'un mécanisme de régularisation de variance: Basé sur la théorie de l'homéostasie biologique, maintenant l'activation des neurones dans une plage saine et prévenant l'instabilité lors des changements de tâche
3. Amélioration Significative des Performances: Amélioration considérable des performances d'apprentissage continu sur les tâches hétérogènes temporelles, sans mémoire externe ni croissance architecturale
4. Compatibilité avec le Matériel Neuromorphe: Mappage efficace sur la puce Intel Loihi 2, supportant le filtrage local et les opérations de porte pour l'apprentissage sur puce

Explication Détaillée de la Méthode

Définition de la Tâche

La recherche se concentre sur les tâches d'apprentissage incrémental dans le domaine temporel: le réseau doit effectuer un apprentissage continu entre des domaines d'entrée à différentes échelles temporelles, comme passer d'un domaine d'entrée haute fréquence (1000Hz) à un domaine basse fréquence (50Hz), tout en maintenant la capacité de classification pour les domaines précédents.

Architecture du Modèle

Modèle de Neurone à Double Échelle Temporelle

Le neurone LT-Gate contient deux unités de fuite-intégration-décharge (LIF) en parallèle:

Dynamique du Potentiel de Membrane Rapide:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

Dynamique du Potentiel de Membrane Lente:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

où 0 < ρ_f < ρ_s < 1 sont les facteurs de décroissance, ρ = e^(-dt/τ)

Porte d'Échelle Temporelle Locale

Les deux potentiels de membrane sont combinés par le biais d'une variable de porte apprise γ_i ∈ 0,1:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)

• γ_i ≈ 1: le neurone se comporte comme une unité d'échelle temporelle longue, conservant les entrées passées
• γ_i ≈ 0: priorisation de la réaction rapide

Régularisation de l'Homéostasie avec Suivi de Variance

Introduction d'un terme de régularisation encourageant chaque neurone à maintenir un taux de décharge et une variance cibles:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

où (μ*, σ*) sont les valeurs cibles et λ_var est le coefficient de poids.

Points d'Innovation Technique

1. Mécanisme de Porte Distribué: Contrairement aux unités de porte explicites des LSTM, le mécanisme de porte de LT-Gate est localisé à chaque état de neurone impulsionnel
2. Processus de Double Homéostasie: La dynamique rapide répond aux changements d'entrée, tandis que la dynamique lente et la porte fournissent une rétroaction négative, maintenant les statistiques globales du taux de décharge
3. Conception Consciente du Matériel: Tous les calculs (décroissance, accumulation, seuil, porte) sont locaux à chaque neurone ou synapse, sans nécessiter de coordination globale
4. Allocation Adaptative de Constantes de Temps: Par l'apprentissage de γ, le réseau peut distribuer un spectre efficace de constantes de temps entre les neurones

Configuration Expérimentale

Ensembles de Données

• Ensemble de Données MNIST avec Variation de Fréquence: Codage des images MNIST standard en séquences impulsionnelles à différentes fréquences d'images
  • Domaine rapide: taux de présentation d'entrée de 1000Hz
  • Domaine lent: taux de présentation d'entrée de 50Hz

Métriques d'Évaluation

• Précision Finale: Précision de classification sur l'ensemble de test combiné
• Taux d'Oubli: Diminution de la précision sur les anciennes tâches après apprentissage de nouvelles tâches
• Vitesse de Convergence: Nombre d'itérations d'entraînement nécessaires pour atteindre 90% de précision finale

Méthodes de Comparaison

• HLOP: Méthode de projection orthogonale d'apprentissage Hebbian
• DSD-SNN: Réseau de neurones impulsionnels à développement structurel dynamique
• SNN Standard: Ligne de base LIF à échelle temporelle unique

Détails d'Implémentation

• Architecture du Réseau: SNN convolutif à 3 couches (32→64→128 unités)
• Optimiseur: Adam, taux d'apprentissage 0.001
• Constantes de Temps: τ_f = 5ms, τ_s = 50ms
• Taux de Décharge Cible: 2%, poids de régularisation de variance λ_var = 0.01

Résultats Expérimentaux

Résultats Principaux

Découvertes Clés

1. Amélioration Significative des Performances: LT-Gate atteint 51.0% de précision finale, soit 5.8 points de pourcentage de plus que HLOP
2. Oubli Minimal: Taux d'oubli de seulement 3.2%, conservant environ 95% de la performance originale
3. Convergence Rapide: Convergence en 25 itérations, 40-60% plus rapide que les méthodes de base

Expériences d'Ablation

• LT-Gate sans Porte: Précision réduite à 46.5%, taux d'oubli augmenté à 8.9%
• Sans Régularisation de Variance: Précision de 49.8%, instabilité d'entraînement occasionnelle

Généralisation Transversale aux Échelles Temporelles

Après entraînement uniquement à 1000Hz, LT-Gate atteint 48% de précision sur le domaine lent non entraîné (10Hz), tandis que le SNN standard n'atteint que 20%, démontrant une capacité de généralisation transversale robuste.

Travaux Connexes

Méthodes d'Apprentissage Continu pour SNN

1. Régularisation des Poids: Versions impulsionnelles de la consolidation élastique des poids
2. Rejeu d'Expérience: Mécanismes de rejeu de mémoire pour protéger les anciennes connaissances
3. Méthodes Inspirées du Cerveau: HLOP utilisant des mises à jour Hebbiennes/anti-Hebbiennes, DSD-SNN avec croissance/élagage dynamique de neurones

Calcul Neuronal Multi-Échelle Temporelle

1. Modèle LSNN: Mélange de neurones hétérogènes avec différentes constantes de temps d'adaptation
2. Modèles de Neurones Biologiques: Adaptation du seuil et neurones adaptatifs avec changements de courant lents

Matériel Neuromorphe

La puce Intel Loihi supporte plusieurs traces synaptiques avec différents taux de décroissance, fournissant un support matériel naturel pour LT-Gate.

Conclusions et Discussion

Conclusions Principales

1. Le Traitement Multi-Échelle Temporelle est une Solution Efficace au Dilemme Stabilité-Plasticité
2. Les Mécanismes de Porte Locale Surpassent les Portes Centralisées et Sont Mieux Adaptés au Matériel Neuromorphe
3. Les Mécanismes de Stabilité Inspirés par la Biologie Sont Essentiels à la Stabilité du Réseau
4. La Conception Consciente du Matériel Réalise un Apprentissage Efficace sur Puce

Limitations

1. Dépendance à la Rétropropagation par Gradient Substitut: Limite la plausibilité biologique
2. Portée d'Évaluation Limitée: Test sur seulement deux domaines séquentiels, les scénarios multi-tâches nécessitent une vérification supplémentaire
3. Constantes de Temps Fixes: N'implémente pas l'apprentissage adaptatif des constantes de temps par neurone
4. Extensibilité aux Tâches Complexes: Peut nécessiter un complément de rejeu léger ou de régularisation

Directions Futures

1. Règles d'Apprentissage Local: Développement de mécanismes d'adaptation de porte basés sur STDP
2. Extension Multi-Échelle Temporelle: Utilisation de trois ou plusieurs échelles temporelles
3. Conception Matériel-Logiciel Conjointe: Développement de circuits de porte temporelle spécialisés
4. Applications à Grande Échelle: Extension aux SNNs de vision profonde et de parole

Évaluation Approfondie

Avantages

1. Innovation Forte: Première implémentation de porte multi-échelle temporelle distribuée dans les SNNs
2. Expérimentation Complète: Expériences d'ablation complètes et vérification de compatibilité matérielle
3. Résultats Convaincants: Amélioration significative par rapport aux méthodes SOTA sur plusieurs métriques
4. Valeur Pratique Élevée: Mappage direct sur des puces neuromorphes commerciales

Insuffisances

1. Analyse Théorique Insuffisante: Manque d'analyse théorique de la dynamique d'apprentissage de la porte
2. Limitations des Ensembles de Données: Validation principalement sur des données temporelles synthétiques, manque de repères du monde réel
3. Équité de la Comparaison: Certaines méthodes de base peuvent ne pas être complètement optimisées

Impact

1. Contribution au Domaine: Fournit un nouveau paradigme de conception pour l'apprentissage continu des SNNs
2. Avancement du Matériel: Promeut le développement de fonctionnalités multi-échelle temporelle dans le matériel neuromorphe
3. Reproductibilité: Fournit un code complet et des détails d'implémentation détaillés

Scénarios d'Application

1. Appareils d'IA Périphérique: Systèmes intelligents basse consommation nécessitant une adaptation continue
2. Robotique: Apprentissage et adaptation en temps réel dans des environnements dynamiques
3. Réseaux de Capteurs: Traitement de signaux à taux d'échantillonnage variable
4. Informatique Neuromorphe: Applications exploitant les caractéristiques du matériel spécialisé

Références

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.