2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

基本信息

  • 论文ID: 2510.12843
  • 标题: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • 作者: Ansh Tiwari, Ayush Chauhan
  • 分类: cs.LG (Machine Learning)
  • 发表时间: 2025年10月13日 (Preprint)
  • 论文链接: https://arxiv.org/abs/2510.12843

摘要

脉冲神经网络(SNNs)在神经形态硬件上具有能效优势，但在需要快速适应和长期记忆的任务中表现不佳，特别是在持续学习场景下。本文提出了局部时间尺度门控(LT-Gate)，这是一种结合双时间常数动态和自适应门控机制的神经元模型。每个脉冲神经元并行跟踪快速和慢速时间尺度信息，通过学习到的门控局部调节其影响。该设计使单个神经元能够保持慢速上下文信息的同时响应快速信号，解决了稳定性-可塑性困境。研究还引入了受生物稳态启发的方差跟踪正则化来稳定放电活动。实验表明，LT-Gate在时序分类基准上达到约51%的最终准确率，相比于最近的Hebbian持续学习基线(HLOP)的46%有显著提升。

研究背景与动机

核心问题

  1. 持续学习中的灾难性遗忘: SNNs像传统神经网络一样，在学习新任务时会遗忘之前学到的知识
  2. 稳定性-可塑性困境: 需要在保持已学知识的稳定性和学习新知识的可塑性之间取得平衡
  3. 时间尺度适应性: 现有方法难以处理需要不同时间尺度响应的任务

重要性

  • 神经形态计算因其事件驱动的能效优势而备受关注
  • 持续学习是实现终身学习AI系统的关键技术
  • 生物神经系统通过多种自适应过程和不同内在时间尺度来解决这一问题

现有方法局限性

  1. 权重正则化和经验回放: 需要额外的存储和计算开销
  2. HLOP方法: 需要迭代子空间计算，计算复杂度高
  3. DSD-SNN: 需要复杂的网络扩展策略
  4. 缺乏生物合理性: 大多数方法不符合神经形态硬件的本地计算约束

核心贡献

  1. 提出LT-Gate神经元模型: 结合双时间尺度动态和局部门控机制，实现灵活的时间信用分配
  2. 设计方差正则化机制: 基于生物稳态理论，保持神经元激活在健康范围内，防止任务切换时的不稳定性
  3. 实现显著性能提升: 在时序异构任务上大幅改善持续学习性能，无需外部记忆或架构增长
  4. 神经形态硬件兼容: 高效映射到Intel Loihi 2芯片，支持片上学习的本地滤波和门控操作

方法详解

任务定义

研究聚焦于时序域增量学习任务：网络需要在不同时间尺度的输入域之间进行持续学习，如从高频(1000Hz)输入域切换到低频(50Hz)输入域，同时保持对之前域的分类能力。

模型架构

双时间尺度神经元模型

LT-Gate神经元包含两个并行的漏积分放电(LIF)单元：

快速膜电位动态:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

慢速膜电位动态:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

其中 0 < ρ_f < ρ_s < 1 为衰减因子，ρ = e^(-dt/τ)

局部时间尺度门控

两个膜电位通过可学习的门控变量γ_i ∈ 0,1组合：

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1：神经元表现为长时间尺度单元，保持过去输入
  • γ_i ≈ 0：优先处理快速反应

方差跟踪稳态正则化

引入正则化项鼓励每个神经元维持目标放电率和方差：

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

其中(μ*, σ*)为目标值，λ_var为权重系数。

技术创新点

  1. 分布式门控机制: 与LSTM的显式门控单元不同，LT-Gate的门控机制局部化到每个脉冲神经元状态
  2. 双重稳态过程: 快速动态响应输入变化，慢速动态和门控提供负反馈，保持整体放电率统计
  3. 硬件感知设计: 所有计算(衰减、累积、阈值、门控)都局部于每个神经元或突触，无需全局协调
  4. 自适应时间常数分配: 通过学习γ，网络可以在神经元间分配有效时间常数谱

实验设置

数据集

  • 频率变异MNIST数据集: 将标准MNIST图像编码为不同帧率的脉冲序列
    • 快速域: 1000Hz输入呈现率
    • 慢速域: 50Hz输入呈现率

评价指标

  • 最终准确率: 在组合测试集上的分类准确率
  • 遗忘率: 学习新任务后在旧任务上的准确率下降
  • 收敛速度: 达到最终准确率90%所需的训练轮次

对比方法

  • HLOP: Hebbian学习正交投影方法
  • DSD-SNN: 动态结构发展脉冲神经网络
  • 标准SNN: 单时间尺度LIF基线

实现细节

  • 网络架构: 3层卷积SNN (32→64→128单元)
  • 优化器: Adam，学习率0.001
  • 时间常数: τ_f = 5ms, τ_s = 50ms
  • 目标放电率: 2%，方差正则化权重λ_var = 0.01

实验结果

主要结果

方法最终准确率(%)任务A遗忘率(%)任务B准确率(%)收敛速度(轮次)
标准SNN38.212.541.845
HLOP45.25.847.140
DSD-SNN42.87.144.535
LT-Gate51.03.252.825

关键发现

  1. 显著性能提升: LT-Gate达到51.0%最终准确率，比HLOP高5.8个百分点
  2. 最小遗忘: 仅3.2%的遗忘率，保持约95%的原始性能
  3. 快速收敛: 25轮达到收敛，比基线方法快40-60%

消融实验

  • 无门控LT-Gate: 准确率下降到46.5%，遗忘率上升到8.9%
  • 无方差正则化: 准确率49.8%，偶现训练不稳定

跨时间尺度泛化

在仅1000Hz训练后，LT-Gate在未训练的慢域(10Hz)上达到48%准确率，标准SNN仅20%，展现出强大的跨域泛化能力。

相关工作

SNN持续学习方法

  1. 权重正则化: 脉冲版本的弹性权重巩固
  2. 经验回放: 保护旧知识的记忆重放机制
  3. 脑启发方法: HLOP使用Hebbian/反Hebbian更新，DSD-SNN动态增长/修剪神经元

多时间尺度神经计算

  1. LSNN模型: 具有不同适应时间常数的异构神经元混合
  2. 生物神经元模型: 阈值适应和电流缓慢变化的自适应神经元

神经形态硬件

Intel Loihi芯片支持多个不同衰减率的突触迹，为LT-Gate提供天然硬件支持。

结论与讨论

主要结论

  1. 多时间尺度处理是解决稳定性-可塑性困境的有效方案
  2. 局部门控机制优于集中式门控，更适合神经形态硬件
  3. 生物启发的稳态机制对网络稳定性至关重要
  4. 硬件感知设计实现了高效的片上学习

局限性

  1. 依赖代理梯度反向传播: 限制了生物合理性
  2. 评估范围有限: 仅测试两个序列域，多任务场景需要进一步验证
  3. 固定时间常数: 未实现每神经元自适应时间常数学习
  4. 复杂任务扩展性: 可能需要轻量级回放或正则化补充

未来方向

  1. 本地学习规则: 开发基于STDP的门控适应机制
  2. 多时间尺度扩展: 利用三个或更多时间尺度
  3. 硬件协同设计: 开发专用时间门控电路
  4. 大规模应用: 扩展到深度视觉和语音SNN

深度评价

优点

  1. 创新性强: 首次在SNN中实现分布式多时间尺度门控
  2. 实验充分: 全面的消融实验和硬件兼容性验证
  3. 结果说服力: 在多个指标上显著优于SOTA方法
  4. 实用价值高: 直接映射到商用神经形态芯片

不足

  1. 理论分析不足: 缺乏对门控学习动态的理论分析
  2. 数据集局限: 主要在合成时序数据上验证，缺乏真实世界基准
  3. 比较公平性: 某些基线方法可能未充分优化

影响力

  1. 领域贡献: 为SNN持续学习提供新的设计范式
  2. 硬件推动: 促进神经形态硬件的多时间尺度功能开发
  3. 可复现性: 提供完整代码和详细实现细节

适用场景

  1. 边缘AI设备: 需要持续适应的低功耗智能系统
  2. 机器人学: 动态环境中的实时学习和适应
  3. 传感器网络: 变化采样率下的信号处理
  4. 神经形态计算: 利用专用硬件特性的应用

参考文献

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.