2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

시간척도 강건 연속 스파이킹 신경망을 위한 국소 시간척도 게이트

기본 정보

  • 논문 ID: 2510.12843
  • 제목: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • 저자: Ansh Tiwari, Ayush Chauhan
  • 분류: cs.LG (기계학습)
  • 발표 시간: 2025년 10월 13일 (사전인쇄본)
  • 논문 링크: https://arxiv.org/abs/2510.12843

초록

스파이킹 신경망(SNN)은 신경형태 하드웨어에서 에너지 효율 이점을 가지지만, 빠른 적응과 장기 기억이 필요한 작업, 특히 연속 학습 시나리오에서 성능이 저조합니다. 본 논문은 이중 시간 상수 동역학과 적응형 게이팅 메커니즘을 결합한 신경원 모델인 국소 시간척도 게이트(LT-Gate)를 제안합니다. 각 스파이킹 신경원은 빠른 시간척도와 느린 시간척도 정보를 병렬로 추적하며, 학습된 게이트를 통해 국소적으로 그 영향을 조절합니다. 이 설계는 개별 신경원이 느린 문맥 정보를 유지하면서 빠른 신호에 반응할 수 있도록 하여 안정성-가소성 딜레마를 해결합니다. 연구는 또한 생물학적 항상성에서 영감을 받은 분산 추적 정규화를 도입하여 방전 활동을 안정화합니다. 실험 결과 LT-Gate는 시계열 분류 벤치마크에서 약 51%의 최종 정확도를 달성하며, 최근의 헤비안 연속 학습 기선(HLOP)의 46%에 비해 상당한 개선을 보여줍니다.

연구 배경 및 동기

핵심 문제

  1. 연속 학습에서의 재앙적 망각: SNN은 전통 신경망처럼 새로운 작업을 학습할 때 이전에 학습한 지식을 잊습니다.
  2. 안정성-가소성 딜레마: 학습된 지식의 안정성과 새로운 지식 학습의 가소성 사이에서 균형을 유지해야 합니다.
  3. 시간척도 적응성: 기존 방법은 서로 다른 시간척도 반응이 필요한 작업을 처리하기 어렵습니다.

중요성

  • 신경형태 컴퓨팅은 이벤트 기반의 에너지 효율 이점으로 주목받고 있습니다.
  • 연속 학습은 평생 학습 AI 시스템 구현의 핵심 기술입니다.
  • 생물학적 신경계는 다양한 적응 과정과 서로 다른 내재적 시간척도를 통해 이 문제를 해결합니다.

기존 방법의 한계

  1. 가중치 정규화 및 경험 재생: 추가 저장소 및 계산 오버헤드 필요
  2. HLOP 방법: 반복적 부분공간 계산 필요, 계산 복잡도 높음
  3. DSD-SNN: 복잡한 네트워크 확장 전략 필요
  4. 생물학적 타당성 부족: 대부분의 방법이 신경형태 하드웨어의 국소 계산 제약을 만족하지 못함

핵심 기여

  1. LT-Gate 신경원 모델 제안: 이중 시간척도 동역학과 국소 게이팅 메커니즘을 결합하여 유연한 시간 신용 할당 구현
  2. 분산 정규화 메커니즘 설계: 생물학적 항상성 이론 기반으로 신경원 활성화를 건강한 범위 내에 유지하고 작업 전환 시 불안정성 방지
  3. 현저한 성능 향상 달성: 외부 메모리나 아키텍처 성장 없이 시계열 이질적 작업에서 연속 학습 성능 대폭 개선
  4. 신경형태 하드웨어 호환성: Intel Loihi 2 칩으로 효율적 매핑, 칩상 학습의 국소 필터링 및 게이팅 연산 지원

방법 상세 설명

작업 정의

연구는 시계열 영역 증분 학습 작업에 초점을 맞춥니다: 네트워크는 서로 다른 시간척도의 입력 영역 간에 연속 학습을 수행해야 하며, 예를 들어 고주파(1000Hz) 입력 영역에서 저주파(50Hz) 입력 영역으로 전환하면서 이전 영역에 대한 분류 능력을 유지해야 합니다.

모델 아키텍처

이중 시간척도 신경원 모델

LT-Gate 신경원은 두 개의 병렬 누수 적분 발화(LIF) 단위로 구성됩니다:

빠른 막전위 동역학:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

느린 막전위 동역학:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

여기서 0 < ρ_f < ρ_s < 1은 감쇠 인자이고, ρ = e^(-dt/τ)입니다.

국소 시간척도 게이팅

두 개의 막전위는 학습 가능한 게이팅 변수 γ_i ∈ 0,1을 통해 결합됩니다:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1: 신경원이 장시간척도 단위로 작동하여 과거 입력 유지
  • γ_i ≈ 0: 빠른 반응 우선

분산 추적 항상성 정규화

각 신경원이 목표 방전율과 분산을 유지하도록 장려하는 정규화 항 도입:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

여기서 (μ*, σ*)는 목표값이고, λ_var는 가중치 계수입니다.

기술 혁신점

  1. 분산 게이팅 메커니즘: LSTM의 명시적 게이팅 단위와 달리, LT-Gate의 게이팅 메커니즘은 각 스파이킹 신경원 상태에 국소화됨
  2. 이중 항상성 과정: 빠른 동역학은 입력 변화에 반응하고, 느린 동역학과 게이팅은 음의 피드백을 제공하여 전체 방전율 통계 유지
  3. 하드웨어 인식 설계: 모든 계산(감쇠, 누적, 임계값, 게이팅)이 각 신경원 또는 시냅스에 국소적이며 전역 조정 불필요
  4. 적응형 시간 상수 할당: γ 학습을 통해 네트워크는 신경원 간에 유효 시간척도 스펙트럼 할당 가능

실험 설정

데이터셋

  • 주파수 변동 MNIST 데이터셋: 표준 MNIST 이미지를 서로 다른 프레임율의 스파이킹 수열로 인코딩
    • 빠른 영역: 1000Hz 입력 제시율
    • 느린 영역: 50Hz 입력 제시율

평가 지표

  • 최종 정확도: 결합 테스트 집합에서의 분류 정확도
  • 망각율: 새로운 작업 학습 후 이전 작업에서의 정확도 감소
  • 수렴 속도: 최종 정확도 90% 달성에 필요한 훈련 에포크

비교 방법

  • HLOP: 헤비안 학습 직교 투영 방법
  • DSD-SNN: 동적 구조 발전 스파이킹 신경망
  • 표준 SNN: 단일 시간척도 LIF 기선

구현 세부사항

  • 네트워크 아키텍처: 3층 합성곱 SNN (32→64→128 단위)
  • 최적화기: Adam, 학습률 0.001
  • 시간 상수: τ_f = 5ms, τ_s = 50ms
  • 목표 방전율: 2%, 분산 정규화 가중치 λ_var = 0.01

실험 결과

주요 결과

방법최종 정확도(%)작업A 망각율(%)작업B 정확도(%)수렴 속도(에포크)
표준 SNN38.212.541.845
HLOP45.25.847.140
DSD-SNN42.87.144.535
LT-Gate51.03.252.825

주요 발견

  1. 현저한 성능 향상: LT-Gate는 51.0% 최종 정확도 달성, HLOP보다 5.8 백분점 높음
  2. 최소 망각: 3.2%의 망각율만으로 원래 성능의 약 95% 유지
  3. 빠른 수렴: 25 에포크에서 수렴, 기선 방법보다 40-60% 빠름

제거 실험

  • 게이팅 없는 LT-Gate: 정확도 46.5%로 감소, 망각율 8.9%로 상승
  • 분산 정규화 없음: 정확도 49.8%, 훈련 불안정성 간헐적 발생

시간척도 간 일반화

1000Hz에서만 훈련 후, LT-Gate는 훈련되지 않은 느린 영역(10Hz)에서 48% 정확도 달성, 표준 SNN은 20%만 달성하여 강력한 영역 간 일반화 능력 입증.

관련 연구

SNN 연속 학습 방법

  1. 가중치 정규화: 스파이킹 버전의 탄성 가중치 통합
  2. 경험 재생: 이전 지식 보호를 위한 메모리 재생 메커니즘
  3. 뇌 영감 방법: HLOP는 헤비안/반헤비안 업데이트 사용, DSD-SNN은 신경원 동적 성장/가지치기

다중 시간척도 신경 계산

  1. LSNN 모델: 서로 다른 적응 시간 상수를 가진 이질적 신경원 혼합
  2. 생물학적 신경원 모델: 임계값 적응 및 느린 전류 변화의 적응형 신경원

신경형태 하드웨어

Intel Loihi 칩은 서로 다른 감쇠율의 다중 시냅스 흔적을 지원하여 LT-Gate에 자연스러운 하드웨어 지원 제공.

결론 및 논의

주요 결론

  1. 다중 시간척도 처리는 안정성-가소성 딜레마 해결의 효과적 방안
  2. 국소 게이팅 메커니즘이 중앙집중식 게이팅보다 우수하며 신경형태 하드웨어에 더 적합
  3. 생물학 영감 항상성 메커니즘이 네트워크 안정성에 필수적
  4. 하드웨어 인식 설계가 효율적인 칩상 학습 구현

한계

  1. 대리 기울기 역전파에 의존: 생물학적 타당성 제한
  2. 평가 범위 제한: 두 개의 순차 영역만 테스트, 다중 작업 시나리오는 추가 검증 필요
  3. 고정 시간 상수: 신경원별 적응형 시간 상수 학습 미구현
  4. 복잡 작업 확장성: 경량 재생 또는 정규화 보충 필요 가능성

향후 방향

  1. 국소 학습 규칙: STDP 기반 게이팅 적응 메커니즘 개발
  2. 다중 시간척도 확장: 3개 이상의 시간척도 활용
  3. 하드웨어 협설계: 전용 시간 게이팅 회로 개발
  4. 대규모 응용: 심층 시각 및 음성 SNN으로 확장

심층 평가

장점

  1. 높은 혁신성: SNN에서 처음으로 분산 다중 시간척도 게이팅 구현
  2. 충분한 실험: 포괄적 제거 실험 및 하드웨어 호환성 검증
  3. 설득력 있는 결과: 여러 지표에서 SOTA 방법 대비 현저한 우수성
  4. 높은 실용 가치: 상용 신경형태 칩으로 직접 매핑 가능

부족점

  1. 이론 분석 부족: 게이팅 학습 동역학에 대한 이론 분석 부재
  2. 데이터셋 한계: 주로 합성 시계열 데이터에서 검증, 실제 벤치마크 부족
  3. 비교 공정성: 일부 기선 방법이 충분히 최적화되지 않았을 가능성

영향력

  1. 분야 기여: SNN 연속 학습을 위한 새로운 설계 패러다임 제공
  2. 하드웨어 추진: 신경형태 하드웨어의 다중 시간척도 기능 개발 촉진
  3. 재현성: 완전한 코드 및 상세 구현 세부사항 제공

적용 시나리오

  1. 엣지 AI 기기: 지속적 적응이 필요한 저전력 지능형 시스템
  2. 로봇공학: 동적 환경에서의 실시간 학습 및 적응
  3. 센서 네트워크: 변화하는 샘플링율에서의 신호 처리
  4. 신경형태 컴퓨팅: 전용 하드웨어 특성을 활용하는 응용

참고문헌

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.