2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

स्थानीय समयमान द्वार स्पाइकिंग न्यूरल नेटवर्क के लिए समयमान-मजबूत सतत शिक्षा

बुनियादी जानकारी

  • पेपर ID: 2510.12843
  • शीर्षक: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • लेखक: Ansh Tiwari, Ayush Chauhan
  • वर्गीकरण: cs.LG (मशीन लर्निंग)
  • प्रकाशन समय: 13 अक्टूबर 2025 (प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.12843

सारांश

स्पाइकिंग न्यूरल नेटवर्क (SNNs) न्यूरोमॉर्फिक हार्डवेयर पर ऊर्जा दक्षता के लाभ प्रदान करते हैं, लेकिन तेजी से अनुकूलन और दीर्घकालिक स्मृति की आवश्यकता वाले कार्यों में खराब प्रदर्शन करते हैं, विशेषकर सतत शिक्षा परिदृश्यों में। यह पेपर स्थानीय समयमान द्वार (LT-Gate) प्रस्तावित करता है, जो द्वैत समयमान स्थिरांक गतिविज्ञान और अनुकूली द्वार तंत्र को जोड़ता है। प्रत्येक स्पाइकिंग न्यूरॉन समानांतर में तेजी और धीमी समयमान जानकारी को ट्रैक करता है, सीखे गए द्वार के माध्यम से स्थानीय रूप से इसके प्रभाव को नियंत्रित करता है। यह डिजाइन एकल न्यूरॉन को धीमी संदर्भ जानकारी बनाए रखते हुए तेजी से संकेतों का जवाब देने में सक्षम बनाता है, स्थिरता-प्लास्टिसिटी दुविधा को हल करता है। अनुसंधान जैविक होमियोस्टेसिस से प्रेरित विचरण ट्रैकिंग नियमितकरण भी प्रस्तुत करता है। प्रयोग दर्शाते हैं कि LT-Gate समय श्रृंखला वर्गीकरण बेंचमार्क पर लगभग 51% अंतिम सटीकता प्राप्त करता है, जो हाल के Hebbian सतत शिक्षा आधारभूत (HLOP) के 46% की तुलना में महत्वपूर्ण सुधार है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्याएं

  1. सतत शिक्षा में विनाशकारी विस्मृति: SNNs पारंपरिक न्यूरल नेटवर्क की तरह, नए कार्य सीखते समय पहले सीखे गए ज्ञान को भूल जाते हैं
  2. स्थिरता-प्लास्टिसिटी दुविधा: सीखे गए ज्ञान की स्थिरता और नए ज्ञान की सीखने की क्षमता के बीच संतुलन बनाने की आवश्यकता
  3. समयमान अनुकूलन: विद्यमान विधियां विभिन्न समयमान प्रतिक्रिया की आवश्यकता वाले कार्यों को संभालने में कठिनाई करती हैं

महत्व

  • न्यूरोमॉर्फिक कंप्यूटिंग अपनी घटना-संचालित ऊर्जा दक्षता के लिए व्यापक रूप से मान्यता प्राप्त है
  • सतत शिक्षा आजीवन सीखने वाली AI प्रणालियों को लागू करने के लिए महत्वपूर्ण तकनीक है
  • जैविक तंत्रिका तंत्र विभिन्न अनुकूली प्रक्रियाओं और विभिन्न आंतरिक समयमान के माध्यम से इस समस्या को हल करता है

विद्यमान विधियों की सीमाएं

  1. भार नियमितकरण और अनुभवजन्य पुनरावृत्ति: अतिरिक्त भंडारण और कम्प्यूटेशनल ओवरहेड की आवश्यकता
  2. HLOP विधि: पुनरावृत्तीय उप-स्थान गणना की आवश्यकता, उच्च कम्प्यूटेशनल जटिलता
  3. DSD-SNN: जटिल नेटवर्क विस्तार रणनीति की आवश्यकता
  4. जैविक यथार्थवाद की कमी: अधिकांश विधियां न्यूरोमॉर्फिक हार्डवेयर की स्थानीय कम्प्यूटेशन बाधाओं के अनुरूप नहीं हैं

मुख्य योगदान

  1. LT-Gate न्यूरॉन मॉडल प्रस्तावित करना: द्वैत समयमान गतिविज्ञान और स्थानीय द्वार तंत्र को जोड़ता है, लचीली समय क्रेडिट आवंटन को लागू करता है
  2. विचरण नियमितकरण तंत्र डिजाइन करना: जैविक होमियोस्टेसिस सिद्धांत पर आधारित, न्यूरॉन सक्रियण को स्वस्थ सीमा में रखता है, कार्य स्विचिंग के दौरान अस्थिरता को रोकता है
  3. महत्वपूर्ण प्रदर्शन सुधार प्राप्त करना: समय श्रृंखला विषम कार्यों पर सतत शिक्षा प्रदर्शन में बड़ी सुधार, बाहरी स्मृति या आर्किटेक्चर वृद्धि के बिना
  4. न्यूरोमॉर्फिक हार्डवेयर संगतता: Intel Loihi 2 चिप पर कुशल मैपिंग, चिप पर सीखने के स्थानीय फ़िल्टरिंग और द्वार संचालन का समर्थन

विधि विवरण

कार्य परिभाषा

अनुसंधान समय डोमेन वृद्धिशील शिक्षा कार्यों पर केंद्रित है: नेटवर्क को विभिन्न समयमान के इनपुट डोमेन के बीच सतत शिक्षा करने की आवश्यकता है, जैसे उच्च आवृत्ति (1000Hz) इनपुट डोमेन से निम्न आवृत्ति (50Hz) इनपुट डोमेन में स्विच करना, साथ ही पिछले डोमेन के लिए वर्गीकरण क्षमता बनाए रखना।

मॉडल आर्किटेक्चर

द्वैत समयमान न्यूरॉन मॉडल

LT-Gate न्यूरॉन में दो समानांतर लीकी इंटीग्रेट-एंड-फायर (LIF) इकाइयां होती हैं:

तेजी झिल्ली विभव गतिविज्ञान:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

धीमी झिल्ली विभव गतिविज्ञान:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

जहां 0 < ρ_f < ρ_s < 1 क्षय कारक हैं, ρ = e^(-dt/τ)

स्थानीय समयमान द्वार

दो झिल्ली विभव सीखे गए द्वार चर γ_i ∈ 0,1 के माध्यम से संयुक्त होते हैं:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1: न्यूरॉन दीर्घ समयमान इकाई के रूप में कार्य करता है, पिछले इनपुट को बनाए रखता है
  • γ_i ≈ 0: तेजी प्रतिक्रिया को प्राथमिकता देता है

विचरण ट्रैकिंग होमियोस्टेसिस नियमितकरण

प्रत्येक न्यूरॉन को लक्ष्य फायरिंग दर और विचरण बनाए रखने के लिए प्रोत्साहित करने वाला नियमितकरण पद:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

जहां (μ*, σ*) लक्ष्य मान हैं, λ_var भार गुणांक है।

तकनीकी नवाचार बिंदु

  1. वितरित द्वार तंत्र: LSTM के स्पष्ट द्वार इकाइयों के विपरीत, LT-Gate का द्वार तंत्र प्रत्येक स्पाइकिंग न्यूरॉन स्थिति के लिए स्थानीयकृत है
  2. द्वैत होमियोस्टेसिस प्रक्रिया: तेजी गतिविज्ञान इनपुट परिवर्तन का जवाब देती है, धीमी गतिविज्ञान और द्वार नकारात्मक प्रतिक्रिया प्रदान करते हैं, समग्र फायरिंग दर सांख्यिकी को बनाए रखते हैं
  3. हार्डवेयर-जागरूक डिजाइन: सभी गणनाएं (क्षय, संचय, थ्रेसहोल्ड, द्वार) प्रत्येक न्यूरॉन या सिनैप्स के लिए स्थानीय हैं, वैश्विक समन्वय की आवश्यकता नहीं
  4. अनुकूली समयमान आवंटन: γ को सीखकर, नेटवर्क न्यूरॉन के बीच प्रभावी समयमान स्पेक्ट्रम वितरित कर सकता है

प्रयोगात्मक सेटअप

डेटासेट

  • आवृत्ति-भिन्न MNIST डेटासेट: मानक MNIST छवियों को विभिन्न फ्रेम दरों के स्पाइकिंग अनुक्रमों में एन्कोड करता है
    • तेजी डोमेन: 1000Hz इनपुट प्रस्तुति दर
    • धीमी डोमेन: 50Hz इनपुट प्रस्तुति दर

मूल्यांकन मेट्रिक्स

  • अंतिम सटीकता: संयुक्त परीक्षण सेट पर वर्गीकरण सटीकता
  • विस्मृति दर: नए कार्य सीखने के बाद पुराने कार्य पर सटीकता में कमी
  • अभिसरण गति: अंतिम सटीकता के 90% तक पहुंचने के लिए आवश्यक प्रशिक्षण युग

तुलना विधियां

  • HLOP: Hebbian शिक्षा ऑर्थोगोनल प्रक्षेपण विधि
  • DSD-SNN: गतिशील संरचना विकास स्पाइकिंग न्यूरल नेटवर्क
  • मानक SNN: एकल समयमान LIF आधारभूत

कार्यान्वयन विवरण

  • नेटवर्क आर्किटेक्चर: 3-स्तरीय कनवोल्यूशनल SNN (32→64→128 इकाइयां)
  • अनुकूलक: Adam, सीखने की दर 0.001
  • समयमान स्थिरांक: τ_f = 5ms, τ_s = 50ms
  • लक्ष्य फायरिंग दर: 2%, विचरण नियमितकरण भार λ_var = 0.01

प्रयोगात्मक परिणाम

मुख्य परिणाम

विधिअंतिम सटीकता(%)कार्य A विस्मृति दर(%)कार्य B सटीकता(%)अभिसरण गति(युग)
मानक SNN38.212.541.845
HLOP45.25.847.140
DSD-SNN42.87.144.535
LT-Gate51.03.252.825

मुख्य निष्कर्ष

  1. महत्वपूर्ण प्रदर्शन सुधार: LT-Gate 51.0% अंतिम सटीकता प्राप्त करता है, HLOP से 5.8 प्रतिशत अंक अधिक
  2. न्यूनतम विस्मृति: केवल 3.2% विस्मृति दर, मूल प्रदर्शन का लगभग 95% बनाए रखता है
  3. तेजी अभिसरण: 25 युग में अभिसरण, आधारभूत विधियों की तुलना में 40-60% तेजी

अपघटन प्रयोग

  • द्वार के बिना LT-Gate: सटीकता 46.5% तक गिरती है, विस्मृति दर 8.9% तक बढ़ती है
  • विचरण नियमितकरण के बिना: सटीकता 49.8%, कभी-कभी प्रशिक्षण अस्थिरता

समयमान के पार सामान्यीकरण

केवल 1000Hz प्रशिक्षण के बाद, LT-Gate अप्रशिक्षित धीमे डोमेन (10Hz) पर 48% सटीकता प्राप्त करता है, मानक SNN केवल 20%, मजबूत क्रॉस-डोमेन सामान्यीकरण क्षमता प्रदर्शित करता है।

संबंधित कार्य

SNN सतत शिक्षा विधियां

  1. भार नियमितकरण: लचीले भार समेकन का स्पाइकिंग संस्करण
  2. अनुभवजन्य पुनरावृत्ति: पुरानी जानकारी की सुरक्षा के लिए स्मृति पुनरावृत्ति तंत्र
  3. मस्तिष्क-प्रेरित विधियां: HLOP Hebbian/anti-Hebbian अपडेट का उपयोग करता है, DSD-SNN गतिशील रूप से न्यूरॉन बढ़ाता/छंटता है

बहु-समयमान तंत्रिका कंप्यूटिंग

  1. LSNN मॉडल: विभिन्न अनुकूलन समयमान स्थिरांक वाले विषम न्यूरॉन मिश्रण
  2. जैविक न्यूरॉन मॉडल: थ्रेसहोल्ड अनुकूलन और वर्तमान धीमी परिवर्तन अनुकूली न्यूरॉन

न्यूरोमॉर्फिक हार्डवेयर

Intel Loihi चिप विभिन्न क्षय दरों के साथ कई सिनैप्टिक ट्रेस का समर्थन करता है, LT-Gate के लिए प्राकृतिक हार्डवेयर समर्थन प्रदान करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. बहु-समयमान प्रसंस्करण स्थिरता-प्लास्टिसिटी दुविधा को हल करने का प्रभावी समाधान है
  2. स्थानीय द्वार तंत्र केंद्रीकृत द्वार से बेहतर है, न्यूरोमॉर्फिक हार्डवेयर के लिए अधिक उपयुक्त है
  3. जैविक-प्रेरित होमियोस्टेसिस तंत्र नेटवर्क स्थिरता के लिए महत्वपूर्ण है
  4. हार्डवेयर-जागरूक डिजाइन कुशल चिप पर सीखना लागू करता है

सीमाएं

  1. प्रॉक्सी ग्रेडिएंट बैकप्रोपेगेशन पर निर्भरता: जैविक यथार्थवाद को सीमित करता है
  2. मूल्यांकन सीमा: केवल दो अनुक्रमिक डोमेन परीक्षण, बहु-कार्य परिदृश्य को आगे सत्यापन की आवश्यकता
  3. निश्चित समयमान स्थिरांक: प्रति-न्यूरॉन अनुकूली समयमान सीखना लागू नहीं करता
  4. जटिल कार्य स्केलेबिलिटी: हल्के पुनरावृत्ति या नियमितकरण पूरक की आवश्यकता हो सकती है

भविष्य की दिशाएं

  1. स्थानीय शिक्षा नियम: STDP-आधारित द्वार अनुकूलन तंत्र विकसित करना
  2. बहु-समयमान विस्तार: तीन या अधिक समयमान का उपयोग करना
  3. हार्डवेयर सह-डिजाइन: समर्पित समयमान द्वार सर्किट विकसित करना
  4. बड़े पैमाने पर अनुप्रयोग: गहन दृष्टि और भाषण SNN तक विस्तार

गहन मूल्यांकन

लाभ

  1. मजबूत नवाचार: SNN में पहली बार वितरित बहु-समयमान द्वार लागू करना
  2. पूर्ण प्रयोग: व्यापक अपघटन प्रयोग और हार्डवेयर संगतता सत्यापन
  3. परिणाम विश्वसनीयता: कई मेट्रिक्स पर SOTA विधियों से महत्वपूर्ण सुधार
  4. उच्च व्यावहारिक मूल्य: वाणिज्यिक न्यूरोमॉर्फिक चिप पर सीधे मैपिंग

कमियां

  1. अपर्याप्त सैद्धांतिक विश्लेषण: द्वार सीखने की गतिविज्ञान के सैद्धांतिक विश्लेषण की कमी
  2. डेटासेट सीमा: मुख्य रूप से सिंथेटिक समय श्रृंखला डेटा पर सत्यापन, वास्तविक दुनिया बेंचमार्क की कमी
  3. तुलना निष्पक्षता: कुछ आधारभूत विधियां पूरी तरह अनुकूलित नहीं हो सकती हैं

प्रभाव

  1. क्षेत्र योगदान: SNN सतत शिक्षा के लिए नया डिजाइन प्रतिमान प्रदान करता है
  2. हार्डवेयर प्रचार: न्यूरोमॉर्फिक हार्डवेयर बहु-समयमान कार्यक्षमता विकास को बढ़ावा देता है
  3. पुनरुत्पादनशीलता: पूर्ण कोड और विस्तृत कार्यान्वयन विवरण प्रदान करता है

लागू परिदृश्य

  1. किनारे AI उपकरण: सतत अनुकूलन की आवश्यकता वाली कम-शक्ति स्मार्ट प्रणालियां
  2. रोबोटिक्स: गतिशील वातावरण में वास्तविक समय सीखना और अनुकूलन
  3. सेंसर नेटवर्क: परिवर्तनशील नमूनाकरण दर के तहत संकेत प्रसंस्करण
  4. न्यूरोमॉर्फिक कंप्यूटिंग: समर्पित हार्डवेयर विशेषताओं का उपयोग करने वाले अनुप्रयोग

संदर्भ

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.