2025-11-14T20:28:11.411800

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

Tiwari, Chauhan
Spiking neural networks (SNNs) promise energy-efficient artificial intelligence on neuromorphic hardware but struggle with tasks requiring both fast adaptation and long-term memory, especially in continual learning. We propose Local Timescale Gating (LT-Gate), a neuron model that combines dual time-constant dynamics with an adaptive gating mechanism. Each spiking neuron tracks information on a fast and a slow timescale in parallel, and a learned gate locally adjusts their influence. This design enables individual neurons to preserve slow contextual information while responding to fast signals, addressing the stability-plasticity dilemma. We further introduce a variance-tracking regularization that stabilizes firing activity, inspired by biological homeostasis. Empirically, LT-Gate yields significantly improved accuracy and retention in sequential learning tasks: on a challenging temporal classification benchmark it achieves about 51 percent final accuracy, compared to about 46 percent for a recent Hebbian continual-learning baseline and lower for prior SNN methods. Unlike approaches that require external replay or expensive orthogonalizations, LT-Gate operates with local updates and is fully compatible with neuromorphic hardware. In particular, it leverages features of Intel's Loihi chip (multiple synaptic traces with different decay rates) for on-chip learning. Our results demonstrate that multi-timescale gating can substantially enhance continual learning in SNNs, narrowing the gap between spiking and conventional deep networks on lifelong-learning tasks.
academic

بوابات المقياس الزمني المحلية للشبكات العصبية الإندفاعية المستمرة المقاومة للمقياس الزمني

المعلومات الأساسية

  • معرّف الورقة: 2510.12843
  • العنوان: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
  • المؤلفون: Ansh Tiwari, Ayush Chauhan
  • التصنيف: cs.LG (التعلم الآلي)
  • تاريخ النشر: 13 أكتوبر 2025 (نسخة أولية)
  • رابط الورقة: https://arxiv.org/abs/2510.12843

الملخص

تتمتع الشبكات العصبية الإندفاعية (SNNs) بمزايا كفاءة الطاقة على الأجهزة العصبية الشكلية، لكنها تؤدي أداءً ضعيفاً في المهام التي تتطلب التكيف السريع والذاكرة طويلة الأجل، خاصة في سيناريوهات التعلم المستمر. تقترح هذه الورقة بوابات المقياس الزمني المحلية (LT-Gate)، وهي نموذج عصبون يجمع بين ديناميكيات ثنائية المقياس الزمني وآليات بوابة تكيفية. يتتبع كل عصبون إندفاعي بشكل متوازٍ معلومات المقياس الزمني السريع والبطيء، مع تنظيم تأثيرها محلياً من خلال بوابة مكتسبة. يمكّن هذا التصميم العصبونات الفردية من الحفاظ على معلومات السياق البطيئة مع الاستجابة للإشارات السريعة، مما يحل معضلة الاستقرار-اللدونة. يقدم البحث أيضاً تنظيماً لتتبع التباين مستوحى من الاستتباب البيولوجي لتثبيت نشاط الإطلاق. تُظهر التجارب أن LT-Gate يحقق دقة نهائية تبلغ حوالي 51% على معايير التصنيف الزمني، وهو تحسن كبير مقارنة بخط الأساس الحديث للتعلم المستمر الهيبياني (HLOP) البالغ 46%.

خلفية البحث والدافع

المشاكل الأساسية

  1. النسيان الكارثي في التعلم المستمر: تنسى الشبكات العصبية الإندفاعية، مثل الشبكات العصبية التقليدية، المعرفة المكتسبة سابقاً عند تعلم مهام جديدة
  2. معضلة الاستقرار-اللدونة: الحاجة إلى تحقيق توازن بين الحفاظ على استقرار المعرفة المكتسبة وقابلية التعلم للمعرفة الجديدة
  3. التكيف مع المقاييس الزمنية: يصعب على الطرق الحالية التعامل مع المهام التي تتطلب استجابات بمقاييس زمنية مختلفة

الأهمية

  • يحظى الحساب العصبي الشكلي باهتمام كبير لمزاياه في كفاءة الطاقة المدفوعة بالأحداث
  • يعتبر التعلم المستمر تقنية أساسية لتحقيق أنظمة ذكاء اصطناعي للتعلم مدى الحياة
  • يحل النظام العصبي البيولوجي هذه المشكلة من خلال عمليات تكيفية متعددة ومقاييس زمنية جوهرية مختلفة

قيود الطرق الموجودة

  1. تنظيم الأوزان وإعادة التشغيل التجريبي: تتطلب تكاليف تخزين وحساب إضافية
  2. طريقة HLOP: تتطلب حسابات فضاء جزئية تكرارية، مع تعقيد حسابي عالي
  3. DSD-SNN: تتطلب استراتيجيات توسع شبكة معقدة
  4. افتقار المعقولية البيولوجية: لا تتوافق معظم الطرق مع قيود الحساب المحلي للأجهزة العصبية الشكلية

المساهمات الأساسية

  1. اقتراح نموذج عصبون LT-Gate: يجمع بين ديناميكيات ثنائية المقياس الزمني وآليات بوابة محلية، مما يحقق تخصيص ائتمان زمني مرن
  2. تصميم آلية تنظيم التباين: بناءً على نظرية الاستتباب البيولوجي، يحافظ على تنشيط العصبون ضمن نطاق صحي، مما يمنع عدم الاستقرار عند تبديل المهام
  3. تحقيق تحسن أداء كبير: تحسين كبير في أداء التعلم المستمر على المهام الزمنية غير المتجانسة، دون الحاجة إلى ذاكرة خارجية أو نمو معماري
  4. التوافق مع الأجهزة العصبية الشكلية: رسم خرائط فعال لرقاقة Intel Loihi 2، يدعم العمليات المحلية للتصفية والبوابة للتعلم على الرقاقة

شرح الطريقة

تعريف المهمة

يركز البحث على مهام التعلم الإضافي في المجال الزمني: يحتاج الشبكة إلى التعلم المستمر بين مجالات إدخال بمقاييس زمنية مختلفة، مثل التبديل من مجال إدخال عالي التردد (1000 هرتز) إلى مجال منخفض التردد (50 هرتز)، مع الحفاظ على القدرة على التصنيف للمجالات السابقة.

معمارية النموذج

نموذج العصبون ثنائي المقياس الزمني

يحتوي عصبون LT-Gate على وحدتي تسرب متكامل وإطلاق (LIF) متوازيتين:

ديناميكيات الجهد الغشائي السريع:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

ديناميكيات الجهد الغشائي البطيء:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

حيث 0 < ρ_f < ρ_s < 1 عوامل الاضمحلال، ρ = e^(-dt/τ)

بوابة المقياس الزمني المحلية

يتم دمج جهدي الغشاء من خلال متغير بوابة قابل للتعلم γ_i ∈ 0,1:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)
  • γ_i ≈ 1: يتصرف العصبون كوحدة مقياس زمني طويل، مع الحفاظ على المدخلات السابقة
  • γ_i ≈ 0: يعطي الأولوية للاستجابة السريعة

تنظيم الاستتباب الثابت لتتبع التباين

يتم إدخال حد تنظيمي يشجع كل عصبون على الحفاظ على معدل إطلاق وتباين مستهدفين:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

حيث (μ*, σ*) القيم المستهدفة، λ_var معامل الوزن.

نقاط الابتكار التقني

  1. آلية بوابة موزعة: بخلاف وحدات البوابة الصريحة في LSTM، يتم توطين آلية البوابة في LT-Gate لكل حالة عصبون إندفاعي
  2. عملية استتباب مزدوجة: الديناميكيات السريعة تستجيب لتغييرات الإدخال، والديناميكيات البطيئة والبوابة توفران ردود فعل سلبية، مما يحافظ على إحصائيات معدل الإطلاق الكلي
  3. تصميم يراعي الأجهزة: جميع العمليات الحسابية (الاضمحلال، التراكم، العتبة، البوابة) محلية لكل عصبون أو مشبك، دون الحاجة إلى تنسيق عام
  4. تخصيص ثابت زمني تكيفي: من خلال تعلم γ، يمكن للشبكة توزيع طيف ثابت زمني فعال عبر العصبونات

إعداد التجارب

مجموعات البيانات

  • مجموعة بيانات MNIST ذات التباين في التردد: ترميز صور MNIST القياسية كسلاسل إندفاعية بمعدلات إطار مختلفة
    • المجال السريع: معدل عرض إدخال 1000 هرتز
    • المجال البطيء: معدل عرض إدخال 50 هرتز

مؤشرات التقييم

  • الدقة النهائية: دقة التصنيف على مجموعة الاختبار المدمجة
  • معدل النسيان: انخفاض الدقة على المهام القديمة بعد تعلم مهام جديدة
  • سرعة التقارب: عدد الحقب المطلوبة للوصول إلى دقة نهائية بنسبة 90%

طرق المقارنة

  • HLOP: طريقة الإسقاط المتعامد للتعلم الهيبياني
  • DSD-SNN: شبكة عصبية إندفاعية ذات تطور هيكلي ديناميكي
  • SNN قياسي: خط أساس LIF أحادي المقياس الزمني

تفاصيل التنفيذ

  • معمارية الشبكة: SNN تلافيفية بـ 3 طبقات (32→64→128 وحدة)
  • المُحسِّن: Adam، معدل التعلم 0.001
  • الثوابت الزمنية: τ_f = 5ms, τ_s = 50ms
  • معدل الإطلاق المستهدف: 2%، وزن تنظيم التباين λ_var = 0.01

نتائج التجارب

النتائج الرئيسية

الطريقةالدقة النهائية (%)معدل نسيان المهمة A (%)دقة المهمة B (%)سرعة التقارب (حقبة)
SNN قياسي38.212.541.845
HLOP45.25.847.140
DSD-SNN42.87.144.535
LT-Gate51.03.252.825

النتائج الرئيسية

  1. تحسن أداء كبير: يحقق LT-Gate دقة نهائية بنسبة 51.0%، أعلى بـ 5.8 نقاط مئوية من HLOP
  2. حد أدنى من النسيان: معدل نسيان بنسبة 3.2% فقط، مع الحفاظ على حوالي 95% من الأداء الأصلي
  3. تقارب سريع: يتقارب في 25 حقبة، أسرع بـ 40-60% من طرق الأساس

تجارب الاستئصال

  • LT-Gate بدون بوابة: انخفاض الدقة إلى 46.5%، ارتفاع معدل النسيان إلى 8.9%
  • بدون تنظيم التباين: دقة 49.8%، مع حالات عدم استقرار تدريب متقطعة

التعميم عبر المقاييس الزمنية

بعد التدريب على 1000 هرتز فقط، يحقق LT-Gate دقة بنسبة 48% على المجال البطيء غير المدرب (10 هرتز)، بينما يحقق SNN القياسي 20% فقط، مما يُظهر قدرة تعميم قوية عبر المجالات.

الأعمال ذات الصلة

طرق التعلم المستمر للشبكات العصبية الإندفاعية

  1. تنظيم الأوزان: نسخ إندفاعية من تعزيز الأوزان المرن
  2. إعادة التشغيل التجريبي: آليات إعادة تشغيل الذاكرة لحماية المعرفة القديمة
  3. الطرق المستوحاة من الدماغ: يستخدم HLOP تحديثات Hebbian/anti-Hebbian، ويستخدم DSD-SNN نمو/تقليم العصبونات الديناميكي

الحساب العصبي متعدد المقاييس الزمنية

  1. نموذج LSNN: خليط من العصبونات غير المتجانسة بثوابت زمنية تكيفية مختلفة
  2. نماذج العصبونات البيولوجية: عصبونات ذات عتبة تكيفية وتغييرات تيار بطيئة

الأجهزة العصبية الشكلية

تدعم رقاقة Intel Loihi آثار متشابك متعددة بمعدلات اضمحلال مختلفة، مما يوفر دعماً أجهزة طبيعياً لـ LT-Gate.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. معالجة المقاييس الزمنية المتعددة حل فعال لمعضلة الاستقرار-اللدونة
  2. آليات البوابة المحلية أفضل من البوابة المركزية، وأكثر ملاءمة للأجهزة العصبية الشكلية
  3. آليات الاستتباب المستوحاة من البيولوجيا حاسمة لاستقرار الشبكة
  4. التصميم الذي يراعي الأجهزة يحقق تعلماً فعالاً على الرقاقة

القيود

  1. الاعتماد على انتشار التدرج البديل: يحد من المعقولية البيولوجية
  2. نطاق التقييم محدود: اختبار مجالين متسلسلين فقط، تتطلب السيناريوهات متعددة المهام التحقق الإضافي
  3. ثوابت زمنية ثابتة: لم يتم تنفيذ تعلم ثابت زمني تكيفي لكل عصبون
  4. قابلية التوسع للمهام المعقدة: قد تتطلب إعادة تشغيل خفيفة أو تنظيماً إضافياً

الاتجاهات المستقبلية

  1. قواعد التعلم المحلية: تطوير آليات تكيف بوابة قائمة على STDP
  2. توسع المقاييس الزمنية المتعددة: الاستفادة من ثلاثة أو أكثر من المقاييس الزمنية
  3. التصميم المشترك للأجهزة: تطوير دوائر بوابة زمنية متخصصة
  4. التطبيقات واسعة النطاق: التوسع إلى شبكات SNN للرؤية العميقة والكلام

التقييم المتعمق

المميزات

  1. ابتكار قوي: أول تنفيذ للبوابة الموزعة متعددة المقاييس الزمنية في الشبكات العصبية الإندفاعية
  2. تجارب شاملة: تجارب استئصال شاملة والتحقق من التوافق مع الأجهزة
  3. نتائج مقنعة: تحسن كبير على طرق الحالة الفنية الحالية في مؤشرات متعددة
  4. قيمة عملية عالية: رسم خرائط مباشر لرقاقات عصبية شكلية تجارية

أوجه القصور

  1. تحليل نظري غير كافٍ: افتقار إلى التحليل النظري لديناميكيات تعلم البوابة
  2. قيود مجموعة البيانات: التحقق الأساسي على بيانات زمنية اصطناعية، افتقار إلى معايير العالم الحقيقي
  3. عدالة المقارنة: قد لا تكون بعض طرق الأساس محسّنة بشكل كامل

التأثير

  1. مساهمة المجال: توفير نموذج تصميم جديد للتعلم المستمر في الشبكات العصبية الإندفاعية
  2. دفع الأجهزة: تعزيز تطوير وظائف المقاييس الزمنية المتعددة في الأجهزة العصبية الشكلية
  3. قابلية التكرار: توفير كود كامل وتفاصيل تنفيذ مفصلة

السيناريوهات المعمول بها

  1. أجهزة الذكاء الاصطناعي الطرفية: أنظمة ذكية منخفضة الطاقة تتطلب تكيفاً مستمراً
  2. الروبوتات: التعلم والتكيف في الوقت الفعلي في البيئات الديناميكية
  3. شبكات المستشعرات: معالجة الإشارات بمعدلات عينات متغيرة
  4. الحساب العصبي الشكلي: تطبيقات تستفيد من خصائص الأجهزة المتخصصة

المراجع

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.