Локальные вентили временной шкалы для устойчивых к временной шкале непрерывно обучающихся импульсных нейронных сетей

Основная информация

• ID статьи: 2510.12843
• Название: Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks
• Авторы: Ansh Tiwari, Ayush Chauhan
• Категория: cs.LG (Машинное обучение)
• Дата публикации: 13 октября 2025 г. (Препринт)
• Ссылка на статью: https://arxiv.org/abs/2510.12843

Аннотация

Импульсные нейронные сети (SNNs) обладают преимуществами энергоэффективности на нейроморфном оборудовании, однако показывают низкую производительность в задачах, требующих быстрой адаптации и долгосрочной памяти, особенно в сценариях непрерывного обучения. В данной работе предлагается механизм локальных вентилей временной шкалы (LT-Gate) — модель нейрона, объединяющая динамику с двумя временными константами и адаптивный механизм вентилирования. Каждый импульсный нейрон параллельно отслеживает информацию быстрой и медленной временной шкалы, локально регулируя их влияние посредством обучаемых вентилей. Такая конструкция позволяет отдельному нейрону сохранять информацию медленного контекста при одновременном реагировании на быстрые сигналы, решая дилемму стабильности-пластичности. Исследование также вводит вариационную регуляризацию отслеживания, вдохновленную биологическим гомеостазом, для стабилизации активности разрядов. Экспериментальные результаты показывают, что LT-Gate достигает примерно 51% итоговой точности на эталонах временной классификации, что значительно превышает 46% недавнего базового метода непрерывного обучения на основе Хеббиана (HLOP).

Исследовательский контекст и мотивация

Основные проблемы

1. Катастрофическое забывание при непрерывном обучении: SNNs, как и традиционные нейронные сети, забывают ранее полученные знания при обучении новым задачам
2. Дилемма стабильности-пластичности: необходимо достичь баланса между сохранением стабильности уже полученных знаний и пластичностью при обучении новым знаниям
3. Адаптивность к временной шкале: существующие методы испытывают трудности при обработке задач, требующих ответов на различных временных шкалах

Значимость

• Нейроморфные вычисления привлекают внимание благодаря энергоэффективности, основанной на событиях
• Непрерывное обучение является ключевой технологией для реализации систем искусственного интеллекта с пожизненным обучением
• Биологические нейронные системы решают эту проблему посредством различных адаптивных процессов и разнообразных внутренних временных шкал

Ограничения существующих методов

1. Регуляризация весов и воспроизведение опыта: требуют дополнительных затрат памяти и вычислений
2. Метод HLOP: требует итеративных вычислений подпространства с высокой вычислительной сложностью
3. DSD-SNN: требует сложных стратегий расширения сети
4. Отсутствие биологической обоснованности: большинство методов не соответствуют ограничениям локальных вычислений нейроморфного оборудования

Основные вклады

1. Предложена модель нейрона LT-Gate: объединяет динамику с двумя временными шкалами и локальный механизм вентилирования, обеспечивая гибкое распределение временного кредита
2. Разработан механизм вариационной регуляризации: основан на теории биологического гомеостаза, поддерживает активацию нейронов в здоровом диапазоне, предотвращает нестабильность при переключении задач
3. Достигнуто значительное повышение производительности: значительное улучшение производительности непрерывного обучения на временных гетерогенных задачах без необходимости во внешней памяти или расширении архитектуры
4. Совместимость с нейроморфным оборудованием: эффективное отображение на микросхему Intel Loihi 2, поддержка локальной фильтрации и операций вентилирования для обучения на кристалле

Подробное описание методики

Определение задачи

Исследование сосредоточено на задачах инкрементального обучения во временной области: сеть должна осуществлять непрерывное обучение между входными областями с различными временными шкалами, например переход от высокочастотной (1000 Гц) входной области к низкочастотной (50 Гц) входной области, сохраняя при этом способность классификации для предыдущих областей.

Архитектура модели

Модель нейрона с двумя временными шкалами

Нейрон LT-Gate содержит два параллельных блока с утечкой интегрирования и срабатыванием (LIF):

Динамика быстрого мембранного потенциала:

U^f_i(t+1) = ρ_f · U^f_i(t) + I_i(t)

Динамика медленного мембранного потенциала:

U^s_i(t+1) = ρ_s · U^s_i(t) + I_i(t)

где 0 < ρ_f < ρ_s < 1 — коэффициенты затухания, ρ = e^(-dt/τ)

Локальное вентилирование временной шкалы

Два мембранных потенциала объединяются посредством обучаемой переменной вентиля γ_i ∈ 0,1:

U_i(t) = γ_i · U^s_i(t) + (1-γ_i) · U^f_i(t)

• γ_i ≈ 1: нейрон функционирует как блок с длительной временной шкалой, сохраняя предыдущие входные данные
• γ_i ≈ 0: приоритет отдается быстрому реагированию

Вариационная регуляризация отслеживания гомеостаза

Введен регуляризационный член, поощряющий каждый нейрон поддерживать целевую частоту разрядов и дисперсию:

L_var = λ_var Σ_i [(μ_i - μ*)² + (σ_i - σ*)²]

где (μ*, σ*) — целевые значения, λ_var — коэффициент веса.

Технические инновации

1. Распределенный механизм вентилирования: в отличие от явных блоков вентилирования LSTM, механизм вентилирования LT-Gate локализован в состояние каждого импульсного нейрона
2. Двойной гомеостатический процесс: быстрая динамика реагирует на изменения входных данных, медленная динамика и вентилирование обеспечивают отрицательную обратную связь, поддерживая общую статистику частоты разрядов
3. Дизайн с учетом оборудования: все вычисления (затухание, накопление, пороговое значение, вентилирование) локальны для каждого нейрона или синапса, не требуют глобальной координации
4. Адаптивное распределение временных констант: посредством обучения γ сеть может распределять эффективный спектр временных констант между нейронами

Экспериментальная установка

Наборы данных

• Набор данных MNIST с вариацией частоты: кодирование стандартных изображений MNIST в импульсные последовательности с различной частотой кадров
  • Быстрая область: частота представления входных данных 1000 Гц
  • Медленная область: частота представления входных данных 50 Гц

Метрики оценки

• Итоговая точность: точность классификации на объединенном тестовом наборе
• Коэффициент забывания: снижение точности на старых задачах после обучения новым задачам
• Скорость сходимости: количество эпох обучения, необходимых для достижения 90% итоговой точности

Методы сравнения

• HLOP: метод ортогональной проекции на основе обучения Хеббиана
• DSD-SNN: импульсная нейронная сеть с динамическим структурным развитием
• Стандартная SNN: однослойная базовая линия LIF

Детали реализации

• Архитектура сети: трехслойная сверточная SNN (32→64→128 блоков)
• Оптимизатор: Adam, скорость обучения 0.001
• Временные константы: τ_f = 5 мс, τ_s = 50 мс
• Целевая частота разрядов: 2%, вес регуляризации дисперсии λ_var = 0.01

Результаты экспериментов

Основные результаты

Ключевые выводы

1. Значительное повышение производительности: LT-Gate достигает 51.0% итоговой точности, что на 5.8 процентных пункта выше, чем HLOP
2. Минимальное забывание: коэффициент забывания всего 3.2%, сохраняет примерно 95% первоначальной производительности
3. Быстрая сходимость: сходимость за 25 эпох, на 40-60% быстрее, чем методы базовой линии

Абляционные исследования

• LT-Gate без вентилирования: точность снижается до 46.5%, коэффициент забывания возрастает до 8.9%
• Без вариационной регуляризации: точность 49.8%, периодическая нестабильность обучения

Обобщение между временными шкалами

После обучения только на 1000 Гц, LT-Gate достигает 48% точности на необученной медленной области (10 Гц), в то время как стандартная SNN достигает только 20%, демонстрируя мощную способность обобщения между областями.

Связанные работы

Методы непрерывного обучения SNN

1. Регуляризация весов: импульсная версия консолидации эластичных весов
2. Воспроизведение опыта: механизм повторного воспроизведения памяти для защиты старых знаний
3. Методы, вдохновленные мозгом: HLOP использует обновления Хеббиана/анти-Хеббиана, DSD-SNN динамически растит/обрезает нейроны

Нейронные вычисления с несколькими временными шкалами

1. Модель LSNN: смесь гетерогенных нейронов с различными временными константами адаптации
2. Модели биологических нейронов: адаптация порога и адаптивные нейроны с медленно изменяющимися токами

Нейроморфное оборудование

Микросхема Intel Loihi поддерживает несколько синаптических следов с различными скоростями затухания, обеспечивая естественную поддержку оборудования для LT-Gate.

Заключение и обсуждение

Основные выводы

1. Обработка с несколькими временными шкалами является эффективным решением дилеммы стабильности-пластичности
2. Локальный механизм вентилирования превосходит централизованное вентилирование и лучше подходит для нейроморфного оборудования
3. Вдохновленный биологией механизм гомеостаза критически важен для стабильности сети
4. Дизайн с учетом оборудования обеспечивает эффективное обучение на кристалле

Ограничения

1. Зависимость от суррогатного градиента обратного распространения: ограничивает биологическую обоснованность
2. Ограниченный объем оценки: тестирование только двух последовательных областей, многозадачные сценарии требуют дальнейшей проверки
3. Фиксированные временные константы: не реализовано адаптивное обучение временных констант для каждого нейрона
4. Масштабируемость на сложные задачи: может потребоваться дополнение легким воспроизведением или регуляризацией

Направления будущих исследований

1. Локальные правила обучения: разработка механизмов адаптации вентилирования на основе STDP
2. Расширение на несколько временных шкал: использование трех или более временных шкал
3. Совместное проектирование с оборудованием: разработка специализированных схем временного вентилирования
4. Крупномасштабные приложения: расширение на глубокие визуальные и речевые SNN

Глубокая оценка

Преимущества

1. Высокая инновационность: первая реализация распределенного многошкального вентилирования в SNN
2. Полные эксперименты: комплексные абляционные исследования и проверка совместимости с оборудованием
3. Убедительные результаты: значительное превосходство над методами SOTA по нескольким метрикам
4. Высокая практическая ценность: прямое отображение на коммерческие нейроморфные микросхемы

Недостатки

1. Недостаточный теоретический анализ: отсутствует теоретический анализ динамики обучения вентилирования
2. Ограничение набора данных: основная проверка на синтетических временных данных, отсутствуют реальные эталоны
3. Справедливость сравнения: некоторые методы базовой линии могут быть недостаточно оптимизированы

Влияние

1. Вклад в область: предоставляет новую парадигму проектирования для непрерывного обучения SNN
2. Продвижение оборудования: стимулирует разработку функций многошкального времени в нейроморфном оборудовании
3. Воспроизводимость: предоставляет полный код и подробные детали реализации

Применимые сценарии

1. Граничные устройства AI: низкоэнергетические интеллектуальные системы, требующие непрерывной адаптации
2. Робототехника: обучение и адаптация в реальном времени в динамических средах
3. Сенсорные сети: обработка сигналов при переменной частоте дискретизации
4. Нейроморфные вычисления: приложения, использующие особенности специализированного оборудования

Библиография

1 Bellec et al. "Long short-term memory and learning-to-learn in networks of spiking neurons." NeurIPS 2018. 2 Cannon & Miller. "Stable control of firing rate mean and variance by dual homeostatic mechanisms." J Math Neurosci 2017. 3 Davies et al. "Loihi: A neuromorphic manycore processor with on-chip learning." IEEE Micro 2018. 7 Xiao et al. "Hebbian learning based orthogonal projection for continual learning of snns." ICLR 2024.