2025-11-25T18:04:18.517311

COGNOS: Universal Enhancement for Time Series Anomaly Detection via Constrained Gaussian-Noise Optimization and Smoothing

Shang, Chang

Reconstruction-based methods are a dominant paradigm in time series anomaly detection (TSAD), however, their near-universal reliance on Mean Squared Error (MSE) loss results in statistically flawed reconstruction residuals. This fundamental weakness leads to noisy, unstable anomaly scores with a poor signal-to-noise ratio, hindering reliable detection. To address this, we propose Constrained Gaussian-Noise Optimization and Smoothing (COGNOS), a universal, model-agnostic enhancement framework that tackles this issue at its source. COGNOS introduces a novel Gaussian-White Noise Regularization strategy during training, which directly constrains the model's output residuals to conform to a Gaussian white noise distribution. This engineered statistical property creates the ideal precondition for our second contribution: a Kalman Smoothing Post-processor that provably operates as a statistically optimal estimator to denoise the raw anomaly scores. The synergy between these two components allows COGNOS to robustly separate the true anomaly signal from random fluctuations. Extensive experiments demonstrate that COGNOS is highly effective, delivering an average F-score uplift of 57.9% when applied to 12 diverse backbone models across multiple real-world benchmark datasets. Our work reveals that directly regularizing output statistics is a powerful and generalizable strategy for significantly improving anomaly detection systems.

academic

COGNOS: Универсальное улучшение обнаружения аномалий временных рядов посредством оптимизации и сглаживания с ограниченным гауссовым шумом

Основная информация

ID статьи: 2511.06894
Название: COGNOS: Universal Enhancement for Time Series Anomaly Detection via Constrained Gaussian-Noise Optimization and Smoothing
Авторы: Wenlong Shang, Peng Chang (Пекинский технологический университет)
Категория: cs.LG cs.AI
Дата публикации: Подана на arXiv 10 ноября 2025 г.
Ссылка на статью: https://arxiv.org/abs/2511.06894

Аннотация

В данной статье предлагается фреймворк COGNOS для решения фундаментальной проблемы методов, основанных на реконструкции, в обнаружении аномалий временных рядов (TSAD): статистические дефекты остатков реконструкции, вызванные потерей MSE. Фреймворк использует стратегию регуляризации гауссовым белым шумом на этапе обучения, непосредственно ограничивая выходные остатки модели соответствием распределению гауссова белого шума, и сочетает постобработчик фильтра Калмана для оптимального подавления шума. На 12 различных базовых моделях и нескольких реальных наборах данных COGNOS достигает среднего улучшения F-score на 57,9%, что доказывает эффективность и универсальность стратегии прямой регуляризации статистических свойств выходных данных.

Исследовательский контекст и мотивация

1. Основная проблема

Обнаружение аномалий временных рядов имеет критическое значение в мониторинге промышленного производства, безопасности финансовых систем и обслуживании IT-инфраструктуры. Методы самообучения на основе реконструкции стали основной парадигмой, но имеют фундаментальные недостатки:

Статистически дефектные остатки: Остатки реконструкции, полученные при стандартном обучении MSE, обладают неидеальными статистическими свойствами (не гауссовы, наличие временной корреляции)
Низкое отношение сигнал-шум: Исходные оценки аномалий содержат большой шум, нестабильны и затрудняют различие между истинными аномалиями и случайными колебаниями
Неполное моделирование: Модель не полностью разделяет детерминированные закономерности и случайный шум

2. Важность проблемы

Как показано на рисунке 1, стандартное обучение MSE на Transformer в наборе данных SWaT демонстрирует три ключевые проблемы:

Оценки аномалий содержат высокий уровень шума с плохим отношением сигнал-шум
Q-Q график показывает, что остатки сильно отклоняются от гауссова распределения
График автокорреляции показывает значительную временную корреляцию остатков

Эти статистические дефекты напрямую влияют на производительность обнаружения аномалий, приводя к высокой частоте ложных срабатываний и пропусков.

3. Ограничения существующих методов

Методы контрастивного обучения: Хотя они могут изучать более дискриминативные представления, обычно связаны с конкретной архитектурой и не решают напрямую проблему статистических свойств финальных остатков
Методы фильтрации и регуляризации:
- Методы с встроенными фильтрами создают новые гибридные архитектуры, что снижает универсальность
- Регуляризация в скрытом пространстве (например, SVD, периодическая согласованность) не действует непосредственно на выходные остатки
Отсутствие теоретически оптимального решения для постобработки

4. Исследовательская мотивация

В данной работе предлагается решить проблему у источника: непосредственно инженерировать статистические свойства выходных остатков, создавая идеальные предусловия для последующего оптимального подавления шума.

Основные вклады

Предложена стратегия регуляризации гауссовым белым шумом (GWNR): Впервые непосредственно ограничиваются остатки реконструкции соответствием распределению гауссова белого шума, что представляет принципиально иную парадигму по сравнению с существующими методами, сосредоточенными на представлениях
Разработан постобработчик фильтра Калмана: Работает совместно с GWNR, используя инженерные свойства остатков для достижения теоретически оптимального подавления шума, значительно повышая стабильность оценок аномалий
Доказана независимость от модели и эффективность:
- Универсальный фреймворк улучшения, применимый к любой модели реконструкции
- Среднее улучшение F-score на 57,9% на 12 различных архитектурах
- Валидация на 4 реальных эталонных наборах данных (MSL, SMAP, SWaT, PSM)
Выявлено новое направление улучшений: Доказано, что прямая регуляризация статистических свойств выходных данных более эффективна, чем традиционные улучшения архитектуры или представлений

Подробное описание метода

Определение задачи

Входные данные: Многомерный временной ряд $\mathbf{x} \in \mathbb{R}^{L \times D}$ (длина $L$ , размерность $D$ )
Обучение: Использование только нормальных данных для изучения многообразия данных
Выходные данные: Оценка аномалии для каждого временного шага для идентификации точек, отклоняющихся от нормальных закономерностей
Цель: Генерация оценок аномалий с высоким отношением сигнал-шум и статистически оптимальными свойствами

Архитектура модели

COGNOS представляет собой двухэтапный фреймворк (рисунок 2):

Этап 1: Обучение - Регуляризация гауссовым белым шумом (GWNR)

Общая функция потерь: $L_{Total} = L_{AWL}(L_{MSE}, L_{MMD}, L_{ACF})$

где используется автоматическое взвешивание потерь (AWL) для динамической балансировки трёх компонентов.

1. Потеря реконструкции ( $L_{MSE}$ ): $L_{MSE} = \frac{1}{|R|}\sum_{r \in R} r^2$ где $R = \mathbf{x} - \hat{\mathbf{x}}$ — остатки реконструкции, обеспечивающие высокую точность реконструкции.

2. Регуляризация гауссовости ( $L_{MMD}$ ): Использует максимальное среднее расхождение (MMD) для ограничения распределения остатков близостью к целевому гауссову распределению $\mathcal{N}(0, \sigma^{*2})$ :

$L_{MMD} = \frac{1}{|R|^2}\sum_{p_i,p_j \in R}\kappa(p_i, p_j) + \frac{1}{|S|^2}\sum_{q_i,q_j \in S}\kappa(q_i, q_j) - \frac{2}{|R||S|}\sum_{p_i \in R, q_j \in S}\kappa(p_i, q_j)$

Функция ядра использует многополосный RBF: $\kappa(a,b) = \sum_{j=1}^M \exp\left(-\frac{\|a-b\|^2}{2(B_j\sigma^*)^2}\right)$

Множители полосы пропускания $\{B_j\} = \{0.1, 0.5, 1.0, 2.0, 5.0\}$ , $\sigma^* = e^\omega$ (обучаемый параметр).

Инновационные аспекты:

Непараметрический метод с высокой робастностью
Адаптивное изучение уровня шума
Штрафование как систематических смещений, так и сложных структур

3. Регуляризация белого шума ( $L_{ACF}$ ): Штрафует временную корреляцию, суммируя квадраты коэффициентов автокорреляции для первых 10 лагов:

$L_{ACF} = \sum_{k \in N_{lag}} \mathbb{E}_{b,d}[(\rho_{k,b,d})^2]$

где коэффициент автокорреляции при лаге $k$ : $\rho_{k,b,d} = \frac{\sum_{l=k+1}^L (r_{b,l,d} - \mu_{b,d})(r_{b,l-k,d} - \mu_{b,d})}{\sum_{l=1}^L (r_{b,l,d} - \mu_{b,d})^2}$

Обоснование проектирования: Эмпирические наблюдения показывают, что наиболее значительная корреляция проявляется на ранних лагах, $N_{lag}=\{1,...,10\}$ обеспечивает баланс между эффективностью и вычислительной стоимостью.

Этап 2: Вывод - Постобработчик фильтра Калмана

Теоретическое обоснование: Фильтр Калмана является доказуемо оптимальным линейным оценивателем, когда процесс шума имеет нулевое среднее, некоррелирован (белый шум) и гауссово распределён. Остатки, созданные GWNR, точно удовлетворяют этим условиям.

Модель пространства состояний: