2025-11-20T07:19:14.926764

STaTS: Structure-Aware Temporal Sequence Summarization via Statistical Window Merging

Bhowmick, Ramanathan, Aakur
Time series data often contain latent temporal structure, transitions between locally stationary regimes, repeated motifs, and bursts of variability, that are rarely leveraged in standard representation learning pipelines. Existing models typically operate on raw or fixed-window sequences, treating all time steps as equally informative, which leads to inefficiencies, poor robustness, and limited scalability in long or noisy sequences. We propose STaTS, a lightweight, unsupervised framework for Structure-Aware Temporal Summarization that adaptively compresses both univariate and multivariate time series into compact, information-preserving token sequences. STaTS detects change points across multiple temporal resolutions using a BIC-based statistical divergence criterion, then summarizes each segment using simple functions like the mean or generative models such as GMMs. This process achieves up to 30x sequence compression while retaining core temporal dynamics. STaTS operates as a model-agnostic preprocessor and can be integrated with existing unsupervised time series encoders without retraining. Extensive experiments on 150+ datasets, including classification tasks on the UCR-85, UCR-128, and UEA-30 archives, and forecasting on ETTh1 and ETTh2, ETTm1, and Electricity, demonstrate that STaTS enables 85-90\% of the full-model performance while offering dramatic reductions in computational cost. Moreover, STaTS improves robustness under noise and preserves discriminative structure, outperforming uniform and clustering-based compression baselines. These results position STaTS as a principled, general-purpose solution for efficient, structure-aware time series modeling.
academic

STaTS: Structure-Aware Temporal Sequence Summarization via Statistical Window Merging

基本信息

  • 论文ID: 2510.09593
  • 标题: STaTS: Structure-Aware Temporal Sequence Summarization via Statistical Window Merging
  • 作者: Disharee Bhowmick, Ranjith Ramanathan, Sathyanarayanan N. Aakur
  • 分类: cs.LG (Machine Learning), cs.CV (Computer Vision)
  • 发表时间: 2025年10月
  • 论文链接: https://arxiv.org/abs/2510.09593

摘要

时间序列数据通常包含潜在的时间结构，如局部平稳状态之间的转换、重复模式和变异性突发等，但这些结构在标准表示学习流程中很少被利用。现有模型通常处理原始或固定窗口序列，将所有时间步视为同等重要，这导致在长序列或噪声序列中出现效率低下、鲁棒性差和可扩展性有限的问题。本文提出STaTS，一个轻量级的无监督框架，用于结构感知的时间序列摘要，能够自适应地将单变量和多变量时间序列压缩为紧凑的、信息保持的token序列。

研究背景与动机

问题定义

时间序列数据在金融、物联网、医疗等领域广泛存在，随着传感技术的进步，记录的时间序列长度和复杂性快速增长，对基于机器学习的序列理解框架提出了巨大的计算需求。

现有方法的局限性

  1. 传统方法：如PAA（分段聚合近似）、SAX（符号聚合近似）、DTW（动态时间规整）等实现了有效的摘要，但依赖于统一窗口化或刚性符号编码，忽略了信号复杂性的动态变化
  2. 深度学习方法：如TS2Vec、TS-TCC等处理完整序列或应用滑动窗口，不考虑语义变化，导致冗余、计算开销和模型标记化与信号真实转换之间的错位

研究动机

现有方法存在以下问题：

  • 固定窗口策略可能过度分割稳定区域，而对复杂区域分割不足
  • 在噪声条件下，统一处理的输入倾向于放大虚假模式并降低泛化能力
  • 缺乏结构感知导致效率低下和错误传播

核心贡献

  1. 提出STaTS框架：基于BIC的变化检测准则，在多个时间尺度上识别统计连贯段的结构感知标记化框架
  2. 模块化轻量级摘要流水线：在保持显著模式的同时压缩时间序列超过30倍，实现高效的下游建模
  3. 模型无关的无监督方法：无需架构更改或基于梯度的调优，可与现有时间序列编码器（如TS2Vec）直接兼容
  4. 统一接口：适用于分类、预测和鲁棒性任务，作为通用的时间序列摘要预处理工具

方法详解

任务定义

给定多变量时间序列 X∈RT×dX \in \mathbb{R}^{T \times d}（其中TT是时间步数，dd是维数），目标是将XX转换为更短的序列 X~∈RT′×d\tilde{X} \in \mathbb{R}^{T' \times d}，其中T′≪TT' \ll T，同时保持下游任务所需的底层结构。

模型架构

1. 分割阶段（Tokenization）

多尺度连贯性检测：

  • 使用BIC（贝叶斯信息准则）评估相邻时间窗口的统计相似性
  • 对于相邻窗口 x1,x2∈Rδ×dx_1, x_2 \in \mathbb{R}^{\delta \times d}，计算：

ΔBIC=−2(ℓjoint−ℓsep)+klog⁡(2δ)\Delta BIC = -2(\ell_{joint} - \ell_{sep}) + k \log(2\delta)

其中：

  • ℓsep=−δ2(log⁡∣Σ1∣+log⁡∣Σ2∣)\ell_{sep} = -\frac{\delta}{2}(\log|\Sigma_1| + \log|\Sigma_2|)
  • ℓjoint=−δlog⁡∣Σ12∣\ell_{joint} = -\delta \log|\Sigma_{12}|
  • k=d+d(d+1)2k = d + \frac{d(d+1)}{2}（全协方差模型的自由参数数量）

全局目标函数： LBIC({Si})=∑i=1T′(−∣Si∣2log⁡∣Σi∣+k2log⁡∣Si∣)L_{BIC}(\{S_i\}) = \sum_{i=1}^{T'} \left(-\frac{|S_i|}{2}\log|\Sigma_i| + \frac{k}{2}\log|S_i|\right)

多尺度评估：

  • 在预定义范围内的每个δ\delta值上评估统计连贯性
  • 使用自适应阈值 μδ+α⋅σδ\mu_\delta + \alpha \cdot \sigma_\delta 识别候选分割点
  • 通过非最大抑制消除冗余检测

2. 摘要阶段（Summarization）

摘要函数： ϕ(Si)=1∣Si∣∑t=τi−1τi−1xt\phi(S_i) = \frac{1}{|S_i|} \sum_{t=\tau_{i-1}}^{\tau_i-1} x_t

使用均值池化作为默认摘要操作，捕获段的一阶统计特性。

技术创新点

  1. 自适应分割：与固定窗口方法不同，STaTS根据局部统计变化动态调整段边界
  2. 多变量扩展：通过全协方差矩阵自然扩展到多变量时间序列
  3. 多尺度检测：在不同时间分辨率上检测变化，捕获短期突变和长期渐变
  4. 统计有效性：在多变量高斯假设下，段均值是充分统计量

实验设置

数据集

  1. 单变量分类：UCR-128（128个数据集）和UCR-85（85个数据集）
  2. 多变量分类：UEA-30（30个数据集）
  3. 多变量预测：ETTh1、ETTh2、ETTm1、Electricity

评价指标

  • 分类任务：平均准确率和平均排名
  • 预测任务：标准化均方误差（nMSE）

对比方法

  • 分类基线：T-Loss、TNC、TS-TCC、TST、DTW、TS2Vec
  • 压缩变体：TS2Vec (uniform)、TS2Vec (GMM)
  • 预测基线：Informer、TCN

实现细节

  • 窗口大小范围：δ∈{5,10,...,500}\delta \in \{5, 10, ..., 500\}
  • 阈值参数：α=2\alpha = 2
  • 最小分离距离：smin=20s_{min} = 20
  • 数值稳定性：协方差正则化 ϵ=10−6\epsilon = 10^{-6}

实验结果

主要结果

单变量分类性能

模型UCR-85准确率UCR-85排名UCR-128准确率UCR-128排名平均长度
TS2Vec (ori)0.8291.990.8292.02424.4/534.5
TS2Vec (mean)0.7394.820.7414.3912.1/12.9
TS2Vec (uniform)0.6218.210.6168.1012.1/12.9
TS2Vec (GMM)0.6557.350.6646.9260.7/73.2

关键发现：

  • STaTS实现33倍压缩，保持约90%的原始性能
  • 显著优于统一分割和GMM基线

噪声鲁棒性

模型UCR-85(噪声)UCR-128(噪声)
TS2Vec (ori)0.3360.412
TS2Vec (mean)0.5810.603
TS2Vec (uniform)0.4750.485
TS2Vec (GMM)0.5050.522

重要发现：在噪声条件下，STaTS不仅保持竞争优势，还显著优于全分辨率模型。

多变量分类

  • TS2Vec (mean)：准确率0.622，排名4.70，20倍压缩
  • 优于所有压缩变体，保持与原始模型的竞争性能

时间序列预测

在长期预测（H=720）中，STaTS在多个数据集上匹配或超越原始TS2Vec，同时实现15倍压缩。

消融实验

  1. 分割策略比较：统计分割 > GMM分割 > 统一分割
  2. 多尺度评估：多尺度检测优于单一尺度
  3. 摘要函数：均值池化在大多数任务中表现最佳

案例分析

定性分析显示，STaTS在长期预测中更好地跟踪真实信号趋势，减少了震荡伪影，特别是在超长预测范围（H=720）中表现突出。

相关工作

时间序列分类

  • 经典方法：shapelets、BOSS等基于符号的方法
  • 深度学习：FCN、ResNet、InceptionTime等
  • 集成方法：HIVE-COTE等

时间序列预测

  • 早期突破：序列到序列LSTM
  • 现代方法：DeepAR、N-BEATS、Temporal Fusion Transformer
  • 注意力机制：Informer等稀疏注意力方法

时间序列摘要

  • 传统方法：PAA、SAX（限于单变量、固定长度）
  • 现代方法：TICC（计算昂贵，需要优化求解）
  • STaTS的优势：轻量级、模型无关、多变量支持

结论与讨论

主要结论

  1. STaTS实现了高效的结构感知时间序列压缩，在保持85-90%性能的同时实现30倍压缩
  2. 在噪声条件下表现出色，提供隐式去噪效果
  3. 作为模型无关的预处理器，可无缝集成到现有框架中

局限性

  1. 统计假设：假设段内局部统计连贯性，在动态突变或混沌系统中可能表现不佳
  2. 非端到端：不使用基于梯度的反馈来适应压缩策略
  3. 参数敏感性：需要调整窗口大小范围和阈值参数

未来方向

  1. 在线/流式设置：扩展到实时摘要和边缘部署
  2. 多模态数据：集成到传感器网络或视频等层次结构数据
  3. 自适应学习：在分布偏移或概念漂移下的端到端自适应学习系统

深度评价

优点

  1. 方法创新性：首次将多尺度BIC准则应用于多变量时间序列自适应分割
  2. 实验充分性：在150+数据集上的广泛评估，涵盖分类和预测任务
  3. 实用价值：显著的计算效率提升（30倍压缩）且性能损失最小
  4. 鲁棒性：在噪声条件下的优异表现证明了方法的实用性

不足

  1. 理论分析不足：缺乏关于何时以及为什么STaTS优于其他方法的理论保证
  2. 参数选择：多个超参数的选择缺乏系统性指导
  3. 适用场景限制：对于高度不规则或非平稳时间序列的适用性未充分验证
  4. 计算复杂度分析：缺乏详细的时间复杂度分析

影响力

  1. 学术贡献：为时间序列压缩提供了新的统计学视角
  2. 实用价值：可直接应用于资源受限环境和大规模时间序列处理
  3. 可复现性：方法描述清晰，实现细节充分

适用场景

  1. 长序列处理：特别适用于长度不规则的时间序列
  2. 噪声环境：在高噪声场景中表现优异
  3. 资源受限：适合计算资源有限的边缘设备或实时系统
  4. 预处理工具：作为现有时间序列模型的通用预处理器

参考文献

论文引用了时间序列分析、表示学习和统计信号处理领域的重要工作，包括：

  • 经典时间序列方法：PAA、SAX、DTW
  • 深度学习方法：TS2Vec、TS-TCC、InceptionTime
  • 统计分割方法：BIC、TICC
  • 预测模型：Informer、N-BEATS、Temporal Fusion Transformer

总体评价：这是一篇高质量的时间序列处理论文，提出的STaTS方法在理论基础、实验验证和实用价值方面都表现出色。该方法填补了结构感知时间序列压缩的重要空白，对时间序列分析领域具有重要贡献。