Extrapolation Problem for Multidimensional Stationary Sequences with Missing Observations

基本信息

• 论文ID: 2511.07228
• 标题: Extrapolation Problem for Multidimensional Stationary Sequences with Missing Observations
• 作者: Oleksandr Masyutka, Mikhail Moklyachuk, Maria Sidei
• 机构: Taras Shevchenko National University of Kyiv
• 分类: math.ST (Statistics Theory), stat.TH
• 发表期刊: Statistics, Optimization and Information Computing, Vol. 7, March 2019, pp 97-117
• 论文链接: https://arxiv.org/abs/2511.07228

摘要

本文研究多维平稳随机序列在缺失观测情况下的均方最优外推问题。估计基于带有加性平稳噪声的序列观测。研究在谱确定性（spectral certainty）和谱不确定性（spectral uncertainty）两种情况下展开。在谱确定性情况下，推导了计算最优线性估计的均方误差和谱特征的公式；在谱不确定性情况下，应用极小极大（minimax-robust）方法，提出了确定最不利谱密度和极小极大谱特征的公式。

研究背景与动机

问题定义

本文要解决的核心问题是：如何在存在缺失观测的情况下，对多维平稳随机序列的线性泛函进行最优估计？具体而言：

1. 观测模型：观测序列为 $\xi(j) + \eta(j)$，其中 $\xi(j)$ 是信号序列，$\eta(j)$ 是噪声序列
2. 缺失模式：观测点为 $j \in \mathbb{Z}^- \setminus S$，其中 $S = \bigcup_{l=1}^{s}\{-M_l-N_l, \ldots, -M_l\}$ 表示缺失的观测段
3. 估计目标：线性泛函 $A\xi = \sum_{j=0}^{\infty} a(j)^\top \xi(j)$

研究重要性

1. 理论价值：扩展了Kolmogorov-Wiener经典预测理论到缺失观测场景
2. 实践意义：在实际应用中，传感器故障、数据传输中断等常导致观测缺失
3. 鲁棒性需求：实际中谱密度往往未知或不精确，需要鲁棒估计方法

现有方法局限性

1. 完整观测假设：传统方法（Wiener, Yaglom, Rozanov等）假设观测完整
2. 谱确定性假设：大多数方法要求精确已知谱密度，实际中难以满足
3. 单变量局限：多维情形的理论和方法相对欠缺

研究动机

本文的创新在于：

• 将Hilbert空间投影方法扩展到缺失观测场景
• 发展了谱不确定性下的极小极大鲁棒估计理论
• 提供了多维情形的完整理论框架和计算公式

核心贡献

1. 理论框架：建立了缺失观测下多维平稳序列外推问题的完整理论体系
2. 谱确定性情况：
   • 推导了最优线性估计的显式谱特征公式（公式10）
   • 给出了均方误差的精确计算公式（公式11）
3. 谱不确定性情况：
   • 发展了极小极大鲁棒估计方法
   • 提出了最不利谱密度的刻画方程
   • 针对多个特殊可容许谱密度类给出了具体解
4. 特殊情形：提供了无噪声观测、无相关噪声等特殊情形的推论
5. 计算方法：通过算子方程和Fourier系数建立了可计算的框架

方法详解

任务定义

输入：

• 观测序列：$\{\xi(j) + \eta(j), j \in \mathbb{Z}^- \setminus S\}$
• 缺失集合：$S = \bigcup_{l=1}^{s}\{-M_l-N_l, \ldots, -M_l\}$
• 泛函系数：$\{a(j), j=0,1,\ldots\}$ 满足 $\sum_{j=0}^{\infty}\sum_{k=1}^{T}|a_k(j)| < \infty$

输出：

• 最优估计：$\hat{A}\xi = \int_{-\pi}^{\pi} h(e^{i\lambda})^\top (Z_\xi(d\lambda) + Z_\eta(d\lambda))$
• 均方误差：$\Delta(h; F, G) = E|A\xi - \hat{A}\xi|^2$

约束条件：

• 极小性条件：$\int_{-\pi}^{\pi} \text{Tr}(F(\lambda) + G(\lambda))^{-1}d\lambda < \infty$

理论基础：Hilbert空间投影方法

本文的核心方法基于Kolmogorov的Hilbert空间投影理论：

1. Hilbert空间构造：
   • $H = L_2(\Omega, \mathcal{F}, P)$：由零均值、有限方差随机变量生成
   • $H_s(\xi + \eta)$：由观测值 $\{\xi_k(j) + \eta_k(j): j \in \mathbb{Z}^- \setminus S, k=1,\ldots,T\}$ 生成的闭线性子空间
2. 最优估计刻画：最优估计 $\hat{A}\xi$ 是 $A\xi$ 在 $H_s(\xi+\eta)$ 上的正交投影，满足：
   • $\hat{A}\xi \in H_s(\xi + \eta)$
   • $A\xi - \hat{A}\xi \perp H_s(\xi + \eta)$

谱确定性情况的解

谱表示

利用谱分解： $\xi(j) = \int_{-\pi}^{\pi} e^{ij\lambda} Z_\xi(d\lambda), \quad A\xi = \int_{-\pi}^{\pi} A(e^{i\lambda})^\top Z_\xi(d\lambda)$

其中 $A(e^{i\lambda}) = \sum_{j=0}^{\infty} a(j)e^{ij\lambda}$

谱特征方程

通过正交性条件，得到谱特征 $h(e^{i\lambda})$ 满足：

$(A(e^{i\lambda}))^\top(F(\lambda) + F_{\xi\eta}(\lambda)) - (h(e^{i\lambda}))^\top F_\zeta(\lambda) = (C(e^{i\lambda}))^\top$

其中 $F_\zeta(\lambda) = F(\lambda) + F_{\xi\eta}(\lambda) + F_{\eta\xi}(\lambda) + G(\lambda)$，$C(e^{i\lambda}) = \sum_{j \in U} c(j)e^{ij\lambda}$，$U = S \cup \{0,1,\ldots\}$

算子方程

引入Fourier系数： $B(k-j) = \frac{1}{2\pi}\int_{-\pi}^{\pi} (F_\zeta(\lambda))^{-1}e^{-i(k-j)\lambda}d\lambda$

$R(k-j) = \frac{1}{2\pi}\int_{-\pi}^{\pi} (F(\lambda) + F_{\xi\eta}(\lambda))(F_\zeta(\lambda))^{-1}e^{-i(k-j)\lambda}d\lambda$

未知系数 $c(k), k \in U$ 由算子方程确定： $Ra = Bc$

其中算子 $B, R$ 由相应的块矩阵定义，考虑了缺失观测的结构。

最优谱特征（定理2.1）

$(h(e^{i\lambda}))^\top = (A(e^{i\lambda}))^\top(F(\lambda) + F_{\xi\eta}(\lambda))(F_\zeta(\lambda))^{-1} - \left(\sum_{k \in U}(B^{-1}Ra)(k)e^{ik\lambda}\right)^\top(F_\zeta(\lambda))^{-1}$

均方误差

$\Delta(h; F, G) = \langle Ra, B^{-1}Ra \rangle + \langle Qa, a \rangle$

其中 $Q$ 是由Fourier系数 $Q(k-j)$ 定义的线性算子。

谱不确定性情况：极小极大方法

基本概念

最不利谱密度（定义3.1）：$(F^0, G^0) \in \mathcal{D}$ 称为最不利的，如果 $\Delta(h(F^0, G^0); F^0, G^0) = \max_{(F,G) \in \mathcal{D}} \Delta(h(F,G); F, G)$

极小极大谱特征（定义3.2）：$h^0 \in H_{\mathcal{D}}$ 称为极小极大的，如果 $\min_{h \in H_{\mathcal{D}}} \max_{(F,G) \in \mathcal{D}} \Delta(h; F, G) = \max_{(F,G) \in \mathcal{D}} \Delta(h^0; F, G)$

优化问题

极小极大问题等价于约束优化： $\max_{(F,G) \in \mathcal{D}} (\langle Ra, B^{-1}Ra \rangle + \langle Qa, a \rangle)$

转化为无约束优化： $\Delta_{\mathcal{D}}(F,G) = -\Delta(h(F^0, G^0); F, G) + \delta((F,G)|\mathcal{D}) \to \inf$

其中 $\delta$ 是指示函数。

最优性条件

最不利谱密度由次微分条件确定： $0 \in \partial \Delta_{\mathcal{D}}(F^0, G^0)$

利用Lagrange乘子法和次微分的形式，可以导出具体的刻画方程。

特殊可容许谱密度类

论文考虑了多个特殊类别，例如：

类别 $\mathcal{D}^1_0 \times \mathcal{D}^{UV}_1$

$\mathcal{D}^1_0 = \left\{F(\lambda) \left| \frac{1}{2\pi}\int_{-\pi}^{\pi} \text{Tr}F(\lambda)d\lambda = p\right.\right\}$

$\mathcal{D}^{UV}_1 = \left\{G(\lambda) \left| \text{Tr}V(\lambda) \leq \text{Tr}G(\lambda) \leq \text{Tr}U(\lambda), \frac{1}{2\pi}\int_{-\pi}^{\pi}\text{Tr}G(\lambda)d\lambda = q\right.\right\}$

最不利谱密度方程（定理4.1）： $(r^0_G(\lambda))^*(r^0_G(\lambda))^\top = \alpha^2(F^0(\lambda) + G^0(\lambda))^2$

$(r^0_F(\lambda))^*(r^0_F(\lambda))^\top = (\beta^2 + \gamma_1(\lambda) + \gamma_2(\lambda))(F^0(\lambda) + G^0(\lambda))^2$

其中 $\alpha^2, \beta^2$ 是Lagrange乘子，$\gamma_1(\lambda) \leq 0$（当 $\text{Tr}G^0(\lambda) > \text{Tr}V(\lambda)$ 时为0），$\gamma_2(\lambda) \geq 0$（当 $\text{Tr}G^0(\lambda) < \text{Tr}U(\lambda)$ 时为0）。

其他类别

论文还考虑了：

• $\mathcal{D}^2_0 \times \mathcal{D}^{UV}_2$：对角元素约束
• $\mathcal{D}^3_0 \times \mathcal{D}^{UV}_3$：加权迹约束
• $\mathcal{D}^4_0 \times \mathcal{D}^{UV}_4$：矩阵不等式约束
• $\mathcal{D}_\epsilon \times \mathcal{D}^1_\delta$：$\epsilon$-污染和 $\delta$-邻域模型

每种类别都给出了相应的刻画方程。

实验设置

数值示例（Example 2.1）

论文提供了一个具体的二维序列外推示例：

问题设置：

• 泛函：$A_1\xi = a(0)^\top\xi(0) + a(1)^\top\xi(1)$，其中 $a(0) = a(1) = (1,1)^\top$
• 序列：$\xi_1(n) = \xi(n)$，$\xi_2(n) = \xi(n) + \eta(n)$
• 缺失集合：$S = \{-3, -2\}$
• 谱密度： $f(\lambda) = \frac{1}{|1-b_1e^{i\lambda}|^2}, \quad g(\lambda) = \frac{1}{|1-b_2e^{i\lambda}|^2}$
• 谱密度矩阵： $F(\lambda) = \begin{pmatrix} f(\lambda) & f(\lambda) \\ f(\lambda) & f(\lambda) + g(\lambda) \end{pmatrix}$

计算步骤

1. 逆谱密度矩阵： $(F(\lambda))^{-1} = \begin{pmatrix} \frac{1}{f(\lambda)} + \frac{1}{g(\lambda)} & -\frac{1}{g(\lambda)} \\ -\frac{1}{g(\lambda)} & \frac{1}{g(\lambda)} \end{pmatrix} = B(-1)e^{-i\lambda} + B(0) + B(1)e^{i\lambda}$
2. Fourier系数： $B(0) = \begin{pmatrix} 2+b_1^2+b_2^2 & -1-b_2^2 \\ -1-b_2^2 & 1+b_2^2 \end{pmatrix}, \quad B(1) = B(-1) = \begin{pmatrix} -b_1-b_2 & b_2 \\ b_2 & -b_2 \end{pmatrix}$
3. 算子矩阵：构造块矩阵 $B$，考虑缺失位置 $\{-3, -2\}$ 和未来位置 $\{0, 1, 2, \ldots\}$
4. 谱分解：利用因式分解 $(F(\lambda))^{-1} = \left(\sum_{j=0}^{\infty}\psi(j)e^{-ij\lambda}\right) \cdot \left(\sum_{j=0}^{\infty}\psi(j)e^{-ij\lambda}\right)^*$
   其中 $\psi(0) = \begin{pmatrix} 1 & 1 \\ 0 & -1 \end{pmatrix}$，$\psi(1) = \begin{pmatrix} -b_1 & -b_2 \\ 0 & b_2 \end{pmatrix}$
5. 逆算子计算：$B^{-1}_{11}(i,j) = (\Theta^*\Theta)(i,j) = \sum_{l=0}^{\min(i,j)}(\theta(i-l))^*\theta(j-l)$

最终结果

谱特征： $(h_1(e^{i\lambda}))^\top = -(b_2 + b_2^2 - 2(b_1 + b_1^2), -b_2 - b_2^2)e^{-i\lambda}$

均方误差： $\Delta(h_1; F) = 10 + 8b_1 + 4b_1^2 + 2b_2 + b_2^2$

这个示例展示了：

• 如何处理缺失观测的块结构
• 如何利用谱分解简化计算
• 最优谱特征的显式形式

实验结果

理论结果验证

论文通过Example 2.1验证了理论框架的可行性：

1. 谱特征的简洁性：最优谱特征具有有限支撑（仅在 $\lambda^{-1}$ 项非零），反映了缺失观测的影响仅在局部
2. 误差的可计算性：均方误差表达式为参数 $b_1, b_2$ 的简单多项式，便于分析和优化
3. 参数影响：
   • $b_1, b_2$ 越大，误差越大（信号和噪声的自相关性增强）
   • 误差对 $b_1$ 的敏感性更高（信号自相关的影响更显著）

方法优势

与现有方法相比：

1. 完整性：提供了从问题建模到具体计算的完整框架
2. 一般性：适用于多维序列、任意缺失模式
3. 鲁棒性：极小极大方法处理谱不确定性
4. 可计算性：通过算子方程和Fourier系数实现

理论保证

论文提供了多个定理保证：

1. 定理2.1：谱确定性情况下最优解的存在性和唯一性
2. 定理4.1, 5.1：不同可容许类下最不利谱密度的刻画
3. 推论2.1-2.4, 4.1-4.2, 5.1-5.2：特殊情形的简化结果

相关工作

经典理论基础

1. Kolmogorov (1941)：首次提出平稳序列预测问题的谱方法
2. Wiener (1949)：发展了连续时间滤波理论
3. Yaglom (1955, 1987)：系统研究了平稳过程的相关理论
4. Rozanov (1967)：多维平稳过程理论
5. Hannan (1970)：多元时间序列分析

缺失观测问题

1. Bondon (2002, 2005)：不完整过去的预测问题
2. Cheng & Pourahmadi (1996, 1998)：$L^p(w)$ 空间中的极值问题和插值
3. Kasahara, Pourahmadi & Inoue (2009)：缺失值预测的对偶方法
4. Pelagatti (2015)：不可观测成分的时间序列建模

鲁棒估计方法

1. Grenander (1957)：首次提出平稳过程外推的极小极大方法
2. Kassam & Poor (1985)：信号处理中的鲁棒技术综述
3. Franke (1984, 1985)：时间序列的鲁棒预测和插值
4. Franke & Poor (1984)：极小极大鲁棒滤波
5. Vastola & Poor (1983)：谱不确定性对Wiener滤波的影响分析

作者前期工作

1. Moklyachuk (2008, 2015)：平稳序列泛函的鲁棒估计
2. Moklyachuk & Masyutka (2008-2012)：多维平稳过程的极小极大预测
3. Moklyachuk & Sidei (2015-2017)：缺失观测下的插值、外推和滤波
4. Luz & Moklyachuk (2015-2016)：平稳增量过程的估计

本文的独特贡献

相比现有工作：

1. 系统性：首次系统研究多维序列缺失观测下的外推问题
2. 完备性：同时处理谱确定性和不确定性两种情况
3. 一般性：考虑了多种缺失模式和可容许谱密度类
4. 可操作性：提供了显式的计算公式和算子方程

结论与讨论

主要结论

1. 理论框架：成功建立了缺失观测下多维平稳序列外推的完整理论体系
2. 谱确定性结果：
   • 最优谱特征由算子方程 $Ra = Bc$ 和公式(10)确定
   • 均方误差可通过公式(11)精确计算
   • 方法适用于相关和不相关噪声
3. 谱不确定性结果：
   • 最不利谱密度由次微分条件 $0 \in \partial\Delta_{\mathcal{D}}(F^0, G^0)$ 刻画
   • 对多个特殊可容许类给出了显式的Lagrange方程
   • 极小极大估计具有鞍点性质
4. 计算方法：通过Fourier系数和算子矩阵实现了可计算的框架

局限性

1. 计算复杂性：
   • 需要求解无限维算子方程（实际中需截断）
   • 逆算子 $B^{-1}$ 的计算可能困难
   • 缺失段越多，矩阵维度越高
2. 理论假设：
   • 要求极小性条件(1)或(12)成立
   • 假设算子 $B$ 可逆（参考Salehi 1979）
   • 泛函系数需满足绝对可和条件(3)
3. 谱不确定性：
   • 只考虑了特定的可容许谱密度类
   • 最不利谱密度的数值求解可能复杂
   • 未讨论如何从数据估计可容许类
4. 实用性：
   • 缺少大规模数值实验
   • 未与实际数据应用结合
   • 缺少与其他方法的数值比较

未来方向

论文暗示的研究方向：

1. 算法开发：
   • 高效的数值算法求解算子方程
   • 大规模问题的近似方法
   • 自适应选择截断维度
2. 理论扩展：
   • 非平稳序列的推广
   • 周期相关序列（已有部分工作）
   • 平稳增量序列（已有部分工作）
3. 应用研究：
   • 信号处理中的实际问题
   • 金融时间序列分析
   • 传感器网络数据融合
4. 统计推断：
   • 从数据估计谱密度
   • 可容许类的选择方法
   • 置信区间和假设检验

深度评价

优点

1. 理论严谨性

• 数学基础扎实：基于Hilbert空间理论和凸优化理论
• 证明完整：定理、推论逻辑清晰，条件明确
• 符号规范：数学符号使用规范，易于理解

2. 方法创新性

• 缺失观测处理：巧妙地将缺失结构嵌入算子矩阵
• 极小极大框架：系统地发展了谱不确定性下的鲁棒估计
• 多维推广：成功处理了多维情形的复杂性

3. 结果完备性

• 多种情形：覆盖了相关/不相关噪声、有/无噪声观测
• 多个谱类：考虑了8种不同的可容许谱密度类
• 显式公式：提供了可计算的显式表达式

4. 文献综述

• 历史脉络清晰：从Kolmogorov到最新工作
• 引用全面：包含41篇参考文献
• 定位准确：清楚说明了与现有工作的关系

不足

1. 实验验证不足

• 仅一个示例：Example 2.1过于简单（二维、简单缺失模式）
• 缺少数值比较：未与其他方法进行数值对比
• 无实际数据：未在真实数据集上验证

2. 可读性问题

• 符号繁重：大量矩阵、算子符号，阅读门槛高
• 结构复杂：算子矩阵的块结构描述不够直观
• 缺少图示：没有图表辅助理解

3. 实用性考虑

• 计算成本：未讨论算法复杂度和计算效率
• 参数选择：未给出可容许类参数的实际选择指导
• 软件实现：无代码或软件包

4. 理论局限

• 可逆性假设：算子 $B$ 的可逆性条件不够明确
• 收敛性：无限维问题的截断误差分析缺失
• 稳定性：数值稳定性未讨论

影响力评估

学术价值

• 理论贡献：★★★★☆
  • 填补了缺失观测外推理论的空白
  • 为后续研究提供了系统框架
• 方法创新：★★★★☆
  • 算子方程方法处理缺失观测具有创新性
  • 极小极大框架的系统发展有价值

实用价值

• 应用潜力：★★★☆☆
  • 理论完善但实用性有待验证
  • 需要更多实际应用案例
• 可复现性：★★☆☆☆
  • 理论公式完整但算法细节不足
  • 缺少代码和数值实验

影响范围

• 时间序列分析：为缺失数据处理提供了理论工具
• 信号处理：可应用于传感器数据融合
• 金融工程：高频交易数据的缺失处理
• 统计学：鲁棒估计理论的发展

适用场景

理想应用场景

1. 传感器网络：传感器故障导致的数据缺失
2. 通信系统：数据包丢失的信号重建
3. 金融时间序列：不规则交易时间的预测
4. 环境监测：气象站数据缺失的插补

不适用场景

1. 非平稳过程：方法假设平稳性
2. 非线性系统：仅考虑线性泛函
3. 高维大规模：计算复杂度可能过高
4. 完全未知谱：需要一定的先验信息

推荐阅读对象

1. 时间序列理论研究者：★★★★★
   • 提供了系统的理论框架
2. 信号处理工程师：★★★☆☆
   • 理论性强，需要数学背景
3. 统计学研究者：★★★★☆
   • 鲁棒估计方法有参考价值
4. 应用数据科学家：★★☆☆☆
   • 缺少实用算法和代码

参考文献亮点

论文引用了该领域的经典和前沿工作：

1. 奠基性工作：
   • Kolmogorov (1992)：随机过程预测理论
   • Wiener (1966)：滤波和预测理论
   • Yaglom (1987)：相关理论
2. 方法论：
   • Grenander (1957)：极小极大方法
   • Franke (1984, 1985)：鲁棒预测
   • Pshenichnyj (1971)：凸优化
3. 缺失观测：
   • Bondon (2002, 2005)
   • Pourahmadi et al. (2007, 2009)
4. 作者系列工作：展示了研究的连续性和深度

总结

这是一篇理论严谨、方法系统的高质量学术论文。主要优势在于：

1. 建立了缺失观测外推问题的完整理论框架
2. 同时处理谱确定性和不确定性两种情况
3. 提供了多种特殊情形的显式解

主要不足是：

1. 实验验证较弱，仅有一个简单示例
2. 实用性考虑不足，缺少算法和代码
3. 可读性有待提高，符号繁重

推荐指数：★★★★☆（理论研究者）/ ★★★☆☆（应用研究者）

论文为时间序列分析和鲁棒估计领域做出了重要的理论贡献，但需要后续工作在算法实现和实际应用方面进行补充和验证。