2025-11-12T21:16:10.844190

A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression

Qureshi, Ogri, Bell et al.

Gaussian Processes (GPs) are widely recognized as powerful non-parametric models for regression and classification. Traditional GP frameworks predominantly operate under the assumption that the inputs are either accurately known or subject to zero-mean noise. However, several real-world applications such as mobile sensors have imperfect localization, leading to inputs with biased errors. These biases can typically be estimated through measurements collected over time using, for example, Kalman filters. To avoid recomputation of the entire GP model when better estimates of the inputs used in the training data become available, we introduce a technique for updating a trained GP model to incorporate updated estimates of the inputs. By leveraging the differentiability of the mean and covariance functions derived from the squared exponential kernel, a second-order correction algorithm is developed to update the trained GP models. Precomputed Jacobians and Hessians of kernels enable real-time refinement of the mean and covariance predictions. The efficacy of the developed approach is demonstrated using two simulation studies, with error analyses revealing improvements in both predictive accuracy and uncertainty quantification.

academic

A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression

基本信息

论文ID: 2504.18463
标题: A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression
作者: Muzaffar Qureshi, Tochukwu Elijah Ogri, Zachary I. Bell, Wanjiku A. Makumi, Rushikesh Kamalapurkar
分类: eess.SY (Systems and Control), cs.RO (Robotics), cs.SY (Systems and Control)
发表时间: 2025年4月25日
论文链接: https://arxiv.org/abs/2504.18463

摘要

本文针对高斯过程回归中输入误差的修正问题，提出了一种基于泰勒级数的方法。传统GP框架假设输入要么精确已知，要么服从零均值噪声，但在移动传感器等实际应用中，由于定位不准确导致输入存在有偏误差。为避免在获得更好的输入估计时重新计算整个GP模型，本文利用平方指数核的均值和协方差函数的可微性，开发了二阶修正算法来更新训练好的GP模型。通过预计算的雅可比矩阵和海塞矩阵，实现了均值和协方差预测的实时细化。

研究背景与动机

问题定义

核心问题：在实际应用中，移动传感器由于定位误差导致GP回归的输入数据不准确，影响模型性能
重要性：准确的场映射在环境监测、搜救任务、自主水下探索等领域至关重要
现有方法局限性：
- 传统方法假设输入精确或仅有零均值噪声
- 异方差GP主要关注输出方差调整，依赖确定性输入测量
- 噪声输入GP (NIGP)的局部线性近似在高非线性函数下可能失效
- 扩展卡尔曼滤波在强非线性或扰动下性能下降

研究动机

在GPS信号不可用或不可靠的环境中，定位不确定性会传播到GP模型中，导致预测性能下降。现有研究主要分析输入不确定性对GP预测的影响，但缺乏更新GP模型以适应修正输入估计的方法。

核心贡献

开发了一种GP模型更新技术：通过预计算的GP均值和协方差函数的高阶导数，集成定位引起的输入误差修正
提供了详细的预测误差和计算时间分析：包括理论收敛性分析和计算复杂度评估
广泛的蒙特卡洛仿真验证：通过两个不同案例展示了方法的有效性
实时更新能力：避免重新训练或重新访问测量位置的需求

方法详解

任务定义

考虑配备传感器的智能体在域 $X \subset \mathbb{R}^p$ 中访问测量位置集合，创建标量场 $h: X \to \mathbb{R}$ 的映射。场可用GP建模： $h̄ \sim GP(μ, Σ)$

其中 $μ: \mathbb{R}^p \to \mathbb{R}$ 是均值函数， $Σ: \mathbb{R}^p × \mathbb{R}^p \to \mathbb{R}$ 是协方差函数。

核心算法架构

1. 平方指数核函数

选择平方指数协方差核： $k(\hat{x}, \hat{x}') := α^2 \exp\left(-\frac{||\hat{x} - \hat{x}'||^2}{2β^2}\right)$

其中 $α$ 表示幅度， $β$ 是长度尺度。

2. 泰勒级数修正方法

对于查询位置 $x_e$ ，修正后的均值向量通过二阶泰勒展开表示： $M(\hat{X}, x_e) := \hat{M}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

其中 $δ_i$ 表示第i个测量位置的扰动。

3. 雅可比矩阵和海塞矩阵

均值函数的雅可比矩阵： $J_M := \left[\frac{\partial\hat{M}}{\partial\hat{x}_1}, \frac{\partial\hat{M}}{\partial\hat{x}_2}, \cdots, \frac{\partial\hat{M}}{\partial\hat{x}_n}\right]$

海塞矩阵 $H_M \in \mathbb{R}^{n×n}$ 包含所有二阶偏导数。

4. 协方差修正

协方差矩阵的修正遵循类似的泰勒展开： $S(\hat{X}, x_e) := \hat{S}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$