2025-11-14T06:07:11.042630

Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework

Li, Wang, Liu et al.
Recent works have combined monocular event camera and inertial measurement unit to estimate the $SE(3)$ trajectory. However, the asynchronicity of event cameras brings a great challenge to conventional fusion algorithms. In this paper, we present an asynchronous event-inertial odometry under a unified Gaussian Process (GP) regression framework to naturally fuse asynchronous data associations and inertial measurements. A GP latent variable model is leveraged to build data-driven motion prior and acquire the analytical integration capacity. Then, asynchronous event-based feature associations and integral pseudo measurements are tightly coupled using the same GP framework. Subsequently, this fusion estimation problem is solved by underlying factor graph in a sliding-window manner. With consideration of sparsity, those historical states are marginalized orderly. A twin system is also designed for comparison, where the traditional inertial preintegration scheme is embedded in the GP-based framework to replace the GP latent variable model. Evaluations on public event-inertial datasets demonstrate the validity of both systems. Comparison experiments show competitive precision compared to the state-of-the-art synchronous scheme.
academic

Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework

基本信息

  • 论文ID: 2412.03136
  • 标题: Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework
  • 作者: Xudong Li, Zhixiang Wang, Zihao Liu, Yizhai Zhang, Fan Zhang, Xiuming Yao, Panfeng Huang
  • 分类: cs.RO (Robotics)
  • 发表时间: 2024年12月4日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2412.03136

摘要

本文提出了一种基于统一高斯过程(GP)回归框架的异步事件-惯性里程计方法，用于自然融合异步数据关联和惯性测量。该方法利用GP潜变量模型构建数据驱动的运动先验并获得解析积分能力，然后在同一GP框架下紧密耦合异步事件特征关联和积分伪测量。通过滑动窗口因子图求解融合估计问题，并考虑稀疏性对历史状态进行有序边缘化。作者还设计了一个对比系统，将传统惯性预积分方案嵌入GP框架中。在公开事件-惯性数据集上的评估证明了两个系统的有效性，对比实验显示出与最先进同步方案相当的精度。

研究背景与动机

问题定义

事件相机作为生物启发的视觉传感器，具有异步触发机制，在每个像素级别独立记录光照强度变化。这种特殊机制使事件相机相比传统相机具有显著优势：低功耗、低延迟、高动态范围和高时间分辨率。然而，事件相机的异步性给传统融合算法带来了巨大挑战。

现有方法的局限性

  1. 帧式离散时间方案：将事件累积成固定时间窗口的事件帧，丢失了事件的时间多样性，导致运动模糊并需要额外的去模糊操作
  2. 传统IMU预积分：在离散时间框架内应用，大量帧间时间测量被丢弃，细粒度运动信息丢失
  3. 计算效率：现有GP方法通常使用全平滑后端，计算成本高昂

研究动机

为了充分利用事件相机的高时间分辨率特性，迫切需要引入新方法来融合异步和高时间分辨率的事件-惯性观测。本文专注于异步测量融合方式问题，提出基于统一GP框架的解决方案。

核心贡献

  1. 统一GP框架：提出了一种统一的高斯过程回归框架，能够自然处理异步事件特征关联和惯性测量的融合
  2. GP潜变量模型：引入潜变量模型到GP回归框架中，用于解析积分惯性测量并隐式诱导数据驱动的GP
  3. 双系统设计：实现了两种融合方式的对比系统：
    • CT-IMU：稀疏GP先验 + IMU预积分
    • GP-IMU：GP回归预积分
  4. 高效滑动窗口：采用滑动窗口因子图优化，通过边缘化策略维持计算效率
  5. 全异步处理：采用EKLT进行事件驱动的特征检测和跟踪，保持事件相机的高时间分辨率特性

方法详解

任务定义

输入：异步事件流和IMU测量数据 输出：SE(3)轨迹估计（包括位置、姿态和速度） 约束：处理异步数据关联，保持计算效率

模型架构

1. 稀疏GP先验

采用白噪声加速度(WNOA)运动先验对SE(3)进行建模：

Ṫwb(t) = Twb(t)ϖbwb(t)∧
ϖ̇bwb(t) = w(t), w(t) ∼ GP(0,Qcδ(t-t'))

其中ϖbwb(t)是体坐标系速度，w(t)是建模为零均值白噪声GP的广义加速度向量。

2. GP回归预积分

将相对加速度和旋转向量速度建模为独立GP：

ṙbkb(t) ∼ GP(0,kr(t,t'))
abbk(t) ∼ GP(0,ka(t,t'))

通过潜状态ρ̂和α̂获得GP的噪声观测，然后利用GP的推理能力计算预积分速度、位置和旋转增量。

3. 系统架构

整个系统包含两个并行线程：

  • 异步特征跟踪前端：使用EKLT进行事件驱动的特征检测和跟踪
  • 基于GP的滑动窗口后端：处理特征管理、三角化和因子图优化

技术创新点

1. 统一框架设计

两种方法都在同一GP框架下工作，但处理IMU数据的方式不同：

  • CT-IMU：在连续时间轨迹上查询状态，单独融合IMU测量
  • GP-IMU：依赖IMU测量进行状态推理，减少轨迹先验约束

2. 插值投影因子

通过GP插值获得测量时刻tτ的位姿Twbτ，视觉残差误差定义为：

rV(Twbτ, li, ẑi) = ẑi - (1/di)K(TwbτTbτcτ)T li

3. 滑动窗口优化

采用动态边缘化策略，优先边缘化最新状态和相关路标点，维持Hessian矩阵的稀疏结构。

实验设置

数据集

  • DAVIS数据集：使用DAVIS240C(240×180)在多个场景中记录的激进运动数据
  • MVSEC数据集：使用左事件相机(DAVIS 346B, 346×260)数据

评价指标

  • RMS RTE：均方根相对轨迹误差，用于评估精度
  • 计算时间：各模块的平均时间消耗
  • 因子图规模：优化问题的复杂度指标

对比方法

  • Vidal et al. 3 (E+I配置)
  • Guan & Lu 4 的事件-惯性方法
  • 两种提出方法的内部对比

实现细节

  • 视差条件：8像素
  • 最小特征轨迹：4条
  • GP-IMU潜状态数：400个
  • 滑动窗口最小尺寸：40
  • 状态间时间间隔：0.05秒

实验结果

主要结果

序列CT-IMUGP-IMURef.4Ref.3
dynamic translation0.0300.0600.0560.037
dynamic 6dof0.0760.0560.0730.040
poster translation0.0870.0820.2420.087
poster 6dof0.1560.0840.2100.197
boxes 6dof0.3470.1510.0730.078
shapes 6dof0.1080.244---0.163

性能分析

  1. 精度表现：两种方法在大多数序列上表现出与离散优化方法相当的精度，在某些序列上表现更优
  2. 计算效率：GP-IMU由于变量更少，通常具有更低的计算成本
  3. 鲁棒性：GP-IMU对IMU噪声更敏感，因为它依赖IMU驱动的GP构建视觉残差

时间消耗分析

方法前端优化边缘化IMU预积分其他
CT-IMU(s)1273.97247.8343.9510.1770.743
GP-IMU(s)1274.51182.0544.9144.7130.693

EKLT跟踪器占用约80%的总时间，是最耗时的部分。GP-IMU在图优化方面更快，但IMU预积分稍慢。

相关工作

事件-惯性里程计分类

  1. 帧式离散时间方案：继承传统帧相机算法，在事件累积上进行数据关联
  2. 事件驱动连续时间方法：直接处理事件流，采用连续时间后端

高斯过程在机器人学中的应用

GP连续时间表示方法早期用于扫描激光雷达和非同步传感器的运动轨迹推理。近期研究将GP应用于单目事件视觉里程计系统，但存在计算成本高的问题。

结论与讨论

主要结论

  1. 提出的两种GP方法都能有效处理异步事件-惯性融合问题
  2. GP-IMU在大多数序列上精度更高，但对IMU噪声更敏感
  3. 滑动窗口策略有效控制了计算复杂度
  4. 方法在复杂运动场景下表现出竞争性性能

局限性

  1. 实时性问题：由于保留所有前端异步测量用于优化，系统目前无法实时运行
  2. 鲁棒性不足：缺乏异常值排除或运动补偿机制
  3. IMU质量依赖：GP-IMU方法对IMU数据质量要求较高
  4. 激进运动限制：在剧烈加速度变化时，两种方法都可能受到影响

未来方向

  1. 基于信息论的图稀疏化策略，实现实时性能
  2. 改进前端，提高系统鲁棒性
  3. 针对低质量IMU的算法优化
  4. 扩展到更复杂的运动模式

深度评价

优点

  1. 理论创新：统一GP框架巧妙地解决了异步融合问题，理论基础扎实
  2. 系统性研究：通过双系统设计提供了全面的对比分析
  3. 实验充分：在多个公开数据集上进行了详尽的评估
  4. 工程实现：基于GTSAM的实现保证了方法的可复现性

不足

  1. 实时性限制：当前无法满足实时应用需求，限制了实用价值
  2. 前端依赖：过度依赖EKLT前端，缺乏对异常情况的处理
  3. 适用范围：对IMU质量和运动类型有一定限制
  4. 理论分析不足：缺乏对两种方法理论差异的深入分析

影响力

  1. 学术价值：为事件相机和惯性融合提供了新的理论框架
  2. 实用潜力：在解决实时性问题后，有望在机器人导航等领域应用
  3. 可扩展性：框架具有良好的扩展性，可适应其他传感器融合场景

适用场景

  1. 高动态环境：适合传统相机难以处理的高速运动场景
  2. 计算资源充足：适合对精度要求高、计算资源相对充足的应用
  3. 研究平台：为事件相机研究提供了有价值的基准方法

参考文献

本文引用了26篇相关文献，涵盖了事件相机综述、IMU预积分、连续时间估计、高斯过程回归等关键领域的重要工作，文献引用全面且权威。

总体评价：这是一篇在事件-惯性里程计领域具有创新性的工作，提出的统一GP框架为处理异步传感器融合提供了新思路。虽然存在实时性等局限，但理论贡献显著，实验评估充分，为该领域的后续研究奠定了良好基础。