Асинхронная событийно-инерциальная одометрия с использованием единого фреймворка регрессии гауссовских процессов

Основная информация

• ID статьи: 2412.03136
• Название: Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework
• Авторы: Xudong Li, Zhixiang Wang, Zihao Liu, Yizhai Zhang, Fan Zhang, Xiuming Yao, Panfeng Huang
• Категория: cs.RO (Робототехника)
• Дата публикации: 4 декабря 2024 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2412.03136

Аннотация

В данной работе предложен метод асинхронной событийно-инерциальной одометрии на основе единого фреймворка регрессии гауссовских процессов (ГП) для естественного слияния асинхронных ассоциаций данных и инерциальных измерений. Метод использует модель скрытых переменных ГП для построения управляемого данными приора движения и получения аналитических возможностей интегрирования, затем тесно связывает асинхронную ассоциацию событийных признаков и интегрированные псевдоизмерения в едином фреймворке ГП. Проблема оценки слияния решается с помощью факторного графа со скользящим окном с маргинализацией исторических состояний с учетом разреженности. Авторы также разработали контрастную систему, встраивающую традиционную схему прединтегрирования инерциальных данных в фреймворк ГП. Оценка на открытых событийно-инерциальных наборах данных демонстрирует эффективность обеих систем, а сравнительные эксперименты показывают точность, сопоставимую с передовыми синхронными методами.

Исследовательский контекст и мотивация

Определение проблемы

Событийная камера как биологически вдохновленный визуальный датчик имеет асинхронный механизм срабатывания, независимо регистрируя изменения интенсивности света на уровне каждого пикселя. Этот специальный механизм дает событийным камерам значительные преимущества по сравнению с традиционными камерами: низкое энергопотребление, низкая задержка, высокий динамический диапазон и высокое временное разрешение. Однако асинхронность событийной камеры создает огромные вызовы для традиционных алгоритмов слияния.

Ограничения существующих методов

1. Дискретные схемы на основе кадров: накопление событий в фиксированные временные окна кадров приводит к потере временного разнообразия событий, вызывает размытие движения и требует дополнительных операций устранения размытия
2. Традиционное прединтегрирование ИМУ: применяется в дискретной временной базе, большое количество межкадровых временных измерений теряется, теряется информация о мелкозернистом движении
3. Вычислительная эффективность: существующие методы ГП обычно используют полный сглаживающий бэкенд, что требует высоких вычислительных затрат

Исследовательская мотивация

Для полного использования высокого временного разрешения событийной камеры необходимо внедрение новых методов слияния асинхронных и высокого временного разрешения событийно-инерциальных наблюдений. Данная работа сосредоточена на проблеме способа слияния асинхронных измерений и предлагает решение на основе единого фреймворка ГП.

Основные вклады

1. Единый фреймворк ГП: предложен единый фреймворк регрессии гауссовских процессов, способный естественно обрабатывать слияние асинхронной ассоциации событийных признаков и инерциальных измерений
2. Модель скрытых переменных ГП: введена модель скрытых переменных в фреймворк регрессии ГП для аналитического интегрирования инерциальных измерений и неявного индуцирования управляемого данными ГП
3. Двойная система проектирования: реализованы две контрастные системы слияния:
   • CT-IMU: разреженный приор ГП + прединтегрирование ИМУ
   • GP-IMU: прединтегрирование регрессии ГП
4. Эффективное скользящее окно: применена оптимизация факторного графа со скользящим окном с стратегией маргинализации для поддержания вычислительной эффективности
5. Полностью асинхронная обработка: использование EKLT для событийно-управляемого обнаружения и отслеживания признаков, сохранение высокого временного разрешения событийной камеры

Детальное описание метода

Определение задачи

Входные данные: асинхронный поток событий и измерения ИМУ Выходные данные: оценка траектории SE(3) (включая положение, ориентацию и скорость) Ограничения: обработка асинхронной ассоциации данных, поддержание вычислительной эффективности

Архитектура модели

1. Разреженный приор ГП

Использование приора движения с белым шумом ускорения (WNOA) для моделирования SE(3):

Ṫwb(t) = Twb(t)ϖbwb(t)∧
ϖ̇bwb(t) = w(t), w(t) ∼ GP(0,Qcδ(t-t'))

где ϖbwb(t) — скорость в координатах тела, w(t) — вектор обобщенного ускорения, моделируемый как нулевой средний гауссовский процесс белого шума.

2. Прединтегрирование регрессии ГП

Моделирование относительного ускорения и скорости вектора вращения как независимых ГП:

ṙbkb(t) ∼ GP(0,kr(t,t'))
abbk(t) ∼ GP(0,ka(t,t'))

Получение зашумленных наблюдений ГП через скрытые состояния ρ̂ и α̂, затем использование способности вывода ГП для вычисления прединтегрированной скорости, положения и приращения вращения.

3. Архитектура системы

Вся система содержит два параллельных потока:

• Асинхронный фронтенд отслеживания признаков: использование EKLT для событийно-управляемого обнаружения и отслеживания признаков
• Бэкенд со скользящим окном на основе ГП: обработка управления признаками, триангуляции и оптимизации факторного графа

Технические инновации

1. Проектирование единого фреймворка

Оба метода работают в едином фреймворке ГП, но обрабатывают данные ИМУ по-разному:

• CT-IMU: запрос состояний на непрерывной временной траектории, отдельное слияние измерений ИМУ
• GP-IMU: зависимость от измерений ИМУ для вывода состояния, уменьшение ограничений приора траектории

2. Интерполяционный проекционный фактор

Получение позы Twbτ в момент измерения tτ через интерполяцию ГП, остаток визуальной ошибки определяется как:

rV(Twbτ, li, ẑi) = ẑi - (1/di)K(TwbτTbτcτ)T li

3. Оптимизация со скользящим окном

Применение динамической стратегии маргинализации с приоритизацией маргинализации новейших состояний и связанных ориентиров для поддержания разреженной структуры матрицы Гессиана.

Экспериментальная установка

Наборы данных

• Набор данных DAVIS: использование данных DAVIS240C (240×180) с интенсивным движением в нескольких сценах
• Набор данных MVSEC: использование данных левой событийной камеры (DAVIS 346B, 346×260)

Метрики оценки

• RMS RTE: среднеквадратичная относительная ошибка траектории для оценки точности
• Время вычисления: средние временные затраты каждого модуля
• Масштаб факторного графа: показатель сложности задачи оптимизации

Методы сравнения

• Vidal et al. 3 (конфигурация E+I)
• Метод событийно-инерциальной одометрии Guan & Lu 4
• Внутреннее сравнение двух предложенных методов

Детали реализации

• Условие диспаритета: 8 пикселей
• Минимальная длина траектории признака: 4
• Количество скрытых состояний GP-IMU: 400
• Минимальный размер скользящего окна: 40
• Временной интервал между состояниями: 0,05 секунды

Результаты экспериментов

Основные результаты

Анализ производительности

1. Точность: оба метода демонстрируют точность, сопоставимую с дискретными методами оптимизации на большинстве последовательностей, превосходя их на некоторых последовательностях
2. Вычислительная эффективность: GP-IMU обычно имеет более низкие вычислительные затраты благодаря меньшему количеству переменных
3. Надежность: GP-IMU более чувствителен к шуму ИМУ, так как зависит от управляемого ИМУ ГП для построения визуальных остатков

Анализ временных затрат

Трекер EKLT занимает примерно 80% от общего времени, являясь наиболее затратной частью. GP-IMU быстрее при оптимизации графа, но прединтегрирование ИМУ немного медленнее.

Связанные работы

Классификация событийно-инерциальной одометрии

1. Дискретные схемы на основе кадров: наследование алгоритмов традиционных камер с кадрами, ассоциация данных при накоплении событий
2. Событийно-управляемые методы непрерывного времени: прямая обработка потока событий, применение непрерывного временного бэкенда

Применение гауссовских процессов в робототехнике

Методы представления непрерывного времени ГП ранее использовались для вывода траектории движения сканирующего лидара и несинхронных датчиков. Недавние исследования применяют ГП к системам монокулярной событийной визуальной одометрии, но сталкиваются с проблемой высоких вычислительных затрат.

Заключение и обсуждение

Основные выводы

1. Оба предложенных метода ГП эффективно решают проблему асинхронного событийно-инерциального слияния
2. GP-IMU имеет более высокую точность на большинстве последовательностей, но более чувствителен к шуму ИМУ
3. Стратегия скользящего окна эффективно контролирует вычислительную сложность
4. Методы демонстрируют конкурентоспособную производительность в сценах с комплексным движением

Ограничения

1. Проблема реального времени: из-за сохранения всех асинхронных измерений фронтенда для оптимизации система в настоящее время не может работать в реальном времени
2. Недостаточная надежность: отсутствие механизмов исключения выбросов или компенсации движения
3. Зависимость от качества ИМУ: метод GP-IMU требует высокого качества данных ИМУ
4. Ограничения при интенсивном движении: оба метода могут быть затронуты при резких изменениях ускорения

Будущие направления

1. Стратегии разреживания графа на основе теории информации для достижения производительности в реальном времени
2. Улучшение фронтенда для повышения надежности системы
3. Оптимизация алгоритма для ИМУ низкого качества
4. Расширение на более сложные режимы движения

Глубокая оценка

Преимущества

1. Теоретическая инновация: единый фреймворк ГП элегантно решает проблему асинхронного слияния с прочной теоретической базой
2. Систематическое исследование: двойная система проектирования обеспечивает всесторонний сравнительный анализ
3. Полные эксперименты: детальная оценка на нескольких открытых наборах данных
4. Инженерная реализация: реализация на основе GTSAM обеспечивает воспроизводимость метода

Недостатки

1. Ограничение реального времени: невозможность удовлетворения требований приложений реального времени ограничивает практическую ценность
2. Зависимость от фронтенда: чрезмерная зависимость от фронтенда EKLT, отсутствие обработки исключительных случаев
3. Ограниченная область применения: определенные ограничения на качество ИМУ и типы движения
4. Недостаточный теоретический анализ: отсутствие глубокого анализа теоретических различий между двумя методами

Влияние

1. Академическая ценность: предоставление нового теоретического фреймворка для слияния событийной камеры и инерциальных датчиков
2. Практический потенциал: после решения проблемы реального времени может найти применение в навигации робота и других областях
3. Расширяемость: фреймворк обладает хорошей расширяемостью, может адаптироваться к сценариям слияния других датчиков

Применимые сценарии

1. Высокодинамичные окружения: подходит для сценов с высокоскоростным движением, где традиционные камеры неэффективны
2. Достаточные вычислительные ресурсы: подходит для приложений с высокими требованиями к точности и относительно достаточными вычислительными ресурсами
3. Исследовательские платформы: предоставляет ценный базовый метод для исследований событийных камер

Библиография

Статья ссылается на 26 связанных работ, охватывающих обзоры событийных камер, прединтегрирование ИМУ, оценку непрерывного времени, регрессию гауссовских процессов и другие ключевые области, с полными и авторитетными цитированиями.

Общая оценка: Это инновационная работа в области событийно-инерциальной одометрии, предложенный единый фреймворк ГП предоставляет новый подход к обработке асинхронного слияния датчиков. Несмотря на ограничения в области реального времени, работа имеет значительный теоретический вклад, полную экспериментальную оценку и закладывает хорошую основу для последующих исследований в этой области.