Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework
Li, Wang, Liu et al.
Recent works have combined monocular event camera and inertial measurement unit to estimate the $SE(3)$ trajectory. However, the asynchronicity of event cameras brings a great challenge to conventional fusion algorithms. In this paper, we present an asynchronous event-inertial odometry under a unified Gaussian Process (GP) regression framework to naturally fuse asynchronous data associations and inertial measurements. A GP latent variable model is leveraged to build data-driven motion prior and acquire the analytical integration capacity. Then, asynchronous event-based feature associations and integral pseudo measurements are tightly coupled using the same GP framework. Subsequently, this fusion estimation problem is solved by underlying factor graph in a sliding-window manner. With consideration of sparsity, those historical states are marginalized orderly. A twin system is also designed for comparison, where the traditional inertial preintegration scheme is embedded in the GP-based framework to replace the GP latent variable model. Evaluations on public event-inertial datasets demonstrate the validity of both systems. Comparison experiments show competitive precision compared to the state-of-the-art synchronous scheme.
academic
Odometria Asincrona Event-Inerziale Utilizzando un Framework Unificato di Regressione Gaussiana
Questo articolo propone un metodo di odometria event-inerziale asincrona basato su un framework unificato di regressione gaussiana (GP) per fondere naturalmente le associazioni di dati asincrone e le misurazioni inerziali. Il metodo utilizza un modello di variabili latenti GP per costruire priori di movimento guidati dai dati e ottenere capacità di integrazione analitica, quindi accoppia strettamente l'associazione di caratteristiche event asincrone e le pseudo-misurazioni integrate all'interno dello stesso framework GP. Il problema di stima fusionato viene risolto attraverso l'ottimizzazione di grafi fattoriali con finestra scorrevole, considerando la sparsità per la marginalizzazione ordinata degli stati storici. Gli autori hanno inoltre progettato un sistema comparativo che incorpora lo schema tradizionale di preintegrazione inerziale nel framework GP. La valutazione su dataset pubblici event-inerziali dimostra l'efficacia di entrambi i sistemi, con esperimenti comparativi che mostrano precisione paragonabile ai metodi sincroni all'avanguardia.
Le telecamere event, come sensori visivi ispirati biologicamente, possiedono un meccanismo di attivazione asincrono che registra indipendentemente i cambiamenti di intensità luminosa a livello di pixel. Questo meccanismo speciale conferisce alle telecamere event vantaggi significativi rispetto alle telecamere tradizionali: basso consumo energetico, bassa latenza, ampio intervallo dinamico e alta risoluzione temporale. Tuttavia, l'asincronia delle telecamere event presenta sfide enormi agli algoritmi di fusione tradizionali.
Schemi discreti a frame: accumulano gli eventi in finestre temporali fisse, perdendo la diversità temporale degli eventi, causando sfocatura di movimento e richiedendo operazioni di desfocatura aggiuntive
Preintegrazione IMU tradizionale: applicata all'interno di framework a tempo discreto, scartando numerose misurazioni temporali interframe e perdendo informazioni di movimento a grana fine
Efficienza computazionale: i metodi GP esistenti utilizzano tipicamente backend di smoothing completo, con costi computazionali elevati
Per sfruttare pienamente le caratteristiche di alta risoluzione temporale delle telecamere event, è urgente introdurre nuovi metodi per fondere osservazioni event-inerziali asincrone e ad alta risoluzione temporale. Questo articolo si concentra sulla questione della modalità di fusione delle misurazioni asincrone, proponendo una soluzione basata su un framework GP unificato.
Framework GP Unificato: propone un framework unificato di regressione gaussiana che può gestire naturalmente la fusione dell'associazione di caratteristiche event asincrone e delle misurazioni inerziali
Modello di Variabili Latenti GP: introduce un modello di variabili latenti nel framework di regressione GP per integrare analiticamente le misurazioni inerziali e indurre implicitamente un GP guidato dai dati
Progettazione Dual-System: implementa due modalità di fusione comparative:
CT-IMU: priore GP sparso + preintegrazione IMU
GP-IMU: preintegrazione regressione GP
Finestra Scorrevole Efficiente: adotta l'ottimizzazione di grafi fattoriali con finestra scorrevole, mantenendo l'efficienza computazionale attraverso strategie di marginalizzazione
Elaborazione Completamente Asincrona: utilizza EKLT per rilevamento e tracciamento di caratteristiche guidati dagli eventi, preservando la caratteristica di alta risoluzione temporale della telecamera event
Input: flusso di eventi asincrono e dati di misurazione IMU
Output: stima della traiettoria SE(3) (inclusi posizione, orientamento e velocità)
Vincoli: gestire l'associazione di dati asincroni, mantenere l'efficienza computazionale
dove ϖbwb(t) è la velocità nel sistema di coordinate del corpo e w(t) è il vettore di accelerazione generalizzata modellato come GP di rumore bianco a media zero.
Modella l'accelerazione relativa e la velocità del vettore di rotazione come GP indipendenti:
ṙbkb(t) ∼ GP(0,kr(t,t'))
abbk(t) ∼ GP(0,ka(t,t'))
Ottiene osservazioni rumorose del GP attraverso stati latenti ρ̂ e α̂, quindi utilizza la capacità di inferenza del GP per calcolare velocità preintegrata, posizione e incrementi di rotazione.
Adotta una strategia di marginalizzazione dinamica, dando priorità alla marginalizzazione degli stati più recenti e dei punti di riferimento correlati, mantenendo la struttura sparsa della matrice Hessiana.
Prestazioni di Precisione: entrambi i metodi mostrano precisione paragonabile ai metodi di ottimizzazione discreta sulla maggior parte delle sequenze, con prestazioni superiori su alcune sequenze
Efficienza Computazionale: GP-IMU, avendo meno variabili, generalmente ha costi computazionali inferiori
Robustezza: GP-IMU è più sensibile al rumore IMU, poiché dipende dal GP guidato da IMU per costruire i residui visivi
Il tracker EKLT occupa circa l'80% del tempo totale, rappresentando la parte più dispendiosa. GP-IMU è più veloce nell'ottimizzazione del grafo, ma leggermente più lento nella preintegrazione IMU.
I metodi di rappresentazione a tempo continuo con GP sono stati utilizzati inizialmente per l'inferenza di traiettorie di movimento da scanner laser e sensori non sincroni. Ricerche recenti hanno applicato i GP ai sistemi di odometria visiva monoculare event, ma presentano problemi di costi computazionali elevati.
Problema di Tempo Reale: poiché il sistema conserva tutte le misurazioni asincrone del frontend per l'ottimizzazione, attualmente non può funzionare in tempo reale
Robustezza Insufficiente: mancano meccanismi di esclusione di outlier o compensazione di movimento
Dipendenza dalla Qualità IMU: il metodo GP-IMU richiede alta qualità dei dati IMU
Limitazione di Movimento Aggressivo: entrambi i metodi potrebbero essere influenzati da cambiamenti di accelerazione drastici
L'articolo cita 26 articoli correlati, coprendo in modo completo e autorevole lavori importanti in aree chiave come rassegne su telecamere event, preintegrazione IMU, stima a tempo continuo e regressione gaussiana.
Valutazione Complessiva: questo è un lavoro innovativo nel campo dell'odometria event-inerziale, il cui framework GP unificato proposto fornisce nuove prospettive per affrontare la fusione di sensori asincroni. Sebbene presenti limitazioni come i problemi di tempo reale, i contributi teorici sono significativi e la valutazione sperimentale è completa, fornendo una base solida per la ricerca successiva in questo campo.