2025-11-14T06:07:11.042630

Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework

Li, Wang, Liu et al.
Recent works have combined monocular event camera and inertial measurement unit to estimate the $SE(3)$ trajectory. However, the asynchronicity of event cameras brings a great challenge to conventional fusion algorithms. In this paper, we present an asynchronous event-inertial odometry under a unified Gaussian Process (GP) regression framework to naturally fuse asynchronous data associations and inertial measurements. A GP latent variable model is leveraged to build data-driven motion prior and acquire the analytical integration capacity. Then, asynchronous event-based feature associations and integral pseudo measurements are tightly coupled using the same GP framework. Subsequently, this fusion estimation problem is solved by underlying factor graph in a sliding-window manner. With consideration of sparsity, those historical states are marginalized orderly. A twin system is also designed for comparison, where the traditional inertial preintegration scheme is embedded in the GP-based framework to replace the GP latent variable model. Evaluations on public event-inertial datasets demonstrate the validity of both systems. Comparison experiments show competitive precision compared to the state-of-the-art synchronous scheme.
academic

असिंक्रोनस इवेंट-इनर्शियल ओडोमेट्री एकीकृत गॉसियन प्रक्रिया प्रतिगमन ढांचे का उपयोग करते हुए

मूल जानकारी

  • पेपर आईडी: 2412.03136
  • शीर्षक: असिंक्रोनस इवेंट-इनर्शियल ओडोमेट्री एकीकृत गॉसियन प्रक्रिया प्रतिगमन ढांचे का उपयोग करते हुए
  • लेखक: Xudong Li, Zhixiang Wang, Zihao Liu, Yizhai Zhang, Fan Zhang, Xiuming Yao, Panfeng Huang
  • वर्गीकरण: cs.RO (रोबोटिक्स)
  • प्रकाशन तिथि: 4 दिसंबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2412.03136

सारांश

यह पेपर एकीकृत गॉसियन प्रक्रिया (GP) प्रतिगमन ढांचे पर आधारित एक असिंक्रोनस इवेंट-इनर्शियल ओडोमेट्री विधि प्रस्तावित करता है, जो असिंक्रोनस डेटा संबंध और जड़त्वीय माप को स्वाभाविक रूप से एकीकृत करता है। यह विधि GP अव्यक्त चर मॉडल का उपयोग करके डेटा-संचालित गति पूर्वानुमान का निर्माण करती है और विश्लेषणात्मक एकीकरण क्षमता प्राप्त करती है, फिर एक ही GP ढांचे के तहत असिंक्रोनस इवेंट विशेषता संबंध और एकीकृत छद्म-माप को कसकर युग्मित करती है। स्लाइडिंग विंडो कारक ग्राफ का उपयोग करके एकीकृत अनुमान समस्या को हल किया जाता है, और विरलता को ध्यान में रखते हुए ऐतिहासिक अवस्थाओं को क्रमबद्ध रूप से सीमांतकृत किया जाता है। लेखकों ने एक तुलनात्मक प्रणाली भी डिज़ाइन की है जो पारंपरिक जड़त्वीय पूर्वएकीकरण योजना को GP ढांचे में एम्बेड करती है। सार्वजनिक इवेंट-इनर्शियल डेटासेट पर मूल्यांकन दोनों प्रणालियों की प्रभावशीलता को प्रमाणित करता है, तुलनात्मक प्रयोग अत्याधुनिक सिंक्रोनस योजनाओं के बराबर सटीकता दिखाते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इवेंट कैमरा जैविक-प्रेरित दृश्य सेंसर के रूप में, असिंक्रोनस ट्रिगर तंत्र रखते हैं, जो प्रत्येक पिक्सेल स्तर पर स्वतंत्र रूप से प्रकाश तीव्रता परिवर्तन को रिकॉर्ड करते हैं। यह विशेष तंत्र इवेंट कैमरा को पारंपरिक कैमरा की तुलना में महत्वपूर्ण लाभ प्रदान करता है: कम शक्ति खपत, कम विलंबता, उच्च गतिशील रेंज और उच्च समय संकल्प। हालांकि, इवेंट कैमरा की असिंक्रोनस प्रकृति पारंपरिक एकीकरण एल्गोरिदम के लिए विशाल चुनौतियां प्रस्तुत करती है।

मौजूदा विधियों की सीमाएं

  1. फ्रेम-आधारित असतत समय योजना: इवेंट को निश्चित समय विंडो के इवेंट फ्रेम में जमा करना, इवेंट की समय विविधता को खो देना, गति धुंधलापन का कारण बनता है और अतिरिक्त डीब्लर संचालन की आवश्यकता होती है
  2. पारंपरिक IMU पूर्वएकीकरण: असतत समय ढांचे के भीतर लागू, फ्रेम के बीच कई समय माप खो जाते हैं, सूक्ष्म-दानेदार गति जानकारी खो जाती है
  3. कम्प्यूटेशनल दक्षता: मौजूदा GP विधियां आमतौर पर पूर्ण स्मूथिंग बैकएंड का उपयोग करती हैं, जिसमें उच्च कम्प्यूटेशनल लागत होती है

अनुसंधान प्रेरणा

इवेंट कैमरा की उच्च समय संकल्प विशेषताओं का पूरी तरह से लाभ उठाने के लिए, असिंक्रोनस और उच्च समय संकल्प वाले इवेंट-इनर्शियल अवलोकनों को एकीकृत करने के लिए नई विधियों की तत्काल आवश्यकता है। यह पेपर असिंक्रोनस माप एकीकरण विधि समस्या पर ध्यान केंद्रित करता है, एकीकृत GP ढांचे पर आधारित समाधान प्रस्तावित करता है।

मुख्य योगदान

  1. एकीकृत GP ढांचा: एक एकीकृत गॉसियन प्रक्रिया प्रतिगमन ढांचा प्रस्तावित करता है जो असिंक्रोनस इवेंट विशेषता संबंध और जड़त्वीय माप के एकीकरण को स्वाभाविक रूप से संभाल सकता है
  2. GP अव्यक्त चर मॉडल: GP प्रतिगमन ढांचे में अव्यक्त चर मॉडल पेश करता है, जड़त्वीय माप को विश्लेषणात्मक रूप से एकीकृत करने और निहित रूप से डेटा-संचालित GP को प्रेरित करने के लिए
  3. दोहरी प्रणाली डिजाइन: दो एकीकरण विधियों की तुलनात्मक प्रणाली लागू करता है:
    • CT-IMU: विरल GP पूर्वानुमान + IMU पूर्वएकीकरण
    • GP-IMU: GP प्रतिगमन पूर्वएकीकरण
  4. कुशल स्लाइडिंग विंडो: स्लाइडिंग विंडो कारक ग्राफ अनुकूलन को अपनाता है, सीमांतकरण रणनीति के माध्यम से कम्प्यूटेशनल दक्षता बनाए रखता है
  5. पूर्ण असिंक्रोनस प्रसंस्करण: इवेंट-संचालित विशेषता पहचान और ट्रैकिंग के लिए EKLT का उपयोग करता है, इवेंट कैमरा की उच्च समय संकल्प विशेषता को बनाए रखता है

विधि विवरण

कार्य परिभाषा

इनपुट: असिंक्रोनस इवेंट स्ट्रीम और IMU माप डेटा आउटपुट: SE(3) प्रक्षेपवक्र अनुमान (स्थिति, मुद्रा और वेग सहित) बाधाएं: असिंक्रोनस डेटा संबंध को संभालना, कम्प्यूटेशनल दक्षता बनाए रखना

मॉडल आर्किटेक्चर

1. विरल GP पूर्वानुमान

सफेद शोर त्वरण (WNOA) गति पूर्वानुमान का उपयोग करके SE(3) को मॉडल करता है:

Ṫwb(t) = Twb(t)ϖbwb(t)∧
ϖ̇bwb(t) = w(t), w(t) ∼ GP(0,Qcδ(t-t'))

जहां ϖbwb(t) शरीर समन्वय प्रणाली वेग है, w(t) सामान्यीकृत त्वरण वेक्टर है जो शून्य माध्य सफेद शोर GP के रूप में मॉडल किया गया है।

2. GP प्रतिगमन पूर्वएकीकरण

सापेक्ष त्वरण और घूर्णन वेक्टर वेग को स्वतंत्र GP के रूप में मॉडल करता है:

ṙbkb(t) ∼ GP(0,kr(t,t'))
abbk(t) ∼ GP(0,ka(t,t'))

अव्यक्त अवस्थाओं ρ̂ और α̂ के माध्यम से GP के शोर अवलोकन प्राप्त करता है, फिर पूर्वएकीकृत वेग, स्थिति और घूर्णन वृद्धि की गणना के लिए GP की अनुमान क्षमता का उपयोग करता है।

3. प्रणाली आर्किटेक्चर

संपूर्ण प्रणाली में दो समानांतर थ्रेड शामिल हैं:

  • असिंक्रोनस विशेषता ट्रैकिंग फ्रंटएंड: इवेंट-संचालित विशेषता पहचान और ट्रैकिंग के लिए EKLT का उपयोग करता है
  • GP-आधारित स्लाइडिंग विंडो बैकएंड: विशेषता प्रबंधन, त्रिकोणीकरण और कारक ग्राफ अनुकूलन को संभालता है

तकनीकी नवाचार

1. एकीकृत ढांचा डिजाइन

दोनों विधियां एक ही GP ढांचे के तहत काम करती हैं, लेकिन IMU डेटा को अलग तरीके से संभालती हैं:

  • CT-IMU: निरंतर समय प्रक्षेपवक्र पर अवस्थाओं को क्वेरी करता है, अलग से IMU माप को एकीकृत करता है
  • GP-IMU: अवस्था अनुमान के लिए IMU माप पर निर्भर करता है, प्रक्षेपवक्र पूर्वानुमान बाधाओं को कम करता है

2. प्रक्षेप प्रक्षेपण कारक

GP प्रक्षेप के माध्यम से माप समय tτ पर मुद्रा Twbτ प्राप्त करता है, दृश्य अवशेष त्रुटि को परिभाषित किया जाता है:

rV(Twbτ, li, ẑi) = ẑi - (1/di)K(TwbτTbτcτ)T li

3. स्लाइडिंग विंडो अनुकूलन

गतिशील सीमांतकरण रणनीति को अपनाता है, सबसे नई अवस्थाओं और संबंधित स्थलचिह्नों को सीमांतकृत करने को प्राथमिकता देता है, Hessian मैट्रिक्स की विरल संरचना को बनाए रखता है।

प्रयोगात्मक सेटअप

डेटासेट

  • DAVIS डेटासेट: कई दृश्यों में DAVIS240C (240×180) द्वारा रिकॉर्ड किए गए आक्रामक गति डेटा का उपयोग करता है
  • MVSEC डेटासेट: बाएं इवेंट कैमरा (DAVIS 346B, 346×260) डेटा का उपयोग करता है

मूल्यांकन मेट्रिक्स

  • RMS RTE: सापेक्ष प्रक्षेपवक्र त्रुटि का मूल माध्य वर्ग, सटीकता मूल्यांकन के लिए
  • कम्प्यूटेशनल समय: विभिन्न मॉड्यूल की औसत समय खपत
  • कारक ग्राफ स्केल: अनुकूलन समस्या की जटिलता संकेतक

तुलनात्मक विधियां

  • Vidal et al. 3 (E+I कॉन्फ़िगरेशन)
  • Guan & Lu 4 की इवेंट-इनर्शियल विधि
  • दो प्रस्तावित विधियों की आंतरिक तुलना

कार्यान्वयन विवरण

  • दृश्य अंतर शर्त: 8 पिक्सेल
  • न्यूनतम विशेषता प्रक्षेपवक्र: 4
  • GP-IMU अव्यक्त अवस्था संख्या: 400
  • स्लाइडिंग विंडो न्यूनतम आकार: 40
  • अवस्थाओं के बीच समय अंतराल: 0.05 सेकंड

प्रयोगात्मक परिणाम

मुख्य परिणाम

अनुक्रमCT-IMUGP-IMURef.4Ref.3
गतिशील अनुवाद0.0300.0600.0560.037
गतिशील 6dof0.0760.0560.0730.040
पोस्टर अनुवाद0.0870.0820.2420.087
पोस्टर 6dof0.1560.0840.2100.197
बॉक्स 6dof0.3470.1510.0730.078
आकार 6dof0.1080.244---0.163

प्रदर्शन विश्लेषण

  1. सटीकता प्रदर्शन: दोनों विधियां अधिकांश अनुक्रमों पर असतत अनुकूलन विधियों के बराबर सटीकता प्रदर्शित करती हैं, कुछ अनुक्रमों पर बेहतर प्रदर्शन करती हैं
  2. कम्प्यूटेशनल दक्षता: GP-IMU कम चर के कारण आमतौर पर कम कम्प्यूटेशनल लागत रखता है
  3. मजबूती: GP-IMU IMU शोर के प्रति अधिक संवेदनशील है, क्योंकि यह दृश्य अवशेष बनाने के लिए IMU-संचालित GP पर निर्भर करता है

समय खपत विश्लेषण

विधिफ्रंटएंडअनुकूलनसीमांतकरणIMU पूर्वएकीकरणअन्य
CT-IMU(s)1273.97247.8343.9510.1770.743
GP-IMU(s)1274.51182.0544.9144.7130.693

EKLT ट्रैकर कुल समय का लगभग 80% उपयोग करता है, सबसे समय-गहन भाग है। GP-IMU ग्राफ अनुकूलन में तेज है, लेकिन IMU पूर्वएकीकरण थोड़ा धीमा है।

संबंधित कार्य

इवेंट-इनर्शियल ओडोमेट्री वर्गीकरण

  1. फ्रेम-आधारित असतत समय योजना: पारंपरिक फ्रेम कैमरा एल्गोरिदम को विरासत में लेता है, इवेंट संचय पर डेटा संबंध करता है
  2. इवेंट-संचालित निरंतर समय विधि: इवेंट स्ट्रीम को सीधे संभालता है, निरंतर समय बैकएंड को अपनाता है

रोबोटिक्स में गॉसियन प्रक्रिया के अनुप्रयोग

GP निरंतर समय प्रतिनिधित्व विधि शुरुआत में स्कैन लेजर रडार और गैर-सिंक्रोनस सेंसर की गति प्रक्षेपवक्र अनुमान के लिए उपयोग की गई थी। हाल के अनुसंधान ने GP को एकल-नेत्र इवेंट दृश्य ओडोमेट्री प्रणाली में लागू किया है, लेकिन उच्च कम्प्यूटेशनल लागत की समस्या मौजूद है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. दोनों प्रस्तावित GP विधियां असिंक्रोनस इवेंट-इनर्शियल एकीकरण समस्या को प्रभावी ढंग से संभाल सकती हैं
  2. GP-IMU अधिकांश अनुक्रमों पर उच्च सटीकता प्रदान करता है, लेकिन IMU शोर के प्रति अधिक संवेदनशील है
  3. स्लाइडिंग विंडो रणनीति कम्प्यूटेशनल जटिलता को प्रभावी ढंग से नियंत्रित करती है
  4. विधि जटिल गति दृश्यों में प्रतिस्पर्धी प्रदर्शन प्रदर्शित करती है

सीमाएं

  1. वास्तविक समय समस्या: सभी फ्रंटएंड असिंक्रोनस मापों को अनुकूलन के लिए बनाए रखने के कारण, प्रणाली वर्तमान में वास्तविक समय में नहीं चल सकती
  2. अपर्याप्त मजबूती: विसंगति बहिष्कार या गति मुआवजे तंत्र की कमी
  3. IMU गुणवत्ता पर निर्भरता: GP-IMU विधि IMU डेटा गुणवत्ता पर उच्च मांग रखती है
  4. आक्रामक गति सीमा: तीव्र त्वरण परिवर्तन के समय, दोनों विधियां प्रभावित हो सकती हैं

भविष्य की दिशाएं

  1. सूचना-सैद्धांतिक ग्राफ विरलीकरण रणनीति, वास्तविक समय प्रदर्शन प्राप्त करने के लिए
  2. फ्रंटएंड में सुधार, प्रणाली मजबूती बढ़ाने के लिए
  3. कम गुणवत्ता वाले IMU के लिए एल्गोरिदम अनुकूलन
  4. अधिक जटिल गति पैटर्न तक विस्तार

गहन मूल्यांकन

लाभ

  1. सैद्धांतिक नवाचार: एकीकृत GP ढांचा असिंक्रोनस एकीकरण समस्या को चतुराई से हल करता है, सैद्धांतिक आधार मजबूत है
  2. प्रणालीगत अनुसंधान: दोहरी प्रणाली डिजाइन के माध्यम से व्यापक तुलनात्मक विश्लेषण प्रदान करता है
  3. पर्याप्त प्रयोग: कई सार्वजनिक डेटासेट पर विस्तृत मूल्यांकन
  4. इंजीनियरिंग कार्यान्वयन: GTSAM पर आधारित कार्यान्वयन विधि की पुनरुत्पादनीयता सुनिश्चित करता है

कमियां

  1. वास्तविक समय सीमा: वर्तमान में वास्तविक समय अनुप्रयोग आवश्यकताओं को पूरा नहीं कर सकता, व्यावहारिक मूल्य को सीमित करता है
  2. फ्रंटएंड निर्भरता: EKLT फ्रंटएंड पर अत्यधिक निर्भरता, असामान्य स्थितियों के लिए हैंडलिंग की कमी
  3. अनुप्रयोग सीमा: IMU गुणवत्ता और गति प्रकार पर कुछ सीमाएं
  4. सैद्धांतिक विश्लेषण अपर्याप्त: दोनों विधियों के सैद्धांतिक अंतर का गहन विश्लेषण की कमी

प्रभाव

  1. शैक्षणिक मूल्य: इवेंट कैमरा और जड़त्वीय एकीकरण के लिए नई सैद्धांतिक ढांचा प्रदान करता है
  2. व्यावहारिक संभावना: वास्तविक समय समस्या को हल करने के बाद, रोबोट नेविगेशन आदि क्षेत्रों में अनुप्रयोग की संभावना है
  3. विस्तारशीलता: ढांचे में अच्छी विस्तारशीलता है, अन्य सेंसर एकीकरण परिदृश्यों के अनुकूल हो सकता है

लागू दृश्य

  1. उच्च गतिशील वातावरण: पारंपरिक कैमरा के लिए कठिन उच्च गति गति दृश्यों के लिए उपयुक्त
  2. पर्याप्त कम्प्यूटेशनल संसाधन: उच्च सटीकता आवश्यकताओं और अपेक्षाकृत पर्याप्त कम्प्यूटेशनल संसाधनों वाले अनुप्रयोगों के लिए उपयुक्त
  3. अनुसंधान मंच: इवेंट कैमरा अनुसंधान के लिए मूल्यवान बेंचमार्क विधि प्रदान करता है

संदर्भ

यह पेपर 26 संबंधित संदर्भों का हवाला देता है, जिसमें इवेंट कैमरा सर्वेक्षण, IMU पूर्वएकीकरण, निरंतर समय अनुमान, गॉसियन प्रक्रिया प्रतिगमन आदि मुख्य क्षेत्रों के महत्वपूर्ण कार्य शामिल हैं, संदर्भ उद्धरण व्यापक और आधिकारिक है।

समग्र मूल्यांकन: यह इवेंट-इनर्शियल ओडोमेट्री क्षेत्र में नवाचार के साथ एक पेपर है, प्रस्तावित एकीकृत GP ढांचा असिंक्रोनस सेंसर एकीकरण को संभालने के लिए नई सोच प्रदान करता है। यद्यपि वास्तविक समय जैसी सीमाएं मौजूद हैं, सैद्धांतिक योगदान महत्वपूर्ण है, प्रयोगात्मक मूल्यांकन पर्याप्त है, इस क्षेत्र के बाद के अनुसंधान के लिए एक अच्छा आधार स्थापित करता है।