2025-11-14T06:07:11.042630

Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework

Li, Wang, Liu et al.

Recent works have combined monocular event camera and inertial measurement unit to estimate the $SE(3)$ trajectory. However, the asynchronicity of event cameras brings a great challenge to conventional fusion algorithms. In this paper, we present an asynchronous event-inertial odometry under a unified Gaussian Process (GP) regression framework to naturally fuse asynchronous data associations and inertial measurements. A GP latent variable model is leveraged to build data-driven motion prior and acquire the analytical integration capacity. Then, asynchronous event-based feature associations and integral pseudo measurements are tightly coupled using the same GP framework. Subsequently, this fusion estimation problem is solved by underlying factor graph in a sliding-window manner. With consideration of sparsity, those historical states are marginalized orderly. A twin system is also designed for comparison, where the traditional inertial preintegration scheme is embedded in the GP-based framework to replace the GP latent variable model. Evaluations on public event-inertial datasets demonstrate the validity of both systems. Comparison experiments show competitive precision compared to the state-of-the-art synchronous scheme.

academic

قياس المسافات غير المتزامن للأحداث والقصور باستخدام إطار عمل موحد للانحدار بعملية غاوسية

المعلومات الأساسية

معرّف الورقة: 2412.03136
العنوان: Asynchronous Event-Inertial Odometry using a Unified Gaussian Process Regression Framework
المؤلفون: Xudong Li, Zhixiang Wang, Zihao Liu, Yizhai Zhang, Fan Zhang, Xiuming Yao, Panfeng Huang
التصنيف: cs.RO (الروبوتات)
تاريخ النشر: 4 ديسمبر 2024 (نسخة أولية من arXiv)
رابط الورقة: https://arxiv.org/abs/2412.03136

الملخص

تقترح هذه الورقة طريقة قياس مسافات غير متزامنة للأحداث والقصور بناءً على إطار عمل موحد للانحدار بعملية غاوسية (GP)، لدمج طبيعي للربط غير المتزامن للبيانات والقياسات بالقصور. تستخدم الطريقة نموذج المتغيرات الكامنة في GP لبناء أولويات الحركة المدفوعة بالبيانات والحصول على قدرات التكامل التحليلي، ثم تدمج بإحكام ربط ميزات الأحداث غير المتزامنة والقياسات الزائفة المتكاملة ضمن نفس إطار عمل GP. يتم حل مشكلة التقدير المدمج من خلال رسم بياني عاملي بنافذة منزلقة، مع مراعاة الندرة للتهميش المرتب للحالات التاريخية. يصمم المؤلفون أيضاً نظاماً مقارناً يدمج مخطط التكامل المسبق للقصور التقليدي في إطار عمل GP. يثبت التقييم على مجموعات بيانات الأحداث والقصور المتاحة للعموم فعالية كلا النظامين، مع إظهار الاختبارات المقارنة دقة مماثلة للأنظمة المتزامنة المتقدمة.

الخلفية البحثية والدافع

تعريف المشكلة

تعمل كاميرات الأحداث كمستشعرات بصرية مستوحاة من البيولوجيا، مع آلية تشغيل غير متزامنة، تسجل بشكل مستقل تغييرات شدة الإضاءة على مستوى كل بكسل. تمنح هذه الآلية الخاصة كاميرات الأحداث مزايا كبيرة مقارنة بالكاميرات التقليدية: استهلاك طاقة منخفض، وتأخير منخفض، ونطاق ديناميكي عالي، وقرار زمني عالي. ومع ذلك، فإن الطبيعة غير المتزامنة لكاميرات الأحداث تشكل تحديات ضخمة لخوارزميات الدمج التقليدية.

قيود الطرق الموجودة

مخططات الوقت المنفصل القائمة على الإطارات: تجميع الأحداث في نوافذ زمنية ثابتة، مما يفقد التنوع الزمني للأحداث، مما يؤدي إلى ضبابية الحركة ويتطلب عمليات إزالة ضبابية إضافية
التكامل المسبق للقصور التقليدي: التطبيق ضمن إطار عمل الوقت المنفصل، مع فقدان الكثير من القياسات الزمنية بين الإطارات، وفقدان معلومات الحركة الدقيقة
الكفاءة الحسابية: عادة ما تستخدم طرق GP الموجودة خلفية تمويه كاملة، بتكلفة حسابية عالية

الدافع البحثي

لاستغلال الخصائص عالية الدقة الزمنية لكاماير الأحداث بشكل كامل، هناك حاجة ملحة لإدخال طرق جديدة لدمج الملاحظات غير المتزامنة والعالية الدقة الزمنية للأحداث والقصور. تركز هذه الورقة على مشكلة طريقة دمج القياسات غير المتزامنة، وتقترح حلاً بناءً على إطار عمل GP موحد.

المساهمات الأساسية

إطار عمل GP موحد: اقتراح إطار عمل موحد للانحدار بعملية غاوسية يمكنه التعامل بشكل طبيعي مع دمج ربط ميزات الأحداث غير المتزامنة والقياسات بالقصور
نموذج المتغيرات الكامنة في GP: إدخال نموذج المتغيرات الكامنة إلى إطار عمل الانحدار بـ GP، لتكامل القياسات بالقصور بشكل تحليلي وحث GP مدفوع بالبيانات بشكل ضمني
تصميم نظام مزدوج: تطبيق طريقتي دمج للمقارنة:
- CT-IMU: أولويات GP الندرة + التكامل المسبق للقصور
- GP-IMU: التكامل المسبق للانحدار بـ GP
نافذة منزلقة فعالة: اعتماد تحسين الرسم البياني العاملي بنافذة منزلقة، مع الحفاظ على الكفاءة الحسابية من خلال استراتيجيات التهميش
معالجة غير متزامنة كاملة: استخدام EKLT للكشف والتتبع المدفوع بالأحداث للميزات، مع الحفاظ على خاصية الدقة الزمنية العالية لكاماير الأحداث

شرح الطريقة

تعريف المهمة

الإدخال: تيار أحداث غير متزامن وقياسات القصور الإخراج: تقدير مسار SE(3) (يتضمن الموضع والاتجاه والسرعة) القيود: التعامل مع ربط البيانات غير المتزامن، الحفاظ على الكفاءة الحسابية

معمارية النموذج

1. أولويات GP الندرة

استخدام أولويات الحركة ذات التسارع الضوضائي الأبيض (WNOA) لنمذجة SE(3):

Ṫwb(t) = Twb(t)ϖbwb(t)∧
ϖ̇bwb(t) = w(t), w(t) ∼ GP(0,Qcδ(t-t'))

حيث ϖbwb(t) هي السرعة في إطار الإحداثيات الجسمية، و w(t) هي متجه التسارع المعمم المصمم كـ GP ضوضائي أبيض بمتوسط صفر.

2. التكامل المسبق للانحدار بـ GP

نمذجة التسارع النسبي وسرعة متجه الدوران كـ GP مستقلة:

ṙbkb(t) ∼ GP(0,kr(t,t'))
abbk(t) ∼ GP(0,ka(t,t'))

الحصول على ملاحظات ضوضائية لـ GP من خلال الحالات الكامنة ρ̂ و α̂، ثم استخدام قدرات الاستدلال بـ GP لحساب سرعة التكامل المسبق والموضع وزيادات الدوران.

3. معمارية النظام

يحتوي النظام بأكمله على خيطين متوازيين:

واجهة أمامية لتتبع الميزات غير المتزامنة: استخدام EKLT للكشف والتتبع المدفوع بالأحداث للميزات
خلفية قائمة على GP بنافذة منزلقة: معالجة إدارة الميزات والتثليث وتحسين الرسم البياني العاملي

نقاط الابتكار التقني

1. تصميم الإطار الموحد

تعمل كلا الطريقتين ضمن نفس إطار عمل GP، لكنهما تتعاملان مع بيانات القصور بطرق مختلفة:

CT-IMU: الاستعلام عن الحالات على المسار الزمني المستمر، دمج قياسات القصور بشكل منفصل
GP-IMU: الاعتماد على قياسات القصور للاستدلال بالحالة، تقليل قيود أولويات المسار

2. عامل الإسقاط الاستيفائي

الحصول على الموضع والاتجاه Twbτ في لحظة القياس tτ من خلال الاستيفاء بـ GP، مع تعريف خطأ البقايا البصرية كـ:

rV(Twbτ, li, ẑi) = ẑi - (1/di)K(TwbτTbτcτ)T li

3. تحسين النافذة المنزلقة

اعتماد استراتيجية تهميش ديناميكية، مع إعطاء الأولوية لتهميش أحدث الحالات ونقاط المعالم ذات الصلة، مع الحفاظ على البنية الندرة لمصفوفة Hessian.

إعداد التجارب

مجموعات البيانات

مجموعة بيانات DAVIS: استخدام DAVIS240C (240×180) لتسجيل بيانات الحركة العدوانية في سيناريوهات متعددة
مجموعة بيانات MVSEC: استخدام بيانات كاماير الأحداث اليسرى (DAVIS 346B, 346×260)

مؤشرات التقييم

RMS RTE: جذر متوسط مربع خطأ المسار النسبي، لتقييم الدقة
وقت الحساب: متوسط استهلاك الوقت لكل وحدة
حجم الرسم البياني العاملي: مؤشر تعقيد مشكلة التحسين

طرق المقارنة

Vidal et al. 3 (تكوين E+I)
طريقة الأحداث والقصور من Guan & Lu 4
مقارنة داخلية بين الطريقتين المقترحتين

تفاصيل التطبيق

شرط التباين: 8 بكسل
الحد الأدنى لمسار الميزة: 4 مسارات
عدد الحالات الكامنة لـ GP-IMU: 400
الحد الأدنى لحجم النافذة المنزلقة: 40
الفاصل الزمني بين الحالات: 0.05 ثانية

نتائج التجارب

النتائج الرئيسية

التسلسل	CT-IMU	GP-IMU	Ref.4	Ref.3
الترجمة الديناميكية	0.030	0.060	0.056	0.037
6dof ديناميكي	0.076	0.056	0.073	0.040
ترجمة الملصق	0.087	0.082	0.242	0.087
6dof الملصق	0.156	0.084	0.210	0.197
6dof الصناديق	0.347	0.151	0.073	0.078
6dof الأشكال	0.108	0.244	---	0.163

تحليل الأداء

الأداء الدقيق: تظهر كلا الطريقتين دقة مماثلة لطرق التحسين المنفصلة على معظم التسلسلات، مع أداء أفضل على بعض التسلسلات
الكفاءة الحسابية: عادة ما يكون لـ GP-IMU تكلفة حسابية أقل بسبب عدد متغيرات أقل
المتانة: GP-IMU أكثر حساسية لضوضاء القصور، لأنه يعتمد على GP مدفوع بالقصور لبناء البقايا البصرية

تحليل استهلاك الوقت

الطريقة	الواجهة الأمامية	التحسين	التهميش	التكامل المسبق للقصور	أخرى
CT-IMU(s)	1273.97	247.834	3.951	0.177	0.743
GP-IMU(s)	1274.51	182.054	4.914	4.713	0.693

يستهلك متتبع EKLT حوالي 80% من الوقت الإجمالي، وهو الجزء الأكثر استهلاكاً للوقت. يكون GP-IMU أسرع في تحسين الرسم البياني، لكن التكامل المسبق للقصور أبطأ قليلاً.

الأعمال ذات الصلة

تصنيف قياس المسافات للأحداث والقصور

مخططات الوقت المنفصل القائمة على الإطارات: ترث خوارزميات كاماير الإطارات التقليدية، وتجري ربط البيانات على التراكم الحدثي
طرق الوقت المستمر المدفوعة بالأحداث: معالجة مباشرة لتيار الأحداث، مع اعتماد خلفية الوقت المستمر

تطبيقات عملية غاوسية في الروبوتات

استخدمت طرق التمثيل الزمني المستمر بـ GP في وقت مبكر للاستدلال بمسار الحركة لأجهزة استشعار الليزر الماسحة والمستشعرات غير المتزامنة. طبقت الأبحاث الحديثة GP على أنظمة قياس المسافات البصرية للأحداث أحادية العين، لكن توجد مشاكل في التكلفة الحسابية العالية.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

يمكن لكلا طريقتي GP المقترحتين التعامل بفعالية مع مشكلة دمج الأحداث والقصور غير المتزامنة
يتمتع GP-IMU بدقة أعلى على معظم التسلسلات، لكنه أكثر حساسية لضوضاء القصور
تتحكم استراتيجية النافذة المنزلقة بفعالية في التعقيد الحسابي
تظهر الطريقة أداء تنافسية في سيناريوهات الحركة المعقدة

القيود

مشكلة الوقت الفعلي: نظراً لاحتفاظ النظام بجميع قياسات الواجهة الأمامية غير المتزامنة للتحسين، لا يمكن للنظام حالياً العمل في الوقت الفعلي
عدم كفاية المتانة: نقص آليات استبعاد القيم الشاذة أو تعويض الحركة
الاعتماد على جودة القصور: تتطلب طريقة GP-IMU جودة عالية من بيانات القصور
قيود الحركة العدوانية: قد تتأثر كلا الطريقتين في حالات تغييرات التسارع الشديدة

الاتجاهات المستقبلية

استراتيجيات تخفيف الرسم البياني القائمة على نظرية المعلومات، لتحقيق الأداء في الوقت الفعلي
تحسين الواجهة الأمامية لزيادة متانة النظام
تحسين الخوارزمية للقصور منخفض الجودة
التوسع إلى أنماط حركة أكثر تعقيداً

التقييم المتعمق

المزايا

الابتكار النظري: يحل إطار عمل GP الموحد مشكلة الدمج غير المتزامن بذكاء، مع أساس نظري متين
البحث المنهجي: يوفر تصميم النظام المزدوج تحليلاً مقارناً شاملاً
التجارب الشاملة: تقييم مفصل على مجموعات بيانات عامة متعددة
التطبيق الهندسي: يضمن التطبيق المستند إلى GTSAM قابلية إعادة إنتاج الطريقة

أوجه القصور

قيود الوقت الفعلي: لا يمكن حالياً تلبية متطلبات التطبيقات في الوقت الفعلي، مما يحد من القيمة العملية
الاعتماد على الواجهة الأمامية: الاعتماد المفرط على واجهة EKLT الأمامية، مع نقص معالجة الحالات الاستثنائية
نطاق التطبيق: وجود قيود معينة على جودة القصور وأنواع الحركة
نقص التحليل النظري: نقص التحليل المتعمق للاختلافات النظرية بين الطريقتين

التأثير

القيمة الأكاديمية: توفير إطار عمل نظري جديد لدمج كاماير الأحداث والقصور
الإمكانية العملية: بعد حل مشكلة الوقت الفعلي، من المتوقع أن تطبق في مجالات مثل ملاحة الروبوتات
قابلية التوسع: يتمتع الإطار بقابلية توسع جيدة، ويمكن تكييفه مع سيناريوهات دمج مستشعرات أخرى

السيناريوهات المناسبة

البيئات عالية الديناميكية: مناسبة لسيناريوهات الحركة السريعة التي تصعب على الكاماير التقليدية
الموارد الحسابية الكافية: مناسبة للتطبيقات التي تتطلب دقة عالية وموارد حسابية نسبية كافية
منصات البحث: توفير طريقة معيارية قيمة لأبحاث كاماير الأحداث

المراجع

تستشهد هذه الورقة بـ 26 مرجعاً ذا صلة، تغطي المجالات الرئيسية مثل مسوحات كاماير الأحداث والتكامل المسبق للقصور والتقدير الزمني المستمر والانحدار بعملية غاوسية، مع استشهادات مراجع شاملة وموثوقة.

التقييم الإجمالي: هذا عمل مبتكر في مجال قياس المسافات للأحداث والقصور، يقترح إطار عمل GP موحد يوفر أفكاراً جديدة لمعالجة دمج المستشعرات غير المتزامنة. على الرغم من وجود قيود مثل الوقت الفعلي، فإن المساهمات النظرية كبيرة والتقييم التجريبي شامل، مما يضع أساساً جيداً للأبحاث اللاحقة في هذا المجال.