Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
Danial, Asher, Klein
Monocular simultaneous localization and mapping (SLAM) algorithms estimate drone poses and build a 3D map using a single camera. Current algorithms include sparse methods that lack detailed geometry, while learning-driven approaches produce dense maps but are computationally intensive. Monocular SLAM also faces scale ambiguities, which affect its accuracy. To address these challenges, we propose an edge-aware lightweight monocular SLAM system combining sparse keypoint-based pose estimation with dense edge reconstruction. Our method employs deep learning-based depth prediction and edge detection, followed by optimization to refine keypoints and edges for geometric consistency, without relying on global loop closure or heavy neural computations. We fuse inertial data with vision by using an extended Kalman filter to resolve scale ambiguity and improve accuracy. The system operates in real time on low-power platforms, as demonstrated on a DJI Tello drone with a monocular camera and inertial sensors. In addition, we demonstrate robust autonomous navigation and obstacle avoidance in indoor corridors and on the TUM RGBD dataset. Our approach offers an effective, practical solution to real-time mapping and navigation in resource-constrained environments.
academic
التوطين المتزامن ورسم الخرائط ثلاثي الأبعاد شبه الكثيف للطائرات بدون طيار الصغيرة باستخدام كاميرا أحادية وأجهزة استشعار بالقصور الذاتي
تقدم هذه الورقة نظام SLAM أحادي خفيف الوزن يدرك الحواف لمعالجة تحديات التوطين المتزامن ورسم الخرائط (SLAM) للطائرات بدون طيار الصغيرة باستخدام كاميرا أحادية. يجمع النظام بين تقدير الموضع من النقاط الرئيسية المتفرقة وإعادة بناء الحواف الكثيفة، مستخدماً التعلم العميق للتنبؤ بالعمق وكشف الحواف، ويحقق الاتساق الهندسي من خلال التحسين دون الاعتماد على الحلقات المغلقة العالمية أو الشبكات العصبية الثقيلة. يستخدم النظام مرشح كالمان الممتد لدمج البيانات بالقصور الذاتي مع المعلومات البصرية، مما يحل مشكلة الغموض في المقياس ويحسن الدقة. تم تحقيق التشغيل في الوقت الفعلي على طائرة DJI Tello بدون طيار، وأظهر قدرات قوية للملاحة المستقلة وتجنب العوائق على مجموعة بيانات TUM RGBD.
مشكلة الخريطة المتفرقة: أنظمة SLAM التقليدية القائمة على نقاط الميزات (مثل ORB-SLAM) تقدر الموضع بفعالية، لكنها تولد خرائط سحابة نقاط ثلاثية الأبعاد متفرقة جداً، تفتقر إلى الغنى الهيكلي، وغير مناسبة للمهام التي تتطلب فهماً ثلاثي الأبعاد كثيفاً
قيود الموارد الحسابية: الطرق الكثيفة المدفوعة بالتعلم الحالية (مثل NeRF و NICE-SLAM) تتطلب حسابات كثيفة، مما يجعل من الصعب التشغيل في الوقت الفعلي على المنصات المدمجة محدودة الموارد
الغموض في المقياس: عدم اليقين المتأصل في المقياس في SLAM أحادي يؤثر على دقة التوطين
تكلفة التحسين العالمي: يعتمد SLAM التقليدي على كشف الحلقات المغلقة والتعديل الحزمي العالمي، مما يتطلب تكاليف حسابية كبيرة
تتطلب الملاحة المستقلة للطائرات بدون طيار الصغيرة قدرات إدراك ثلاثي الأبعاد دقيقة وفي الوقت الفعلي للملاحة وتجنب العوائق والتفاعل مع البيئة. تحقيق هذا الهدف على منصات مدمجة محدودة الموارد يمثل تحدياً أساسياً في مجال الروبوتات.
خط أنابيب SLAM خفيف الوزن: يدمج الهندسة الإبيبولارية المتفرقة مع التنبؤ بالعمق الكثيف واستخراج الحواف، لتحقيق بناء خريطة شبه كثيفة مرساة بالحواف
خسارة اتساق حلقة الحواف: يقترح قيد اتساق إسقاط الحواف متعدد الآراء دون الحاجة إلى مطابقة حواف صريحة ثنائية الأبعاد
قيود هيكلية تدرك الشكل: تنظيم هندسي قائم على البنية على شكل حرف L، يعزز الاتساق الهيكلي في البيئات الداخلية
تحسين هندسي محلي: تعديل حزمة متعدد الأهداف يحسن بشكل مشترك موضع الكاميرا والنقاط الرئيسية وأجزاء الحواف، دون الحاجة إلى حلقات مغلقة عالمية أو دمج فوكسل كثيف
دمج بصري-قصور ذاتي: استخدام مرشح كالمان الممتد لدمج البيانات بالقصور الذاتي لحل مشكلة الغموض في المقياس
FastDepth (Wofk et al., ICRA 2019): شبكة تقدير عمق خفيفة الوزن
TUM RGB-D (Sturm et al., 2012): مجموعة بيانات تقييم SLAM المعيارية
Bundle Adjustment (Triggs et al., 1999): تقنية تحسين كلاسيكية
Epipolar Geometry (Zhang, 1998): النظرية الأساسية للهندسة الإبيبولارية
Extended Kalman Filter: طريقة معيارية لدمج الحساسات
Edge SLAM (Maity et al., ICCV 2017): عمل رائد في SLAM الحواف
NeRF/NICE-SLAM: طرق التعلم لإعادة البناء الكثيفة
التقييم الإجمالي: هذه ورقة بحثية عملية موجهة نحو SLAM على منصات محدودة الموارد، مع مسار تقني معقول ونتائج تجريبية مقنعة. تكمن المساهمات الرئيسية في الهندسة النظامية والتكامل الطريقة، وليس في اختراق خوارزمية واحدة. تحسن الدقة بنسبة 74.7% والتسريع 100 مرة لهما قيمة عملية حقيقية. ومع ذلك، هناك مجال للتحسن في المقارنات التجريبية والتحليل الاستئصالي والعمق النظري. مناسبة للنشر في مؤتمرات أو مجلات تطبيقات الروبوتات.