Одновременная локализация и полуплотное 3D-картографирование для микродронов с использованием монокулярной камеры и инерциальных датчиков

Основная информация

• ID статьи: 2511.14335
• Название: Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
• Авторы: Jeryes Danial (Университет Хайфы), Yosi Ben Asher (Университет Хайфы), Itzik Klein (Университет Хайфы)
• Категория: cs.RO (Робототехника)
• Дата публикации: 18 ноября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2511.14335

Аннотация

В данной работе предлагается облегченная система монокулярного SLAM с учетом краев для решения задач одновременной локализации и картографирования (SLAM) микродронов с использованием монокулярной камеры. Система объединяет оценку положения по разреженным ключевым точкам с плотной реконструкцией краев, применяя глубокое обучение для предсказания глубины и обнаружения краев, достигая геометрической согласованности путем оптимизации без необходимости в глобальных циклах замыкания или тяжелых нейросетевых вычислениях. Система использует расширенный фильтр Калмана для слияния инерциальных данных с визуальной информацией, решая проблему неоднозначности масштаба и повышая точность. Система реализована в реальном времени на дроне DJI Tello и демонстрирует надежные возможности автономной навигации и избегания препятствий на наборе данных TUM RGBD.

Исследовательский контекст и мотивация

Основные проблемы, которые необходимо решить

1. Проблема разреженной карты: Традиционные системы SLAM на основе характерных точек (такие как ORB-SLAM) эффективно оценивают положение, но генерируют слишком разреженные облака 3D-точек, лишенные структурного богатства, что неподходящо для задач, требующих плотного 3D-понимания
2. Ограничения вычислительных ресурсов: Существующие методы SLAM, управляемые обучением (такие как NeRF, NICE-SLAM), требуют больших вычислительных затрат и сложно работают в реальном времени на платформах с ограниченными ресурсами
3. Неоднозначность масштаба: Присущая монокулярному SLAM неопределенность масштаба влияет на точность локализации
4. Затраты на глобальную оптимизацию: Традиционный SLAM зависит от обнаружения циклов замыкания и глобальной регулировки пучка, требуя больших вычислительных затрат

Значимость исследования

Автономная навигация микродронов требует возможности реального времени и точного 3D-восприятия для навигации, избегания препятствий и взаимодействия с окружающей средой. Достижение этой цели на платформах с ограниченными ресурсами является ключевой задачей в области робототехники.

Ограничения существующих методов

• ORB-SLAM: Генерирует только разреженные 3D-точки, лишенные деталей структуры
• Edge SLAM: Хотя и может генерировать полуплотные карты, зависит от глобальной оптимизации с большими вычислительными затратами, отслеживание на основе оптического потока вносит шум
• DeepTAM/D3VO: Методы глубокого обучения имеют большое количество параметров и высокую вычислительную сложность, неподходящи для низкопотребляющих устройств
• NeRF/NICE-SLAM: Требуют высокопроизводительного GPU, предполагают статические сцены, лишены реальной производительности

Исследовательская мотивация

Разработать облегченную систему SLAM в реальном времени, способную генерировать полуплотные карты на платформах с ограниченными ресурсами, одновременно сохраняя высокую точность оценки положения.

Основные вклады

1. Облегченный конвейер SLAM: Интеграция разреженной эпиполярной геометрии с плотным предсказанием глубины и извлечением краев для построения полуплотных карт, привязанных к краям
2. Потеря циклической согласованности краев: Предложено ограничение согласованности проекции краев в многовидовом представлении без необходимости в явном сопоставлении краев 2D-2D
3. Ограничения структуры, учитывающие форму: Геометрическая регуляризация на основе L-образных структур, повышающая структурную согласованность в помещениях
4. Локальная геометрическая оптимизация: Многоцелевая регулировка пучка, совместно оптимизирующая положение камеры, ключевые точки и сегменты краев без необходимости в глобальных циклах замыкания или плотном слиянии вокселей
5. Слияние визуальной и инерциальной информации: Использование расширенного фильтра Калмана для слияния инерциальных данных для решения проблемы неоднозначности масштаба

Подробное описание метода

Определение задачи

Входные данные:

• Последовательность изображений монокулярной камеры
• Данные инерциального измерительного блока (IMU) (линейная скорость, углы Эйлера)
• Матрица внутренних параметров камеры K

Выходные данные:

• Траектория положения камеры {Ti} ∈ SE(3)
• Полуплотная 3D-карта краев
• Разреженная 3D-карта ключевых точек

Ограничения: Требование реального времени, платформы с ограниченными ресурсами (например, дрон DJI Tello)

Архитектура модели

Система использует четырехпоточную параллельную архитектуру (как показано на рисунке 1):

Поток 1: Предварительная обработка изображений и извлечение признаков (синий)

1. Обнаружение ключевых точек ORB: Извлечение ORB-признаков и дескрипторов
2. Обнаружение краев Canny: Обнаружение краев изображения
3. Предсказание глубины: Использование предварительно обученной CNN FastDepth (на основе архитектуры MobileNet-NNConv5) для предсказания плотной карты глубины
4. Сопоставление признаков: Сопоставление дескрипторов ORB с использованием расстояния Хэмминга, ускорение поиска ближайшего соседа с помощью KD-дерева

Поток 2: Оценка положения и слияние датчиков (зеленый)

Оценка относительного положения:

• Оценка существенной матрицы E из сопоставленных ORB-признаков через эпиполярную геометрию:

  u_j^T E_ij u_i = 0
  

• Использование RANSAC для удаления выбросов, разложение SVD для восстановления относительного поворота R_ij и трансляции t_ij

Слияние расширенного фильтра Калмана:

Вектор состояния:

x = [p, α]^T = [x, y, z, φ, θ, ψ]^T

где p — глобальное положение, α — углы Эйлера (крен, тангаж, рыскание)

Этап предсказания:

p_{k|k-1} = p_{k-1} + R_imu(α_{k-1}) · v_imu · Δt

Адаптивный процессный шум:

Q_k = β · (1 - b_k + λτ) · I_6

где b_k — уровень заряда батареи, τ — время с момента последнего визуального обновления, учитывающее снижение точности данных SDK при снижении заряда батареи и течением времени

Обновление измерения:

• Наблюдение 1: Углы Эйлера из SDK z_api = α_api
• Наблюдение 2: Оценка глобального положения из визуальной одометрии (путем накопления относительных положений)

Поток 3: Генерация плотной карты краев и 3D-якорей (желтый)

Используя карту глубины и оцененное положение камеры, реконструкция 3D-точек (якорей) путем триангуляции:

P^k* = argmin_P ||u_i^k - π(K P)||^2 + ||u_j^k - π(K[R_ij* P + t_ij*])||^2

Поток 4: Локальная оптимизация с учетом краев (розовый)

Проектирование многоцелевой функции потерь:

1. Потеря переноса проекции (разреженные ключевые точки):

L_reproj = Σ_i,k ||u_ik - u_ik^proj||^2

где u_ik^proj = π(R_i P^k + t_i)

2. Потеря циклической согласованности (плотные точки краев): Реализация проверки замкнутого преобразования для проверки согласованности точек краев:

P_i = π^{-1}(u_i*, d_i) → P_j = T_{i,j} · P_i → u_j = π(P_j)
→ P'_j = π^{-1}(u_j, d_j) → P'_i = T_{i,j}^{-1} · P'_j → u'_i = π(P'_i)

L_cycle = Σ_{u_i* ∈ E} ||u_i* - u'_i||^2

3. Потеря L-образной структуры (геометрическая регуляризация):
   • Согласованность углов:

   L_angle = (1/N) Σ_i (cos(θ_proj^(i)) - cos(θ_expected^(i)))^2
   

   • Ограничение коллинеарности:

   L_collinear = (1/N) Σ_i [(1/M_1^(i)) Σ_j d_{j,1}^2 + (1/M_2^(i)) Σ_k d_{k,2}^2]
   

   • Комбинированная потеря:

   L_Lshape = λ_θ L_angle + λ_col L_collinear
   

Общая цель оптимизации:

min_{P_w, T_w, D_w} L_total = λ_reproj L_reproj + λ_cycle L_cycle + λ_shape L_Lshape

Алгоритм оптимизации: Использование алгоритма Левенберга-Маркварда для решения нелинейной задачи наименьших квадратов, балансирование между методом Гаусса-Ньютона и градиентным спуском

Технические инновации

1. Картографирование полуплотных краев с учетом краев: Объединение разреженных ключевых точек и плотных краев, достижение баланса между вычислительной эффективностью и деталями карты
2. Без явного сопоставления краев: Избежание сложного поиска соответствия краев 2D-2D через потерю циклической согласованности
3. Регуляризация, учитывающая структуру: Использование L-образного геометрического приоритета в помещениях для повышения качества реконструкции
4. Стратегия локальной оптимизации: Избежание обнаружения глобальных циклов замыкания, снижение вычислительной сложности
5. Адаптивное слияние датчиков: Моделирование процессного шума с учетом уровня заряда батареи и времени

Стратегии решения проблем оптимизации

1. Нелинейные задачи: Использование регуляризации и алгоритма Левенберга-Маркварда для стабилизации сходимости
2. Сингулярность: Диагональная регуляризация (μI) обеспечивает обратимость
3. Плохо обусловленная матрица Якоби: Повышение диспаритета путем косого движения камеры (например, зигзагообразная траектория)
4. Дисбаланс потерь: Адаптивная регулировка весов на основе неопределенности

Экспериментальная установка

Наборы данных

1. Эталонный набор данных TUM RGB-D
   • 23 последовательности в помещении, продолжительность 2-10 минут
   • Включает синхронизированные RGB-D-изображения и наземные истинные положения
   • Разнообразные режимы движения, углы обзора и условия освещения
   • Опубликовано командой TUM CVPR, лицензия Creative Commons
2. Набор данных для обучения оценке глубины
   • Модель FastDepth предварительно обучена на наборе данных NYU Depth v2
   • Использование MobileNet в качестве магистральной сети
   • Использование глубоко разделяемых сверток для снижения сложности
3. Реальная платформа тестирования
   • Дрон DJI Tello
   • Монокулярная камера + инерциальные датчики
   • Окружение внутреннего коридора

Метрики оценки

1. Абсолютная ошибка положения (APE):

APE_i = ||t_est^i - t_gt^i||_2

Измерение мгновенной евклидовой ошибки расстояния для каждой временной метки

2. Абсолютная ошибка траектории (ATE):

ATE_RMS = sqrt((1/N) Σ_i ||T_gt^{-1}_i T_est_i||_F^2)

Оценка глобального дрейфа всей последовательности (включая трансляцию и поворот)

Методы сравнения

• ORB-SLAM2: Базовый метод, представляющий традиционный разреженный SLAM на основе признаков

Детали реализации

• Платформа: Ubuntu 16.04 ноутбук
• Сеть глубины: Предварительно обученный FastDepth (MobileNet-NNConv5)
• Обнаружение признаков: ORB + обнаружение краев Canny
• Окно оптимизации: Локальная регулировка пучка скользящего окна
• Параметры веса: λ_reproj, λ_cycle, λ_shape (конкретные значения не указаны в статье)
• Параметры EKF: β, λ для адаптивного процессного шума

Результаты экспериментов

Основные результаты

Количественная оценка на наборе данных TUM RGB-D (таблица I):

Ключевые выводы:

• Снижение RMSE на 74.7%, значительное повышение точности траектории
• Снижение стандартного отклонения на 98.4%, демонстрирующее более стабильную оценку положения
• Снижение средней ошибки на 76.5%, меньшие систематические ошибки

Качественная оценка карты

Картографирование на ранних этапах (рисунок 4):

• Метод данной работы может генерировать четкую и точную 3D-карту краев с начальных кадров
• Облако точек ORB-SLAM2 имеет плохую интерпретируемость на ранних этапах

Картографирование полной последовательности (рисунок 5):

• Метод данной работы сохраняет высокую точность после обработки полной последовательности без дрейфа
• Карта ORB-SLAM2 имеет низкую четкость и интерпретируемость

Окружение лаборатории (рисунок 6):

• От начала до конца последовательности метод данной работы сохраняет высокоточную 3D-карту краев
• Отсутствие дрейфа или накопления ошибок, подтверждающее надежность и надежность системы

Вычислительная эффективность

Ключевые показатели производительности:

• Скорость создания карты краев на основе ORB примерно в 100 раз быстрее, чем ORB-SLAM
• Поддержка развертывания на небольших аппаратных платформах, таких как Raspberry Pi Zero
• Реализация истинной обработки в реальном времени

Экспериментальные выводы

1. Преимущества усиления краев: Полуплотная карта краев обеспечивает более богатую структурную информацию, чем разреженное облако точек
2. Эффективность локальной оптимизации: Возможность сохранения долгосрочной согласованности без глобальных циклов замыкания
3. Ценность слияния датчиков: Слияние EKF эффективно решает проблему неоднозначности масштаба монокулярного видения
4. Облегченное глубокое обучение: FastDepth удовлетворяет требованиям реального времени при сохранении точности
5. Роль структурного приоритета: L-образные ограничения значительно повышают качество реконструкции в помещениях

Связанные работы

Традиционные методы SLAM

• Серия ORB-SLAM: Классический метод на основе разреженных признаков, зависящий от глобальной оптимизации
• Voxel Map: Улучшенный поиск и вывод видимости, но все еще разреженный
• SfM: Базовая техника реконструкции 3D-структуры из нескольких изображений

Визуально-инерциальная одометрия

• Методы на основе EKF: Быстрая и эффективная оценка положения (например, VINS-Mono, MSCKF-DVIO)
• Ограничения: Обычно генерируют разреженные облака 3D-точек

Управляемый обучением плотный SLAM

• DeepTAM: Глубокие нейронные сети генерируют плотные карты глубины, но ограниченная точность и большие вычислительные затраты
• D3VO: Высокая точность, но сложная модель, неподходящая для низкопотребляющих устройств
• NeRF/NICE-SLAM: Высокоточная реконструкция, но требуют высокопроизводительного GPU и статических сцен
• NeuralRecon: Слияние глубины и положения, вычислительно невозможно

Edge SLAM

• Edge SLAM: Генерирует полуплотные карты, но зависит от глобальной оптимизации, отслеживание на основе оптического потока вносит шум

Преимущества данной работы

• Объединение традиционных геометрических методов и облегченного глубокого обучения
• Локальная оптимизация вместо глобальных циклов замыкания
• Подходит для реального времени на платформах с ограниченными ресурсами

Выводы и обсуждение

Основные выводы

1. Предложенная система SLAM с учетом краев достигает реального времени и точного 3D-картографирования на платформах с ограниченными ресурсами
2. По сравнению с ORB-SLAM2, RMSE оценки траектории и положения улучшен на 74.5%
3. Генерируемая полуплотная карта более точна и детальна
4. Скорость обработки примерно в 100 раз быстрее, чем ORB-SLAM, поддерживая встроенное развертывание

Ограничения

1. Предположения об окружающей среде: L-образные ограничения структуры в основном применимы к помещениям с искусственной средой, могут быть неподходящи в естественных сценах
2. Зависимость от глубины: Зависит от предварительно обученной модели FastDepth, производительность может снизиться в сценах вне области обучения
3. Динамические сцены: Статья не явно обсуждает обработку динамических объектов
4. Настройка параметров: Несколько параметров веса (λ_reproj, λ_cycle, λ_shape) требуют ручной настройки
5. Долгосрочный дрейф: Хотя локальная согласованность хорошая, отсутствие глобальных циклов замыкания может привести к накоплению ошибок в очень длинных последовательностях
6. Недостаточный количественный анализ: Сравнение только с ORB-SLAM2, отсутствие сравнения с другими современными методами

Будущие направления

Статья не явно предлагает, но потенциальные направления включают:

1. Расширение на открытые и неструктурированные окружения
2. Интеграция облегченного механизма обнаружения циклов замыкания
3. Обработка динамических объектов и окклюзии
4. Адаптивное обучение весов
5. Слияние нескольких датчиков (например, лидар)

Глубокая оценка

Преимущества

Техническая инновативность:

1. Проектирование гибридной архитектуры: Умелое объединение разреженной геометрии и плотного обучения, достижение баланса между точностью и эффективностью
2. Потеря циклической согласованности: Инновационное проектирование ограничений без необходимости в явном сопоставлении краев
3. Регуляризация, учитывающая структуру: Использование приоритетов окружающей среды для повышения качества реконструкции
4. Адаптивное слияние датчиков: Моделирование процессного шума с учетом уровня заряда батареи имеет практическое значение

Полнота экспериментов:

1. Проверка на стандартном наборе данных (TUM RGB-D) и реальной платформе (DJI Tello)
2. Количественные и качественные результаты взаимно подтверждают друг друга
3. Полный анализ вычислительной эффективности (100-кратное ускорение)

Убедительность результатов:

1. 74.7% улучшение RMSE значительно
2. 98.4% снижение стандартного отклонения доказывает стабильность
3. Визуализированные результаты четко демонстрируют преимущества полуплотной карты

Ясность написания:

1. Четкое определение проблемы, строгие математические выводы
2. Интуитивная диаграмма архитектуры системы
3. Четырехпоточный дизайн легко понять

Недостатки

Ограничения метода:

1. Способность к обобщению: L-образные ограничения ограничивают область применения метода
2. Долгосрочная согласованность: Отсутствие глобальных циклов замыкания может вызвать проблемы в крупномасштабных сценах
3. Зависимость от качества глубины: FastDepth может отказать в некоторых сценах

Дефекты экспериментальной установки:

1. Единственный метод сравнения: Сравнение только с ORB-SLAM2, отсутствие сравнения с Edge SLAM, VINS-Mono и другими методами
2. Отсутствие установки параметров: Не предоставлены значения ключевых параметров λ_reproj, λ_cycle, λ_shape
3. Недостаточные абляционные исследования: Не проведен отдельный анализ вклада каждого члена потерь
4. Ограничение набора данных: Тестирование в основном в помещениях, производительность на открытом воздухе неизвестна

Недостаточный анализ:

1. Случаи отказа: Не обсуждаются ситуации, когда метод не работает
2. Анализ вычислений: Отсутствует подробный анализ потребления времени и памяти
3. Тестирование надежности: Не протестирована чувствительность к шуму, окклюзии и изменениям освещения
4. Теоретический анализ: Отсутствуют гарантии сходимости и границы ошибок

Влияние

Вклад в область:

1. Предоставление практического решения для SLAM на платформах с ограниченными ресурсами
2. Демонстрация потенциала объединения традиционных методов и облегченного глубокого обучения
3. Идея картографирования с учетом краев может вдохновить последующие исследования

Практическая ценность:

1. Успешное развертывание на DJI Tello доказывает практичность
2. 100-кратное ускорение делает встроенные приложения возможными
3. Полуплотная карта подходит для навигации и избегания препятствий

Воспроизводимость:

• Средняя: Статья предоставляет детали метода, но отсутствуют код, полные установки параметров и детали обучения
• Использование открытой модели FastDepth помогает воспроизведению
• Четырехпоточная архитектура ясна, но детали реализации нуждаются в дополнении

Применимые сценарии

Подходящие приложения:

1. Навигация внутреннего дрона: Коридоры, склады, внутренние помещения зданий
2. Робот с ограниченными ресурсами: Низкопотребляющие мобильные платформы
3. Избегание препятствий в реальном времени: Сценарии, требующие быстрого отклика
4. Структурированная окружающая среда: Искусственные здания, промышленные объекты

Неподходящие сценарии:

1. Открытая естественная окружающая среда: Отсутствие L-образных структур
2. Высокодинамичные сцены: Быстро движущиеся объекты
3. Крупномасштабное картографирование: Отсутствие глобальных циклов замыкания
4. Высокоточные приложения: Такие как точные измерения (относительная ошибка все еще 4.6 см)

Библиография

Ключевые цитирования:

1. Серия ORB-SLAM: Классический разреженный базовый SLAM
2. FastDepth (Wofk et al., ICRA 2019): Облегченная сеть оценки глубины
3. TUM RGB-D (Sturm et al., 2012): Стандартный набор данных оценки SLAM
4. Bundle Adjustment (Triggs et al., 1999): Классическая техника оптимизации
5. Epipolar Geometry (Zhang, 1998): Теория основ эпиполярной геометрии
6. Extended Kalman Filter: Стандартный метод слияния датчиков
7. Edge SLAM (Maity et al., ICCV 2017): Пионерская работа по краевому SLAM
8. NeRF/NICE-SLAM: Методы обучения для плотной реконструкции

Общая оценка: Это практическое исследование SLAM для платформ с ограниченными ресурсами с разумной технической маршрутизацией и убедительными результатами экспериментов. Основной вклад заключается в системной инженерии и интеграции методов, а не в единственном алгоритмическом прорыве. 74.7% улучшение точности и 100-кратное ускорение имеют практическую ценность. Однако статья имеет пространство для улучшения в экспериментальном сравнении, абляционном анализе и теоретической глубине. Подходит для публикации в конференциях или журналах, посвященных приложениям робототехники.