2025-11-19T23:40:14.547880

Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles

Schoenbach, Wiedemann, Memmesheimer et al.
Efficient physics simulation has significantly accelerated research progress in robotics applications such as grasping and assembly. The advent of GPU-accelerated simulation frameworks like Isaac Sim has particularly empowered learning-based methods, enabling them to tackle increasingly complex tasks. The PAL Robotics TIAGo++ Omni is a versatile mobile manipulator equipped with a mecanum-wheeled base, allowing omnidirectional movement and a wide range of task capabilities. However, until now, no model of the robot has been available in Isaac Sim. In this paper, we introduce such a model, calibrated to approximate the behavior of the real robot, with a focus on its omnidirectional drive dynamics. We present two control models for the omnidirectional drive: a physically accurate model that replicates real-world wheel dynamics and a lightweight velocity-based model optimized for learning-based applications. With these models, we introduce a learning-based calibration approach to approximate the real robot's S-shaped velocity profile using minimal trajectory data recordings. This simulation should allow researchers to experiment with the robot and perform efficient learning-based control in diverse environments. We provide the integration publicly at https://github.com/AIS-Bonn/tiago_isaac.
academic

Интеграция робота TIAGo в Isaac Sim с моделированием привода Mecanum и изученными S-образными профилями скорости

Основная информация

  • ID статьи: 2510.10273
  • Название: Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles
  • Авторы: Vincent Schoenbach¹, Marvin Wiedemann², Raphael Memmesheimer¹, Malte Mosbach¹, Sven Behnke¹
  • Учреждения: ¹Университет Бонна (Автономные интеллектуальные системы), ²Институт Фраунгофера материальных потоков и логистики
  • Категория: cs.RO (Робототехника)
  • Дата публикации: 14 октября 2025 г. (arXiv v2)
  • Ссылка на статью: https://arxiv.org/abs/2510.10273
  • Ссылка на код: https://github.com/AIS-Bonn/tiago_isaac

Аннотация

В данной работе представлена интеграция манипулятора PAL Robotics TIAGo++ Omni с всенаправленным приводом в среду моделирования NVIDIA Isaac Sim. Робот оснащён шасси с колёсами Mecanum, обеспечивающими всенаправленную мобильность. Авторы предлагают две модели управления: физически точную модель и облегчённую модель скорости, используя методы обучения для калибровки S-образных кривых скорости робота. Данная модель моделирования предоставляет исследователям эффективную платформу для проведения экспериментов с управлением на основе обучения в разнообразных окружениях.

Научный контекст и мотивация

Определение проблемы

  1. Основная проблема: Отсутствие доступной модели моделирования робота TIAGo++ Omni в Isaac Sim ограничивает возможности исследователей при работе в современной среде моделирования с ускорением на GPU
  2. Технические вызовы:
    • Модели Gazebo несовместимы напрямую с Isaac Sim
    • Всенаправленный привод колёс Mecanum требует точного моделирования, связанного с интенсивными вычислениями физики
    • Отсутствие доступа к внутренним контроллерам затрудняет воспроизведение реального поведения ускорения колёс
    • Традиционная настройка контроллеров PID не может точно отразить поведение реального робота

Значимость исследования

  1. Преимущества моделирования: Современное физическое моделирование стало основой робототехнических исследований, обеспечивая экономически эффективную и масштабируемую среду для обучения и оценки
  2. Потребность в ускорении на GPU: Платформы с ускорением на GPU, такие как Isaac Sim, особенно подходят для методов на основе обучения, позволяя генерировать большие объёмы обучающих данных
  3. Соображения безопасности: Моделирование обеспечивает безопасную среду для обучения и тестирования, минимизируя риск повреждения робота и окружения

Ограничения существующих подходов

  1. Ограничения Gazebo: Ограниченная физическая точность и графическая реалистичность затрудняют удовлетворение требований точного моделирования и восприятия окружения
  2. Проблемы совместимости: Существующие модели роботов разработаны в основном для Gazebo, что затрудняет интеграцию с современными конвейерами машинного обучения
  3. Моделирование всенаправленного привода: Большинство исследований используют приблизительные методы вместо физически точного моделирования колёс Mecanum

Основные вклады

  1. Физически точная модель: Обеспечение высокоточного моделирования TIAGo++ Omni, включая точное физическое моделирование колёс Mecanum
  2. Облегчённая модель управления: Разработка оптимизированной по вычислительной эффективности модели управления скоростью, подходящей для крупномасштабных приложений обучения
  3. Метод калибровки нейронной сети: Использование минимального объёма записанных данных траектории для приблизительного воспроизведения S-образных кривых скорости реального робота посредством методов обучения
  4. Открытая интеграция: Предоставление полного расширения Isaac Sim с поддержкой интеграции ROS 2 и моделирования датчиков
  5. Проектные выводы: Раскрытие важности пропорционального ускорения в разработке контроллеров роботов с колёсами Mecanum

Подробное описание методов

Определение задачи

Полная интеграция робота TIAGo++ Omni в Isaac Sim с акцентом на решение проблем моделирования всенаправленного привода. Входные данные представляют собой команды Twist (линейная скорость vx, vy и угловая скорость vθ), выходные данные — точное поведение движения робота.

Архитектура модели

1. Физически точная модель моделирования

Моделирование колёс Mecanum:

  • Использование процедурно генерируемых колёс Mecanum с 15 свободно вращающимися роликами под углом 45 градусов
  • Каждый ролик моделируется 6 сферами для коллизионного тела, обеспечивая баланс между вычислительной эффективностью и физической точностью
  • Обеспечение точности выравнивания роликов и формы колеса

Кинематическое управление: Связь между скоростями колёс и скоростью шасси представлена следующей матрицей:

[ω1ω2ω3ω4]=1r[11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)][vxvyvθ]\begin{bmatrix} \omega_1 \\ \omega_2 \\ \omega_3 \\ \omega_4 \end{bmatrix} = \frac{1}{r} \begin{bmatrix} 1 & 1 & -(L_x + L_y) \\ 1 & -1 & (L_x + L_y) \\ 1 & -1 & -(L_x + L_y) \\ 1 & 1 & (L_x + L_y) \end{bmatrix} \begin{bmatrix} v_x \\ v_y \\ v_\theta \end{bmatrix}

где r — радиус колеса, Lx и Ly — расстояния от колёс до центра робота.

2. Облегчённая модель скорости

  • Прямое задание скорости шасси робота, избегая вычислений взаимодействия колеса с поверхностью
  • Применение S-образной кривой скорости для сохранения плавного ускорения
  • Значительное повышение эффективности моделирования, снижение физических шагов с 360 до 60 шагов/сек

3. Обучение S-образной кривой скорости

Архитектура нейронной сети:

  • Компактный MLP: структура слоёв 1, 35, 15, 5
  • Функция активации Softplus
  • Выходные 5 параметров: Θω = (a, b, m, k1, k2)

Модель S-кривой: Кусочно-определённая функция, состоящая из трёх сегментов:

  1. Начальный этап: функция плавного возрастания s1 (интервал 0,a)
  2. Линейный переход: линейная функция s2 (интервал a,b)
  3. Финальный этап: функция плавного асимптотического приближения s3 (интервал [b,∞))

Стратегия интерполяции скорости: Переход от текущей скорости T к целевой скорости T': Tt=T+pt(TT)T_t = T + p_t \cdot (T' - T) где pt=SΘ(tt0)Δωp_t = \frac{S_\Theta(t-t_0)}{\Delta\omega} представляет долю выполняемой команды в момент времени t.

Технические инновации

  1. Калибровка, управляемая данными: Использование нейронной сети для изучения характеристик ускорения реального робота вместо ручной настройки параметров
  2. Проектирование трёхсегментной S-кривой: Специализированная трёхсегментная модель S-кривой, лучше соответствующая реальным данным, чем стандартная логистическая функция
  3. Архитектура двойной модели: Предоставление выбора компромисса между точностью и эффективностью для различных сценариев применения
  4. Минимальные требования к данным: Достаточно данных траектории базовых направленных движений для обобщения на сложные движения
  5. Интеграция ROS 2: Полная поддержка современного стека робототехники

Экспериментальная установка

Сбор данных

  • Типы движений: Базовые траектории в направлениях x, y и вращательные движения
  • Диапазон скоростей: Линейная скорость 0,05–1,00 м/с, угловая скорость 0,05–1,5 рад/с
  • Обработка данных: Каждая команда повторяется 3 раза, усреднение для снижения шума
  • Датчики: Использование OpenVR и VIVE-трекеров для захвата движения

Метрики оценки

Определение относительной ошибки: MRE=ΔprealΔpsimΔpreal\text{MRE} = \frac{|\Delta p_{\text{real}} - \Delta p_{\text{sim}}|}{\Delta p_{\text{real}}}

где Δp обозначает общее пройденное расстояние (линейное движение) или общий угол поворота (вращательное движение).

Тестовые траектории

  1. Квадратная траектория: Движение вперёд → вправо → назад → влево, каждый сегмент 3 сек, целевая скорость 0,45 м/с
  2. Круговая траектория: Скорость в направлении y 0,19 м/с + вращение вокруг оси z 0,78 рад/с
  3. Одноосные движения: 20 различных целевых скоростей для движений в направлениях x, y, диагональном направлении

Результаты экспериментов

Основные результаты

Направление движенияФизическая модель MRE±STD (%)Облегчённая модель MRE±STD (%)
Направление x8,24 ± 1,377,36 ± 3,71
Направление y4,61 ± 5,543,89 ± 1,49
Направление xy5,68 ± 2,715,16 ± 3,07
Вращение4,30 ± 1,622,97 ± 1,52

Ключевые находки

  1. Производительность облегчённой модели: В большинстве случаев сопоставима с физически точной моделью, но с значительно повышенной вычислительной эффективностью
  2. Способность к обобщению: Модель обобщается на диагональные движения, не встречавшиеся во время обучения
  3. Ограничения контроллера: Обнаружено, что исходный контроллер PAL Robotics не соответствует принципу пропорционального ускорения при некоторых комбинированных движениях
  4. Точность траектории: Высокая точность моделирования для простых траекторий, накопление ошибок при сложных траекториях

Анализ конкретных случаев

  • Квадратная траектория: Моделирование более плавно проходит углы, чем реальный робот, что фактически повышает сложность управления и может улучшить робастность
  • Круговая траектория: Общая форма траектории хорошо сохраняется, но наблюдается небольшое смещение положения

Связанные работы

Исследования моделирования всенаправленных колёс

  • Большинство исследований используют традиционные инструменты моделирования: Matlab-Simulink, RecurDyn, Gazebo
  • Небольшое количество работ исследует моделирование всенаправленных роботов в Isaac Sim
  • Существующие исследования сосредоточены в основном на кинематическом моделировании и проверке движения

Методы Real2Sim

  • Традиционные подходы полагаются на ручную настройку моделей
  • Методы машинного обучения применяются для системной идентификации, но сложно интегрируются с недифференцируемыми физическими движками
  • Методы оптимизации, такие как эволюционные алгоритмы, используются для настройки параметров моделирования

Уникальность вклада данной работы

  • Первое применение моделирования нейронной сетью S-образных кривых скорости для колёс Mecanum
  • Сосредоточение на открытых моделях скорости вместо замкнутого отслеживания траектории
  • Бесшовная интеграция с API Isaac Sim

Заключение и обсуждение

Основные выводы

  1. Успешная интеграция TIAGo++ Omni в Isaac Sim с предоставлением двух вариантов моделей управления
  2. Методы обучения эффективно приближают S-образные кривые скорости реального робота
  3. Облегчённая модель значительно повышает вычислительную эффективность, сохраняя разумную точность
  4. Пропорциональное ускорение критично для плавного всенаправленного движения роботов с колёсами Mecanum

Ограничения

  1. Непропорциональное ускорение: Недостатки конструкции исходного контроллера затрудняют точное моделирование некоторых режимов движения
  2. Открытое управление: Моделируется только открытое поведение, практическое применение требует замкнутого контроллера
  3. Зависимость от данных: Точность модели ограничена качеством и охватом обучающих данных
  4. Накопление ошибок: Проблемы с накоплением ошибок при длительных сложных траекториях

Направления будущих исследований

  1. Дальнейшая проверка платформы на задачах обучения с подкреплением и отслеживания траектории
  2. Исследование альтернативных методов для улучшения моделирования S-образных кривых скорости роботов с колёсами Mecanum
  3. Расширение на другие платформы всенаправленных роботов
  4. Разработка более точных методов моделирования комбинированных движений

Глубокая оценка

Преимущества

  1. Высокая практическая ценность: Заполнение пробела в моделях двуруких всенаправленных роботов в Isaac Sim
  2. Методологические инновации: Умелое сочетание методов, управляемых данными, и физического моделирования для решения проблемы моделирования чёрного ящика контроллера
  3. Инженерная полнота: Предоставление полного решения с открытым исходным кодом, включая интеграцию ROS 2 и поддержку датчиков
  4. Компромисс производительности: Архитектура двойной модели предоставляет выбор компромисса точность-эффективность для различных сценариев применения
  5. Глубокий анализ: Раскрытие важных принципов проектирования контроллеров роботов с колёсами Mecanum

Недостатки

  1. Ограничения моделирования: Ограничения точности моделирования некоторых режимов движения из-за неидеальной конструкции исходного контроллера
  2. Охват данных: Относительно простые обучающие данные, способность к обобщению на сложные движения требует проверки
  3. Диапазон проверки: Проверка в основном открытого управления, отсутствие оценки замкнутого управления и задач обучения
  4. Теоретический анализ: Недостаток теоретического руководства по выбору параметров S-кривой и архитектуре сети

Влияние

  1. Научный вклад: Предоставление важного инструмента для сообщества робототехнического моделирования, содействие исследованиям, связанным с TIAGo
  2. Практическая ценность: Снижение барьера входа, позволяющее большему числу исследователей использовать современные среды моделирования
  3. Методологическое вдохновение: Предоставление справочной базы для интеграции других робототехнических платформ в Isaac Sim
  4. Влияние открытого кода: Публикация кода и моделей способствует сотрудничеству и развитию сообщества

Применимые сценарии

  1. Обучение с подкреплением: Крупномасштабное параллельное обучение, особенно подходящее для облегчённой модели
  2. Исследования восприятия: Использование высококачественного рендеринга Isaac Sim для разработки алгоритмов компьютерного зрения
  3. Алгоритмы навигации: Тестирование стратегий всенаправленного движения в сложных окружениях
  4. Взаимодействие человека и робота: Исследование задач двурукого сотрудничества и мобильной манипуляции
  5. Проверка алгоритмов: Безопасное тестирование перед развёртыванием на реальных роботах

Библиография

В данной работе цитируется 22 соответствующих источника, охватывающих моделирование роботов, моделирование колёс Mecanum, системную идентификацию и другие важные области, обеспечивая прочную теоретическую базу и технический контекст для исследования.