2025-11-19T23:40:14.547880

Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles

Schoenbach, Wiedemann, Memmesheimer et al.
Efficient physics simulation has significantly accelerated research progress in robotics applications such as grasping and assembly. The advent of GPU-accelerated simulation frameworks like Isaac Sim has particularly empowered learning-based methods, enabling them to tackle increasingly complex tasks. The PAL Robotics TIAGo++ Omni is a versatile mobile manipulator equipped with a mecanum-wheeled base, allowing omnidirectional movement and a wide range of task capabilities. However, until now, no model of the robot has been available in Isaac Sim. In this paper, we introduce such a model, calibrated to approximate the behavior of the real robot, with a focus on its omnidirectional drive dynamics. We present two control models for the omnidirectional drive: a physically accurate model that replicates real-world wheel dynamics and a lightweight velocity-based model optimized for learning-based applications. With these models, we introduce a learning-based calibration approach to approximate the real robot's S-shaped velocity profile using minimal trajectory data recordings. This simulation should allow researchers to experiment with the robot and perform efficient learning-based control in diverse environments. We provide the integration publicly at https://github.com/AIS-Bonn/tiago_isaac.
academic

Integrazione del Robot TIAGo in Isaac Sim con Modellazione della Trasmissione Mecanum e Profili di Velocità S-Curve Appresi

Informazioni Fondamentali

  • ID Articolo: 2510.10273
  • Titolo: Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles
  • Autori: Vincent Schoenbach¹, Marvin Wiedemann², Raphael Memmesheimer¹, Malte Mosbach¹, Sven Behnke¹
  • Istituzioni: ¹Università di Bonn (Autonomous Intelligent Systems), ²Istituto Fraunhofer per i Flussi di Materiali e la Logistica
  • Classificazione: cs.RO (Robotica)
  • Data di Pubblicazione: 14 ottobre 2025 (arXiv v2)
  • Link Articolo: https://arxiv.org/abs/2510.10273
  • Link Codice: https://github.com/AIS-Bonn/tiago_isaac

Riassunto

Questo articolo presenta l'integrazione del manipolatore mobile omnidirezionale PAL Robotics TIAGo++ Omni nell'ambiente di simulazione NVIDIA Isaac Sim. Il robot è equipaggiato con un telaio a ruote Mecanum, dotato di capacità di movimento omnidirezionale. Gli autori propongono due modelli di controllo: un modello fisicamente accurato e un modello di velocità leggero, utilizzando metodi di apprendimento per calibrare le curve di velocità S-curve del robot. Il modello di simulazione fornisce una piattaforma efficiente per i ricercatori al fine di condurre esperimenti di controllo basati su apprendimento in ambienti diversificati.

Contesto di Ricerca e Motivazione

Definizione del Problema

  1. Problema Centrale: Il robot TIAGo++ Omni manca di un modello di simulazione disponibile in Isaac Sim, limitando l'applicazione dei ricercatori in ambienti di simulazione moderni accelerati da GPU
  2. Sfide Tecniche:
    • I modelli Gazebo non sono direttamente compatibili con Isaac Sim
    • La trasmissione omnidirezionale delle ruote Mecanum richiede una modellazione precisa, coinvolgendo calcoli fisici computazionalmente intensivi
    • Mancanza di accesso ai controllori interni, rendendo difficile la replicazione del comportamento reale di accelerazione delle ruote
    • L'ottimizzazione tradizionale del controllore PID non può riflettere accuratamente il comportamento del robot reale

Importanza della Ricerca

  1. Vantaggi della Simulazione: La simulazione fisica moderna è diventata fondamentale nella ricerca robotica, fornendo ambienti di addestramento e valutazione convenienti e scalabili
  2. Necessità di Accelerazione GPU: Framework accelerati da GPU come Isaac Sim sono particolarmente adatti per metodi basati su apprendimento, in grado di generare dati di addestramento su larga scala
  3. Considerazioni di Sicurezza: La simulazione fornisce ambienti di addestramento e test sicuri, minimizzando i rischi di danno ai robot e all'ambiente

Limitazioni dei Metodi Esistenti

  1. Limitazioni di Gazebo: Precisione fisica e realismo grafico limitati, difficili da soddisfare per la modellazione precisa e la percezione ambientale
  2. Problemi di Compatibilità: I modelli robotici esistenti sono principalmente progettati per Gazebo, difficili da integrare con pipeline di apprendimento automatico moderni
  3. Modellazione della Trasmissione Omnidirezionale: La maggior parte della ricerca utilizza metodi approssimativi piuttosto che simulazioni fisicamente accurate delle ruote Mecanum

Contributi Fondamentali

  1. Modello Fisicamente Accurato: Fornisce simulazione ad alta fedeltà del TIAGo++ Omni, inclusa la modellazione fisica precisa delle ruote Mecanum
  2. Modello di Controllo Leggero: Sviluppa un modello di controllo della velocità ottimizzato per l'efficienza computazionale, adatto per applicazioni di apprendimento su larga scala
  3. Metodo di Calibrazione della Rete Neurale: Utilizza la registrazione minima di dati di traiettoria, approssimando le curve di velocità S-curve del robot reale attraverso metodi di apprendimento
  4. Integrazione Open-Source: Fornisce un'estensione Isaac Sim completa, supportando l'integrazione ROS 2 e la simulazione dei sensori
  5. Intuizioni Progettuali: Rivela l'importanza dell'accelerazione proporzionale nella progettazione del controllore per robot con ruote Mecanum

Spiegazione Dettagliata del Metodo

Definizione del Compito

Integrazione completa del robot TIAGo++ Omni in Isaac Sim, con focus sulla risoluzione dei problemi di simulazione della trasmissione omnidirezionale. L'input è il comando Twist (velocità lineare vx, vy e velocità angolare vθ), l'output è il comportamento di movimento accurato del robot.

Architettura del Modello

1. Modello di Simulazione Fisicamente Accurato

Modellazione delle Ruote Mecanum:

  • Utilizzo di ruote Mecanum generate proceduralmente, contenenti 15 rulli a rotazione libera con angolo di 45 gradi
  • Ogni rullo è modellato utilizzando 6 sfere per i corpi di collisione, bilanciando l'efficienza computazionale e la precisione fisica
  • Garantisce l'allineamento preciso dei rulli e la forma della ruota

Controllo Cinematico: La relazione tra la velocità della ruota e la velocità del telaio è rappresentata dalla seguente matrice:

[ω1ω2ω3ω4]=1r[11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)][vxvyvθ]\begin{bmatrix} \omega_1 \\ \omega_2 \\ \omega_3 \\ \omega_4 \end{bmatrix} = \frac{1}{r} \begin{bmatrix} 1 & 1 & -(L_x + L_y) \\ 1 & -1 & (L_x + L_y) \\ 1 & -1 & -(L_x + L_y) \\ 1 & 1 & (L_x + L_y) \end{bmatrix} \begin{bmatrix} v_x \\ v_y \\ v_\theta \end{bmatrix}

dove r è il raggio della ruota, Lx e Ly sono le distanze della ruota dal centro del robot.

2. Modello di Velocità Leggero

  • Impostazione diretta della velocità del telaio del robot, evitando i calcoli dell'interazione ruota-terreno
  • Applicazione ancora della curva di velocità S-curve per mantenere l'accelerazione fluida
  • Significativo aumento dell'efficienza di simulazione, con i passi fisici ridotti da 360 a 60 passi/secondo

3. Apprendimento della Curva di Velocità S-Curve

Architettura della Rete Neurale:

  • Piccolo MLP: struttura a strati 1, 35, 15, 5
  • Funzione di attivazione Softplus
  • Output di 5 parametri: Θω = (a, b, m, k1, k2)

Modello della Curva S: Funzione a tratti composta da tre segmenti:

  1. Fase iniziale: funzione di salita fluida s1 (intervallo 0,a)
  2. Transizione lineare: funzione lineare s2 (intervallo a,b)
  3. Fase finale: funzione asintotica fluida s3 (intervallo [b,∞))

Strategia di Interpolazione della Velocità: Transizione dalla velocità attuale T alla velocità target T': Tt=T+pt(TT)T_t = T + p_t \cdot (T' - T) dove pt=SΘ(tt0)Δωp_t = \frac{S_\Theta(t-t_0)}{\Delta\omega} rappresenta la proporzione del comando eseguito al momento t.

Punti di Innovazione Tecnica

  1. Calibrazione Guidata dai Dati: Utilizzo della rete neurale per apprendere le caratteristiche di accelerazione del robot reale, piuttosto che l'ottimizzazione manuale dei parametri
  2. Progettazione della Curva S a Tre Segmenti: Modello personalizzato a tre segmenti che corrisponde meglio ai dati reali rispetto alla funzione logistica standard
  3. Architettura Dual-Model: Fornisce scelte di compromesso tra precisione ed efficienza per diversi scenari applicativi
  4. Requisito Minimo di Dati: Solo i dati di traiettoria dei movimenti di base in direzioni diverse sono necessari per generalizzare a movimenti complessi

Configurazione Sperimentale

Raccolta Dati

  • Tipi di Movimento: Traiettorie di base nelle direzioni x, y e movimento rotazionale
  • Intervallo di Velocità: Velocità lineare 0,05-1,00 m/s, velocità angolare 0,05-1,5 rad/s
  • Elaborazione Dati: Ogni comando ripetuto 3 volte, media calcolata per ridurre il rumore
  • Sensori: Utilizzo di OpenVR e tracker VIVE per la cattura del movimento

Metriche di Valutazione

Definizione dell'Errore Relativo: MRE=ΔprealΔpsimΔpreal\text{MRE} = \frac{|\Delta p_{\text{real}} - \Delta p_{\text{sim}}|}{\Delta p_{\text{real}}}

dove Δp rappresenta la distanza totale percorsa (movimento lineare) o l'angolo di rotazione totale (movimento rotazionale).

Traiettorie di Test

  1. Traiettoria Quadrata: avanti → destra → indietro → sinistra, ogni segmento 3 secondi, velocità target 0,45 m/s
  2. Traiettoria Circolare: velocità direzione y 0,19 m/s + rotazione asse z 0,78 rad/s
  3. Movimento Monoassiale: movimento nelle direzioni x, y, diagonale con 20 diverse velocità target

Risultati Sperimentali

Risultati Principali

Direzione del MovimentoModello Fisico MRE±STD (%)Modello Leggero MRE±STD (%)
Direzione x8,24 ± 1,377,36 ± 3,71
Direzione y4,61 ± 5,543,89 ± 1,49
Direzione xy5,68 ± 2,715,16 ± 3,07
Rotazione4,30 ± 1,622,97 ± 1,52

Scoperte Chiave

  1. Prestazioni del Modello Leggero: Nella maggior parte dei casi, prestazioni comparabili al modello fisicamente accurato, ma con efficienza computazionale significativamente migliorata
  2. Capacità di Generalizzazione: Il modello è in grado di generalizzare a movimenti diagonali non visti durante l'addestramento
  3. Limitazioni del Controllore: Scoperta che il controllore originale di PAL Robotics non segue il principio di accelerazione proporzionale in alcuni movimenti compositi
  4. Precisione della Traiettoria: La precisione della simulazione è più elevata per traiettorie semplici, con errori cumulativi per traiettorie complesse

Analisi dei Casi

  • Traiettoria Quadrata: La simulazione è più fluida del robot reale agli angoli, il che in realtà aumenta la difficoltà di controllo, potenzialmente migliorando la robustezza
  • Traiettoria Circolare: La forma complessiva della traiettoria è ben mantenuta, ma con leggeri offset di posizione

Lavori Correlati

Ricerca sulla Modellazione delle Ruote Omnidirezionali

  • La maggior parte della ricerca utilizza strumenti di simulazione tradizionali come Matlab-Simulink, RecurDyn, Gazebo
  • Pochi lavori esplorano la simulazione di robot omnidirezionali in Isaac Sim
  • La ricerca esistente si concentra principalmente sulla modellazione cinematica e sulla verifica del movimento

Metodi Real2Sim

  • I metodi tradizionali si basano sull'ottimizzazione manuale del modello
  • I metodi di apprendimento automatico sono utilizzati per l'identificazione del sistema, ma difficili da integrare con motori fisici non differenziabili
  • Algoritmi di ottimizzazione come gli algoritmi evolutivi sono utilizzati per l'ottimizzazione dei parametri di simulazione

Unicità del Contributo di questo Articolo

  • Primo lavoro sulla modellazione della curva di velocità S-curve per ruote Mecanum utilizzando reti neurali
  • Focus sul modello di velocità in anello aperto piuttosto che sul tracciamento di traiettoria in anello chiuso
  • Integrazione senza soluzione di continuità con l'API di Isaac Sim

Conclusioni e Discussione

Conclusioni Principali

  1. Integrazione riuscita del TIAGo++ Omni in Isaac Sim, fornendo due scelte di modello di controllo
  2. Il metodo di apprendimento approssima efficacemente le curve di velocità S-curve del robot reale
  3. Il modello leggero migliora significativamente l'efficienza computazionale mantenendo una precisione ragionevole
  4. L'accelerazione proporzionale è cruciale per il movimento omnidirezionale fluido dei robot con ruote Mecanum

Limitazioni

  1. Accelerazione Non Proporzionale: Il difetto di progettazione del controllore originale rende difficile la modellazione accurata di alcuni modelli di movimento
  2. Controllo in Anello Aperto: Solo il comportamento in anello aperto è modellato, le applicazioni pratiche richiedono controllori in anello chiuso
  3. Dipendenza dai Dati: La precisione del modello è limitata dalla qualità e dalla copertura dei dati di addestramento
  4. Errore Cumulativo: Errore cumulativo per traiettorie complesse di lunga durata

Direzioni Future

  1. Ulteriore verifica del framework nelle attività di apprendimento per rinforzo e tracciamento di traiettoria
  2. Esplorazione di metodi alternativi per migliorare la modellazione della curva di velocità S-curve per robot con ruote Mecanum
  3. Estensione ad altre piattaforme robotiche omnidirezionali
  4. Sviluppo di metodi di modellazione più precisi per movimenti compositi

Valutazione Approfondita

Punti di Forza

  1. Alto Valore Pratico: Colma il vuoto dei modelli di robot omnidirezionali a doppio braccio in Isaac Sim
  2. Innovazione Metodologica: Combinazione intelligente di metodi guidati dai dati e simulazione fisica, risolvendo il problema della modellazione di controllori black-box
  3. Completezza Ingegneristica: Fornisce una soluzione open-source completa, inclusa l'integrazione ROS 2 e il supporto dei sensori
  4. Compromesso Prestazionale: La progettazione dual-model fornisce compromessi tra precisione ed efficienza per diversi scenari applicativi
  5. Analisi Approfondita: Rivela principi importanti nella progettazione del controllore per robot con ruote Mecanum

Insufficienze

  1. Limitazioni di Modellazione: Influenzate dalla progettazione non ideale del controllore originale, la precisione di modellazione di alcuni modelli di movimento è limitata
  2. Copertura dei Dati: I dati di addestramento sono relativamente semplici, la capacità di generalizzazione a movimenti complessi rimane da verificare
  3. Intervallo di Verifica: Principalmente verifica in anello aperto, mancanza di valutazione di controllo in anello chiuso e attività di apprendimento
  4. Analisi Teorica: Mancanza di guida teorica per la scelta dei parametri della curva S e la progettazione dell'architettura di rete

Impatto

  1. Contributo Accademico: Fornisce uno strumento importante alla comunità di simulazione robotica, promuovendo la ricerca correlata a TIAGo
  2. Valore Pratico: Riduce le barriere di accesso, consentendo a più ricercatori di utilizzare ambienti di simulazione moderni
  3. Ispirazione Metodologica: Fornisce un framework di riferimento per l'integrazione di Isaac Sim di altre piattaforme robotiche
  4. Impatto Open-Source: Il codice e i modelli pubblici promuovono lo sviluppo collaborativo della comunità

Scenari Applicabili

  1. Apprendimento per Rinforzo: Addestramento parallelo su larga scala, particolarmente adatto per modelli leggeri
  2. Ricerca sulla Percezione: Utilizzo del rendering di alta qualità di Isaac Sim per lo sviluppo di algoritmi di visione
  3. Algoritmi di Navigazione: Test di strategie di movimento omnidirezionale in ambienti complessi
  4. Interazione Uomo-Macchina: Ricerca su compiti di cooperazione a doppio braccio e manipolazione mobile
  5. Verifica dell'Algoritmo: Test di sicurezza prima della distribuzione su robot reali

Bibliografia

Questo articolo cita 22 articoli correlati, coprendo molteplici campi come la simulazione robotica, la modellazione delle ruote Mecanum, l'identificazione del sistema e altri, fornendo una base teorica solida e uno sfondo tecnico per la ricerca.