2025-11-19T23:40:14.547880

Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles

Schoenbach, Wiedemann, Memmesheimer et al.
Efficient physics simulation has significantly accelerated research progress in robotics applications such as grasping and assembly. The advent of GPU-accelerated simulation frameworks like Isaac Sim has particularly empowered learning-based methods, enabling them to tackle increasingly complex tasks. The PAL Robotics TIAGo++ Omni is a versatile mobile manipulator equipped with a mecanum-wheeled base, allowing omnidirectional movement and a wide range of task capabilities. However, until now, no model of the robot has been available in Isaac Sim. In this paper, we introduce such a model, calibrated to approximate the behavior of the real robot, with a focus on its omnidirectional drive dynamics. We present two control models for the omnidirectional drive: a physically accurate model that replicates real-world wheel dynamics and a lightweight velocity-based model optimized for learning-based applications. With these models, we introduce a learning-based calibration approach to approximate the real robot's S-shaped velocity profile using minimal trajectory data recordings. This simulation should allow researchers to experiment with the robot and perform efficient learning-based control in diverse environments. We provide the integration publicly at https://github.com/AIS-Bonn/tiago_isaac.
academic

TIAGo 로봇의 Isaac Sim 통합: 메카넘 드라이브 모델링 및 학습된 S-곡선 속도 프로필

기본 정보

  • 논문 ID: 2510.10273
  • 제목: Integration of the TIAGo Robot into Isaac Sim with Mecanum Drive Modeling and Learned S-Curve Velocity Profiles
  • 저자: Vincent Schoenbach¹, Marvin Wiedemann², Raphael Memmesheimer¹, Malte Mosbach¹, Sven Behnke¹
  • 소속: ¹본 대학교 (자율 지능 시스템), ²프라운호퍼 물류 재료 흐름 연구소
  • 분류: cs.RO (로봇공학)
  • 발표일: 2025년 10월 14일 (arXiv v2)
  • 논문 링크: https://arxiv.org/abs/2510.10273
  • 코드 링크: https://github.com/AIS-Bonn/tiago_isaac

초록

본 논문은 PAL Robotics TIAGo++ Omni 전방향 이동 매니퓰레이터를 NVIDIA Isaac Sim 시뮬레이션 환경에 통합하는 작업을 소개한다. 해당 로봇은 메카넘 휠 섀시를 갖추고 있으며 전방향 이동 능력을 보유하고 있다. 저자들은 물리적으로 정확한 모델과 경량 속도 모델 두 가지 제어 모델을 제시하였으며, 학습 방법을 사용하여 로봇의 S-곡선 속도 프로필을 보정하였다. 본 시뮬레이션 모델은 연구자들이 다양한 환경에서 학습 기반 제어 실험을 수행할 수 있는 효율적인 플랫폼을 제공한다.

연구 배경 및 동기

문제 정의

  1. 핵심 문제: TIAGo++ Omni 로봇의 Isaac Sim 시뮬레이션 모델이 부재하여, 현대 GPU 가속 시뮬레이션 환경에서의 활용이 제한됨
  2. 기술적 과제:
    • Gazebo 모델과 Isaac Sim의 직접적 호환성 부족
    • 메카넘 휠의 전방향 구동에 대한 정확한 모델링 필요 (계산 집약적 물리 연산 포함)
    • 내부 제어기에 대한 접근 불가로 인한 실제 휠 가속 거동 재현의 어려움
    • 전통적 PID 제어기 튜닝으로는 실제 로봇 거동을 정확히 반영할 수 없음

연구의 중요성

  1. 시뮬레이션의 장점: 현대 물리 시뮬레이션은 로봇 연구의 기초가 되었으며, 비용 효율적이고 확장 가능한 훈련 및 평가 환경 제공
  2. GPU 가속 필요성: Isaac Sim 등의 GPU 가속 프레임워크는 학습 기반 방법에 특히 적합하며 대규모 훈련 데이터 생성 가능
  3. 안전성 고려: 시뮬레이션은 안전한 훈련 및 테스트 환경을 제공하여 로봇 및 환경에 대한 손상 위험 최소화

기존 방법의 한계

  1. Gazebo의 한계: 물리 정확도 및 그래픽 사실성이 제한적이어서 정확한 모델링 및 환경 인식 요구사항 충족 어려움
  2. 호환성 문제: 기존 로봇 모델은 주로 Gazebo용으로 설계되어 현대 기계학습 파이프라인과의 통합이 어려움
  3. 전방향 구동 모델링: 대부분의 연구에서 물리적으로 정확한 메카넘 휠 시뮬레이션보다는 근사 방법 사용

핵심 기여

  1. 물리적으로 정확한 모델: 메카넘 휠의 정확한 물리 모델링을 포함한 TIAGo++ Omni의 고충실도 시뮬레이션 제공
  2. 경량 제어 모델: 대규모 학습 응용에 적합한 계산 효율성 최적화 속도 제어 모델 개발
  3. 신경망 보정 방법: 최소한의 궤적 데이터 기록을 사용하여 실제 로봇의 S-곡선 속도 프로필을 학습 방법으로 근사
  4. 오픈소스 통합: ROS 2 통합 및 센서 시뮬레이션을 지원하는 완전한 Isaac Sim 확장 제공
  5. 설계 통찰: 메카넘 휠 로봇 제어기 설계에서 비례 가속의 중요성 규명

방법론 상세 설명

작업 정의

TIAGo++ Omni 로봇을 Isaac Sim에 완전히 통합하며, 전방향 구동 시뮬레이션 문제 해결에 중점을 둔다. 입력은 Twist 명령(선속도 vx, vy 및 각속도 vθ)이고, 출력은 정확한 로봇 운동 거동이다.

모델 아키텍처

1. 물리적으로 정확한 시뮬레이션 모델

메카넘 휠 모델링:

  • 45도 각도의 자유 회전 롤러 15개를 포함하는 절차적 생성 메카넘 휠 사용
  • 각 롤러는 6개의 구체로 충돌체 모델링하여 계산 효율성과 물리 정확도 균형 유지
  • 롤러 정렬 및 휠 형상의 정확성 보장

운동학 제어: 휠 속도와 섀시 속도의 관계는 다음 행렬로 표현됨:

[ω1ω2ω3ω4]=1r[11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)11(Lx+Ly)][vxvyvθ]\begin{bmatrix} \omega_1 \\ \omega_2 \\ \omega_3 \\ \omega_4 \end{bmatrix} = \frac{1}{r} \begin{bmatrix} 1 & 1 & -(L_x + L_y) \\ 1 & -1 & (L_x + L_y) \\ 1 & -1 & -(L_x + L_y) \\ 1 & 1 & (L_x + L_y) \end{bmatrix} \begin{bmatrix} v_x \\ v_y \\ v_\theta \end{bmatrix}

여기서 r은 휠 반지름이고, Lx와 Ly는 휠에서 로봇 중심까지의 거리이다.

2. 경량 속도 모델

  • 휠-지면 상호작용 계산을 피하고 로봇 섀시 속도를 직접 설정
  • 부드러운 가속을 유지하기 위해 S-곡선 속도 프로필 적용
  • 시뮬레이션 효율성 대폭 향상 (물리 스텝 360에서 60 스텝/초로 감소)

3. S-곡선 속도 프로필 학습

신경망 아키텍처:

  • 소형 MLP: 1, 35, 15, 5 계층 구조
  • Softplus 활성화 함수
  • 출력: 5개 매개변수 Θω = (a, b, m, k1, k2)

S-곡선 모델: 세 개 구간으로 구성된 분할 함수:

  1. 초기 단계: 부드러운 상승 함수 s1 (구간 0,a)
  2. 선형 전환: 선형 함수 s2 (구간 a,b)
  3. 최종 단계: 부드러운 점근 함수 s3 (구간 [b,∞))

속도 보간 전략: 현재 속도 T에서 목표 속도 T'로의 전환: Tt=T+pt(TT)T_t = T + p_t \cdot (T' - T) 여기서 pt=SΘ(tt0)Δωp_t = \frac{S_\Theta(t-t_0)}{\Delta\omega}는 시간 t에서 실행되는 명령의 비율을 나타낸다.

기술 혁신점

  1. 데이터 기반 보정: 수동 조정 대신 신경망을 사용하여 실제 로봇의 가속 특성 학습
  2. 분할 S-곡선 설계: 표준 로지스틱 함수보다 실제 데이터와 더 잘 맞는 맞춤형 3단계 S-곡선 모델
  3. 이중 모델 아키텍처: 다양한 응용 시나리오를 위한 정확도-효율성 트레이드오프 선택 제공
  4. 최소 데이터 요구: 기본 방향 운동의 궤적 데이터만으로 복잡한 운동으로 일반화 가능

실험 설정

데이터 수집

  • 운동 유형: x 방향, y 방향, 회전 운동의 기본 궤적
  • 속도 범위: 선속도 0.05-1.00 m/s, 각속도 0.05-1.5 rad/s
  • 데이터 처리: 각 명령을 3회 반복하여 평균값으로 노이즈 감소
  • 센서: OpenVR 및 VIVE 추적기를 사용한 모션 캡처

평가 지표

상대 오차 정의: MRE=ΔprealΔpsimΔpreal\text{MRE} = \frac{|\Delta p_{\text{real}} - \Delta p_{\text{sim}}|}{\Delta p_{\text{real}}}

여기서 Δp는 총 이동 거리(선형 운동) 또는 총 회전 각도(회전 운동)를 나타낸다.

테스트 궤적

  1. 정사각형 궤적: 전진→우측 이동→후진→좌측 이동, 각 구간 3초, 목표 속도 0.45 m/s
  2. 원형 궤적: y 방향 0.19 m/s + z축 회전 0.78 rad/s
  3. 단축 운동: x, y, 대각선 방향의 20가지 다양한 목표 속도 운동

실험 결과

주요 결과

운동 방향물리 모델 MRE±STD (%)경량 모델 MRE±STD (%)
x 방향8.24 ± 1.377.36 ± 3.71
y 방향4.61 ± 5.543.89 ± 1.49
xy 방향5.68 ± 2.715.16 ± 3.07
회전4.30 ± 1.622.97 ± 1.52

주요 발견

  1. 경량 모델 성능: 대부분의 경우 물리적으로 정확한 모델과 유사한 성능을 보이면서 계산 효율성 대폭 향상
  2. 일반화 능력: 모델이 훈련 중 보지 못한 대각선 운동으로 일반화 가능
  3. 제어기 한계: PAL Robotics의 원본 제어기가 특정 복합 운동에서 비례 가속 원칙을 따르지 않음을 발견
  4. 궤적 정확도: 단순 궤적의 시뮬레이션 정확도가 높으나, 복잡한 궤적에서는 누적 오차 존재

사례 분석

  • 정사각형 궤적: 시뮬레이션이 회전 지점에서 실제 로봇보다 더 부드러우며, 이는 실제로 제어 난이도를 증가시켜 견고성을 향상시킬 수 있음
  • 원형 궤적: 전체 궤적 형상이 잘 유지되나 경미한 위치 편차 존재

관련 연구

전방향 휠 모델링 연구

  • 대부분의 연구에서 Matlab-Simulink, RecurDyn, Gazebo 등 전통적 시뮬레이션 도구 사용
  • 소수의 연구에서 Isaac Sim의 전방향 로봇 시뮬레이션 탐색
  • 기존 연구는 주로 운동학 모델링 및 운동 검증에 중점

Real2Sim 방법

  • 전통적 방법은 수동 모델 조정에 의존
  • 기계학습 방법은 시스템 식별에 사용되나 미분 불가능한 물리 엔진과의 통합 어려움
  • 진화 알고리즘 등 최적화 방법이 시뮬레이션 매개변수 조정에 사용됨

본 논문의 독특한 기여

  • 메카넘 휠의 S-곡선 속도 프로필에 대한 최초의 신경망 모델링
  • 폐루프 궤적 추적이 아닌 개루프 속도 모델에 중점
  • Isaac Sim API와의 원활한 통합

결론 및 논의

주요 결론

  1. TIAGo++ Omni을 Isaac Sim에 성공적으로 통합하여 두 가지 제어 모델 선택 제공
  2. 학습 방법이 실제 로봇의 S-곡선 속도 프로필을 효과적으로 근사
  3. 경량 모델이 합리적인 정확도를 유지하면서 계산 효율성 대폭 향상
  4. 비례 가속이 메카넘 휠 로봇의 부드러운 전방향 운동에 필수적임

한계

  1. 비례 가속 부재: 원본 제어기의 설계 결함으로 인해 특정 운동 패턴의 정확한 모델링 어려움
  2. 개루프 제어: 개루프 거동만 모델링되어 실제 응용에는 폐루프 제어기 필요
  3. 데이터 의존성: 모델 정확도가 훈련 데이터의 품질 및 범위에 제한됨
  4. 누적 오차: 장시간 복잡한 궤적에서 오차 누적 문제 존재

향후 방향

  1. 강화학습 및 궤적 추적 작업에서 프레임워크 성능의 추가 검증
  2. 메카넘 휠 로봇 S-곡선 속도 프로필 모델링 개선 방법 탐색
  3. 다른 전방향 로봇 플랫폼으로의 확장
  4. 복합 운동의 더욱 정확한 모델링 방법 개발

심층 평가

장점

  1. 높은 실용 가치: Isaac Sim의 양팔 전방향 로봇 모델 공백 해결
  2. 방법론 혁신: 데이터 기반 방법과 물리 시뮬레이션을 교묘하게 결합하여 블랙박스 제어기 모델링 문제 해결
  3. 공학적 완전성: ROS 2 통합 및 센서 지원을 포함한 완전한 오픈소스 솔루션 제공
  4. 성능 트레이드오프: 이중 모델 설계가 다양한 응용 시나리오를 위한 정확도-효율성 트레이드오프 제공
  5. 심층 분석: 메카넘 휠 제어기 설계의 중요한 원칙 규명

부족한 점

  1. 모델링 한계: 원본 제어기의 비이상적 설계로 인해 특정 운동 패턴의 모델링 정확도 제한
  2. 데이터 범위: 훈련 데이터가 상대적으로 단순하여 복잡한 운동에 대한 일반화 능력 검증 필요
  3. 검증 범위: 주로 개루프 검증 수행, 폐루프 제어 및 학습 작업 평가 부족
  4. 이론적 분석: S-곡선 매개변수 선택 및 네트워크 아키텍처 설계에 대한 이론적 지도 부족

영향력

  1. 학술적 기여: 로봇 시뮬레이션 커뮤니티에 중요한 도구 제공, TIAGo 관련 연구 촉진
  2. 실용적 가치: 연구 진입 장벽 낮추어 더 많은 연구자가 현대 시뮬레이션 환경 활용 가능
  3. 방법론 영감: 다른 로봇 플랫폼의 Isaac Sim 통합을 위한 참고 프레임워크 제공
  4. 오픈소스 영향: 공개 코드 및 모델이 커뮤니티 협력 발전 촉진

적용 시나리오

  1. 강화학습: 대규모 병렬 훈련, 특히 경량 모델에 적합
  2. 인식 연구: Isaac Sim의 고품질 렌더링을 활용한 시각 알고리즘 개발
  3. 네비게이션 알고리즘: 복잡한 환경에서 전방향 이동 전략 테스트
  4. 인간-로봇 상호작용: 양팔 협력 및 이동 조작 작업 연구
  5. 알고리즘 검증: 실제 로봇 배포 전 안전 테스트

참고문헌

본 논문은 로봇 시뮬레이션, 메카넘 휠 모델링, 시스템 식별 등 다양한 분야의 중요한 연구를 포함한 22개의 관련 문헌을 인용하여 견고한 이론적 기초 및 기술적 배경을 제공한다.