2025-11-13T13:49:10.872331

Robust Visual Teach-and-Repeat Navigation with Flexible Topo-metric Graph Map Representation

Wang, Cheng, Wang et al.
Visual Teach-and-Repeat Navigation is a direct solution for mobile robot to be deployed in unknown environments. However, robust trajectory repeat navigation still remains challenged due to environmental changing and dynamic objects. In this paper, we propose a novel visual teach-and-repeat navigation system, which consists of a flexible map representation, robust map matching and a map-less local navigation module. During the teaching process, the recorded keyframes are formulated as a topo-metric graph and each node can be further extended to save new observations. Such representation also alleviates the requirement of globally consistent mapping. To enhance the place recognition performance during repeating process, instead of using frame-to-frame matching, we firstly implement keyframe clustering to aggregate similar connected keyframes into local map and perform place recognition based on visual frame-tolocal map matching strategy. To promote the local goal persistent tracking performance, a long-term goal management algorithm is constructed, which can avoid the robot getting lost due to environmental changes or obstacle occlusion. To achieve the goal without map, a local trajectory-control candidate optimization algorithm is proposed. Extensively experiments are conducted on our mobile platform. The results demonstrate that our system is superior to the baselines in terms of robustness and effectiveness.
academic

유연한 위상-거리 그래프 지도 표현을 이용한 강건한 시각 교시-반복 항법

기본 정보

  • 논문 ID: 2510.09089
  • 제목: Robust Visual Teach-and-Repeat Navigation with Flexible Topo-metric Graph Map Representation
  • 저자: Jikai Wang, Yunqi Cheng, Kezhi Wang, and Zonghai Chen (중국과학기술대학교)
  • 분류: cs.RO (로봇공학)
  • 발표 시간: 2025년 10월 10일
  • 논문 링크: https://arxiv.org/abs/2510.09089

초록

본 논문은 유연한 지도 표현, 강건한 지도 매칭 및 지도 없는 국소 항법 모듈을 통해 환경 변화 및 동적 물체로 인한 문제를 해결하는 새로운 시각 교시-반복(VTR) 항법 시스템을 제안한다. 시스템은 위상-거리 그래프 구조를 사용하여 핵심 프레임을 저장하며, 새로운 관측을 보존하기 위한 노드 확장을 지원한다. 핵심 프레임 클러스터링 및 프레임-국소 지도 매칭 전략을 통해 위치 인식 성능을 향상시키고, 환경 변화 또는 장애물 폐색으로 인해 로봇이 길을 잃지 않도록 하는 장기 목표 관리 알고리즘을 구축한다.

연구 배경 및 동기

문제 정의

시각 교시-반복(VTR) 항법은 미지 환경에 배치된 이동 로봇의 직접적인 해결책이지만, 환경 변화 및 동적 물체가 존재하는 상황에서 강건한 궤적 반복 항법을 구현하는 것은 여전히 도전적이다.

중요성

  1. 실용적 가치: VTR 항법은 작업 환경의 완전한 지도 작성을 피하므로 로봇 배치가 더욱 효율적이다
  2. 응용 수요: 고정 경로 항법 시나리오(예: 공장 사이트 간 항법)에서 광범위한 수요가 있다
  3. 기술적 과제: 환경 변화, 동적 물체 및 경로 이탈 조건에서 항법 강건성을 유지해야 한다

기존 방법의 한계

  1. 지도 표현 문제: 기존 방법은 전역 일관성 지도 작성에 의존하며 위치 결정 정확도 요구가 높다
  2. 위치 인식 취약성: 프레임-프레임 매칭은 시점 변화 및 폐색 상황에서 충분히 강건하지 않다
  3. 항법 모듈 의존성: 기존 시스템은 정확한 위치 인식에 과도하게 의존하여 매칭 실패 시 쉽게 실패한다
  4. 환경 적응성 부족: 환경 변화 및 동적 장애물 처리가 어렵다

핵심 기여

  1. 유연한 지도 표현 방법 제안: 환경 변화 및 주행거리 측정 오차에 적응할 수 있는 위상-거리 그래프 구조 설계
  2. 강건한 VTR 항법 시스템 구축: 환경 변화, 동적 물체 및 시점 폐색에 적응 가능하며, 항법 모듈을 다른 VTR 시스템에 내장 가능
  3. 사용자 친화적 시스템 구현: 새로운 작업 환경에 쉽게 적응하며 우수한 실용성을 갖춤
  4. 시스템 유효성 검증: 이동 플랫폼에서 광범위한 실험을 수행하여 기준 방법 대비 우수성을 입증

방법 상세 설명

작업 정의

VTR 항법은 두 가지 단계로 구성된다:

  • 교시 단계: 작업자가 로봇을 수동으로 조종하여 작업 경로를 따라 주행하고 실시간으로 시각 프레임을 지도로 기록한다
  • 반복 단계: 로봇이 현재 시각 프레임을 지도와 매칭하려고 시도하고, 매칭 성공 시 다음 목표를 업데이트한다

시스템 아키텍처

1. 지도 표현 오류 분석

기존 SLAM 지도 표현:

M̂ = {[Ki, T̂WI], i = 1, ···, N}

여기서 추정된 전역 위치자세는 누적 표류 오차를 포함한다. 본 논문에서 제안하는 표현:

M̄ = {[Ki, T̂ij], i, j = 1, ···, N}

각 핵심 프레임은 인접한 핵심 프레임과의 신뢰할 수 있는 상대 위치자세 변환만 보존한다.

2. 위상-거리 핵심 프레임 지도

핵심 프레임 정의:

Ki = {Ti-1i, Ui, Pi, Ii}

상대 변환, 2D 특징점, 3D 위치 및 이미지 정보를 포함한다. 루프 폐쇄 감지 시 다음과 같이 확장된다:

Ki = {Ti-1i, Ui, Pi, Ii, TL(i)i, L(i)}

3. 지도 중복 감소

핵심 프레임 클러스터링을 통해 유사 프레임 병합:

  • DBoW 유사성 계산, 임계값 이하에서 중지
  • 유사 핵심 프레임의 3D 특징점을 보존 프레임 좌표계로 변환
  • 중복 핵심 프레임 제거, 연결 리스트 구조 유지

시각 반복 단계

1. 프레임-핵심 프레임 매칭

제약 검색 전략 채택:

Rn = {[u,v]T | ||[u,v]T - [un,vn]T||2 < γ}

원형 영역 내에서 대응 특징을 검색하고 PnP를 통해 상대 위치자세를 해결한다.

2. 지도 확장

로봇이 교시 경로에서 벗어날 때 새로운 관측을 지도에 추가:

Ki = {Ti-1i, Ūi, P̄i, Ii, TL(i)i, L(i), TiS(i), S(i), {K}}

3. 목표 리스트 관리

단일 목표가 아닌 목표 리스트 구축:

Tkg0 = inv(Tik) · TiS(i)
Tkg1 = Tkg0 · TS(i)S(S(i))

목표 리스트 Lg = {tg0, tg1, ···, tgM}은 매칭 성공 시 업데이트된다.

4. 국소 운동 계획

궤적 후보 평가를 통한 다중 목표 추적 구현:

si = (1/3) Σ(m=0 to 2) (1 - (0.005 · Θ(tie - x, tgm - x))^(1/2))

상위 세 개의 목표를 고려하여 평가하고 최적 궤적을 선택한다.

실험 설정

이동 플랫폼 구성

  • 하드웨어: 차동 구동 플랫폼, IMU 내장 카메라(MYNTEYE-SC) 및 라이다(Livox Mid-360) 탑재
  • 위치 결정 시스템: OpenVINS를 사용한 시각 주행거리 측정, 궤적 평가를 위한 iG-LIO 기록

평가 지표

  • 종점 거리: 실제 도달 종점과 사전 설정된 교시 경로 종점 간의 거리
  • 성공률: 로봇이 시작점에서 종점으로 항법할 수 있는지 여부(엄격한 경로 추종 불필요)

데이터셋

  • 환경: 사무실 및 복도 장면
  • 경로 유형: 직선 및 곡선 경로
  • 테스트 조건: 정상 상태, 장애물 폐색, 환경 변화

비교 방법

  • BVTR: 고전적인 생물 영감 VTR 방법
  • 절제 실험: 핵심 프레임 클러스터링 없음, 단일 목표 추적 등 변형

실험 결과

주요 결과

1. 정상 조건에서의 항법

  • 사무실 장면: 본 방법 종점 거리 0.08m, BVTR 0.10m
  • 두 방법 모두 항법을 성공적으로 완료하며, 회전 지점에서 경미한 이탈 발생

2. 장애물 폐색 테스트

  • 본 방법: 종점 거리 0.08m, 성공적으로 장애물 회피 및 교시 경로 복귀
  • BVTR: 종점 거리 5.58m, 장애물 앞에서 정지하여 계속 진행 불가
  • 단일 목표 버전: 종점 거리 5.20m, 다중 목표 전략의 중요성 검증

3. 곡선 경로 항법(복도 장면)

  • 본 방법: 종점 거리 0.37m, 전체 경로 성공적 추종
  • BVTR: 종점 거리 11.44m, 미지 위치로 항법 후 정지
  • 핵심 프레임 클러스터링 없음: 종점 거리 10.49m, 클러스터링 전략의 핵심 역할 입증

4. 핵심 프레임 클러스터링 검증

핵심 프레임 클러스터링은 루프 폐쇄 감지 밀도를 현저히 향상시키며, 특히 회전 지점에서 운동 계획 모듈에 더욱 시기적절한 피드백을 제공한다.

5. 지도 확장 검증

시스템은 반복 과정 중 새로운 환경 정보를 추가할 수 있으며, 확장된 핵심 프레임은 원본 지도와의 연관성을 유지하고 위상 구조를 훼손하지 않는다.

실험 발견

  1. 장기 목표 관리: 다중 목표 전략은 루프 폐쇄 감지 실패에 대한 시스템 강건성을 현저히 향상시킨다
  2. 핵심 프레임 클러스터링: 텍스처 부족 환경에서 강건한 매칭에 필수적이다
  3. 지도 확장: 환경 변화를 효과적으로 처리하며 장기 항법 작업을 지원한다

관련 연구

주요 연구 방향

  1. 생물 영감 방법: 직접 이미지 비교 및 패턴 인식
  2. 시각 기하학 방법: 특징 기반 이미지 매칭 및 PnP 해결
  3. 심층 학습 방법: 종단 간 학습 및 신경망 매칭
  4. 위상-거리 융합: 위상 및 거리 정보 결합 항법

본 논문의 장점

  • 생물 영감 방법 대비: 더욱 강건한 특징 매칭
  • 심층 학습 방법 대비: 높은 계산 효율성, 강한 해석 가능성
  • 기존 기하학 방법 대비: 전역 일관성 불필요, 강한 적응성

결론 및 논의

주요 결론

  1. 유연한 지도 표현: 위상-거리 그래프는 전역 지도 작성 요구를 효과적으로 완화한다
  2. 강건한 항법 시스템: 다중 목표 관리 및 핵심 프레임 클러스터링은 시스템 강건성을 현저히 향상시킨다
  3. 실용성 검증: 다양한 도전적 시나리오에서 시스템의 유효성을 검증했다

한계

  1. 상대 위치자세 의존성: 시스템 성능은 핵심 프레임 간 상대 위치자세의 정확성에 의존한다
  2. 장기 표류: 장시간 지도 매칭이 불가능할 경우, 주행거리 측정 표류로 인한 발산 가능성
  3. 환경 가정: 상대 위치자세 추정이 충분히 정확하다고 가정하며, 특정 환경에서는 성립하지 않을 수 있다

향후 방향

심층 학습 기반 종단 간 시각 항법 모델 구축으로 정확한 전역 위치자세 추적 및 환경 지도 작성에 대한 요구를 더욱 완화한다.

심층 평가

장점

  1. 기술 혁신: 새로운 위상-거리 지도 표현을 제안하여 기존 방법의 한계를 효과적으로 해결한다
  2. 시스템 완전성: 지도 구축에서 항법 실행까지의 완전한 솔루션
  3. 충분한 실험: 다양한 장면 및 조건에서 포괄적인 검증 수행
  4. 실용적 가치: 시스템 설계가 실제 배치 요구를 고려하며 사용자 친화적이다

부족한 점

  1. 이론 분석 부족: 시스템 수렴성 및 안정성에 대한 이론적 보증 부재
  2. 계산 복잡도: 핵심 프레임 클러스터링 및 다중 목표 관리의 계산 오버헤드 상세 분석 부재
  3. 환경 제한: 주로 실내 구조화된 환경에서 테스트되었으며, 야외 복잡 환경의 적응성 미지수
  4. 제한된 비교 기준: 주로 고전적 BVTR 방법과 비교하며, 최신 심층 학습 방법과의 비교 부족

영향력

  1. 학술 기여: VTR 항법에 새로운 기술 경로를 제공하며 일정한 이론적 가치를 갖는다
  2. 실용적 가치: 방법을 산업 및 가정용 로봇 항법에 직접 적용 가능
  3. 재현성: 기술 세부사항이 상세히 기술되어 재현 및 개선가 용이하다

적용 시나리오

  1. 고정 경로 항법: 공장 내부 사이트 간 항법, 창고 로봇 경로 추종
  2. 환경 변화 시나리오: 경미한 환경 변화에 적응해야 하는 장기 항법 작업
  3. 계산 자원 제한: 심층 학습 방법 대비 하드웨어 요구사항이 낮다

참고문헌

논문은 31편의 참고문헌을 포함하며, 시각 SLAM, 로봇 항법, 위치 인식 등 관련 분야의 중요한 연구를 다루고 있어 연구의 견고한 이론적 기초를 제공한다.


종합 평가: 본 논문은 실용적인 VTR 항법 솔루션을 제안하며, 기술적으로 일정한 혁신성을 갖고 있고 실험 검증이 충분하다. 이론 분석 및 환경 적응성 측면에서 개선 여지가 있지만, 이동 로봇 항법 분야에 가치 있는 기술 기여를 제공한다.