2025-11-13T13:49:10.872331

Robust Visual Teach-and-Repeat Navigation with Flexible Topo-metric Graph Map Representation

Wang, Cheng, Wang et al.

Visual Teach-and-Repeat Navigation is a direct solution for mobile robot to be deployed in unknown environments. However, robust trajectory repeat navigation still remains challenged due to environmental changing and dynamic objects. In this paper, we propose a novel visual teach-and-repeat navigation system, which consists of a flexible map representation, robust map matching and a map-less local navigation module. During the teaching process, the recorded keyframes are formulated as a topo-metric graph and each node can be further extended to save new observations. Such representation also alleviates the requirement of globally consistent mapping. To enhance the place recognition performance during repeating process, instead of using frame-to-frame matching, we firstly implement keyframe clustering to aggregate similar connected keyframes into local map and perform place recognition based on visual frame-tolocal map matching strategy. To promote the local goal persistent tracking performance, a long-term goal management algorithm is constructed, which can avoid the robot getting lost due to environmental changes or obstacle occlusion. To achieve the goal without map, a local trajectory-control candidate optimization algorithm is proposed. Extensively experiments are conducted on our mobile platform. The results demonstrate that our system is superior to the baselines in terms of robustness and effectiveness.

academic

নমনীয় টপো-মেট্রিক গ্রাফ ম্যাপ প্রতিনিধিত্বের সাথে শক্তিশালী ভিজ্যুয়াল টিচ-এন্ড-রিপিট নেভিগেশন

মৌলিক তথ্য

পেপার আইডি: 2510.09089
শিরোনাম: Robust Visual Teach-and-Repeat Navigation with Flexible Topo-metric Graph Map Representation
লেখক: জিকাই ওয়াং, ইউনকি চেং, কেজি ওয়াং এবং জংহাই চেন (চীন বিজ্ঞান ও প্রযুক্তি বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.RO (রোবোটিক্স)
প্রকাশনার সময়: ২০২৫ সালের অক্টোবর ১০ তারিখ
পেপার লিংক: https://arxiv.org/abs/2510.09089

সারসংক্ষেপ

এই পেপারটি একটি উদ্ভাবনী ভিজ্যুয়াল টিচ-এন্ড-রিপিট (VTR) নেভিগেশন সিস্টেম প্রস্তাব করে যা নমনীয় ম্যাপ প্রতিনিধিত্ব, শক্তিশালী ম্যাপ ম্যাচিং এবং ম্যাপবিহীন স্থানীয় নেভিগেশন মডিউলের মাধ্যমে পরিবেশগত পরিবর্তন এবং গতিশীল বস্তুর চ্যালেঞ্জ মোকাবেলা করে। সিস্টেমটি টপো-মেট্রিক গ্রাফ কাঠামো ব্যবহার করে মূল ফ্রেম সংরক্ষণ করে, নতুন পর্যবেক্ষণ সংরক্ষণের জন্য নোড সম্প্রসারণ সমর্থন করে। মূল ফ্রেম ক্লাস্টারিং এবং ফ্রেম-টু-লোকাল-ম্যাপ ম্যাচিং কৌশলের মাধ্যমে অবস্থান স্বীকৃতি কর্মক্ষমতা উন্নত করে এবং দীর্ঘমেয়াদী লক্ষ্য ব্যবস্থাপনা অ্যালগরিদম তৈরি করে যা রোবটকে পরিবেশগত পরিবর্তন বা বাধা দ্বারা বাধাগ্রস্ত হওয়া থেকে রক্ষা করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ভিজ্যুয়াল টিচ-এন্ড-রিপিট (VTR) নেভিগেশন মোবাইল রোবটগুলির অজানা পরিবেশে স্থাপনার জন্য একটি সরাসরি সমাধান, তবে পরিবেশগত পরিবর্তন এবং গতিশীল বস্তুর উপস্থিতিতে শক্তিশালী ট্র্যাজেক্টরি পুনরাবৃত্তি নেভিগেশন অর্জন করা এখনও চ্যালেঞ্জিং।

গুরুত্ব

১. ব্যবহারিক মূল্য: VTR নেভিগেশন কাজের পরিবেশের সম্পূর্ণ ম্যাপিং এড়ায়, যা রোবট স্থাপনা আরও দক্ষ করে তোলে २. প্রয়োগের চাহিদা: নির্দিষ্ট রুট নেভিগেশন পরিস্থিতিতে ব্যাপক চাহিদা রয়েছে (যেমন কারখানার সাইটের মধ্যে নেভিগেশন) ३. প্রযুক্তিগত চ্যালেঞ্জ: পরিবেশগত পরিবর্তন, গতিশীল বস্তু এবং পথ বিচ্যুতির অবস্থায় নেভিগেশন শক্তিশালীতা বজায় রাখা প্রয়োজন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. ম্যাপ প্রতিনিধিত্ব সমস্যা: ঐতিহ্যবাহী পদ্ধতি বৈশ্বিক সামঞ্জস্যপূর্ণ ম্যাপিংয়ের উপর নির্ভর করে, অবস্থান নির্ধারণের নির্ভুলতার উচ্চ প্রয়োজনীয়তা রয়েছে २. অবস্থান স্বীকৃতি দুর্বলতা: ফ্রেম-টু-ফ্রেম ম্যাচিং দৃষ্টিভঙ্গি পরিবর্তন এবং অবরোধের ক্ষেত্রে যথেষ্ট শক্তিশালী নয় ३. নেভিগেশন মডিউল নির্ভরতা: বিদ্যমান সিস্টেমগুলি সঠিক অবস্থান স্বীকৃতির উপর অত্যধিক নির্ভরশীল, ম্যাচিং ব্যর্থতার সময় সহজেই ব্যর্থ হয় ४. পরিবেশ অভিযোজনযোগ্যতা দুর্বল: পরিবেশগত পরিবর্তন এবং গতিশীল বাধা পরিচালনা করা কঠিন

মূল অবদান

१. নমনীয় ম্যাপ প্রতিনিধিত্ব পদ্ধতি প্রস্তাব: পরিবেশগত পরিবর্তন এবং ওডোমেট্রি ড্রিফট ত্রুটির সাথে খাপ খাইয়ে নিতে পারে এমন টপো-মেট্রিক গ্রাফ কাঠামো ডিজাইন করা २. শক্তিশালী VTR নেভিগেশন সিস্টেম তৈরি: পরিবেশগত পরিবর্তন, গতিশীল বস্তু এবং দৃষ্টিভঙ্গি অবরোধের সাথে খাপ খাইয়ে নিতে পারে, নেভিগেশন মডিউল অন্যান্য VTR সিস্টেমে এম্বেড করা যায় ३. ব্যবহারকারী-বান্ধব সিস্টেম বাস্তবায়ন: নতুন কাজের পরিবেশের সাথে খাপ খাইয়ে নেওয়া সহজ, ভাল ব্যবহারিকতা সহ ४. সিস্টেম কার্যকারিতা যাচাই: মোবাইল প্ল্যাটফর্মে ব্যাপক পরীক্ষা পরিচালনা করা হয়েছে, বেসলাইন পদ্ধতির তুলনায় উচ্চতর প্রমাণিত হয়েছে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

VTR নেভিগেশন দুটি পর্যায় অন্তর্ভুক্ত করে:

শিক্ষণ পর্যায়: মানব অপারেটর রোবটকে কাজের রুট বরাবর চালিত করে, রিয়েল-টাইমে ভিজ্যুয়াল ফ্রেম ম্যাপ হিসাবে রেকর্ড করে
পুনরাবৃত্তি পর্যায়: রোবট বর্তমান ভিজ্যুয়াল ফ্রেমকে ম্যাপের সাথে ম্যাচ করার চেষ্টা করে এবং ম্যাচিং সফল হলে পরবর্তী লক্ষ্য আপডেট করে

সিস্টেম আর্কিটেকচার

१. ম্যাপ প্রতিনিধিত্ব ত্রুটি বিশ্লেষণ

ঐতিহ্যবাহী SLAM ম্যাপ প্রতিনিধিত্ব:

M̂ = {[Ki, T̂WI], i = 1, ···, N}

যেখানে অনুমানকৃত বৈশ্বিক অবস্থান সংগ্রহ ত্রুটি রয়েছে। এই পেপারে প্রস্তাবিত প্রতিনিধিত্ব:

M̄ = {[Ki, T̂ij], i, j = 1, ···, N}

প্রতিটি মূল ফ্রেম শুধুমাত্র নিকটবর্তী মূল ফ্রেমের সাথে বিশ্বাসযোগ্য আপেক্ষিক অবস্থান রূপান্তর সংরক্ষণ করে।

२. টপো-মেট্রিক মূল ফ্রেম ম্যাপ

মূল ফ্রেম সংজ্ঞায়িত করা হয়:

Ki = {Ti-1i, Ui, Pi, Ii}

আপেক্ষিক রূপান্তর, 2D বৈশিষ্ট্য পয়েন্ট, 3D অবস্থান এবং চিত্র তথ্য অন্তর্ভুক্ত করে। লুপ সনাক্ত করা হলে সম্প্রসারিত হয়:

Ki = {Ti-1i, Ui, Pi, Ii, TL(i)i, L(i)}

३. ম্যাপ অপ্রয়োজনীয়তা হ্রাস

মূল ফ্রেম ক্লাস্টারিংয়ের মাধ্যমে অনুরূপ ফ্রেম একত্রিত করা:

DBoW সাদৃশ্য গণনা করুন, থ্রেশহোল্ডের নিচে থামুন
অনুরূপ মূল ফ্রেমের 3D বৈশিষ্ট্য পয়েন্টগুলি সংরক্ষিত ফ্রেম সমন্বয় ব্যবস্থায় রূপান্তরিত করুন
অপ্রয়োজনীয় মূল ফ্রেম সরান, লিঙ্ক তালিকা কাঠামো বজায় রাখুন

ভিজ্যুয়াল পুনরাবৃত্তি পর্যায়

१. ফ্রেম-টু-মূল ফ্রেম ম্যাচিং

সীমাবদ্ধ অনুসন্ধান কৌশল ব্যবহার করা:

Rn = {[u,v]T | ||[u,v]T - [un,vn]T||2 < γ}

বৃত্তাকার অঞ্চলে সংশ্লিষ্ট বৈশিষ্ট্য অনুসন্ধান করুন, PnP দ্বারা আপেক্ষিক অবস্থান সমাধান করুন।

२. ম্যাপ সম্প্রসারণ

যখন রোবট শিক্ষণ রুট থেকে বিচ্যুত হয়, নতুন পর্যবেক্ষণ ম্যাপে যোগ করুন:

Ki = {Ti-1i, Ūi, P̄i, Ii, TL(i)i, L(i), TiS(i), S(i), {K}}

३. লক্ষ্য তালিকা ব্যবস্থাপনা

একক লক্ষ্যের পরিবর্তে লক্ষ্য তালিকা তৈরি করুন:

Tkg0 = inv(Tik) · TiS(i)
Tkg1 = Tkg0 · TS(i)S(S(i))

লক্ষ্য তালিকা Lg = {tg0, tg1, ···, tgM} ম্যাচিং সফল হলে আপডেট হয়।

४. স্থানীয় গতি পরিকল্পনা

ট্র্যাজেক্টরি প্রার্থী স্কোরিংয়ের মাধ্যমে মাল্টি-লক্ষ্য ট্র্যাকিং বাস্তবায়ন করুন:

si = (1/3) Σ(m=0 to 2) (1 - (0.005 · Θ(tie - x, tgm - x))^(1/2))

সামনের তিনটি লক্ষ্য বিবেচনা করে স্কোর করুন, সর্বোত্তম ট্র্যাজেক্টরি নির্বাচন করুন।

পরীক্ষা সেটআপ

মোবাইল প্ল্যাটফর্ম কনফিগারেশন

হার্ডওয়্যার: ডিফারেনশিয়াল ড্রাইভ প্ল্যাটফর্ম, IMU এম্বেডেড ক্যামেরা (MYNTEYE-SC) এবং লাইডার (Livox Mid-360) সহ
অবস্থান সিস্টেম: ভিজ্যুয়াল ওডোমেট্রির জন্য OpenVINS ব্যবহার করুন, মূল্যায়নের জন্য iG-LIO ট্র্যাজেক্টরি রেকর্ড করুন

মূল্যায়ন মেট্রিক্স

শেষ বিন্দু দূরত্ব: প্রকৃত শেষ বিন্দু এবং পূর্বনির্ধারিত শিক্ষণ রুট শেষ বিন্দুর মধ্যে দূরত্ব
সাফল্যের হার: রোবট শুরু বিন্দু থেকে শেষ বিন্দুতে নেভিগেট করতে পারে কিনা (কঠোর রুট অনুসরণের প্রয়োজন নেই)

ডেটাসেট

পরিবেশ: অফিস এবং করিডর দৃশ্য
রুট প্রকার: সরল এবং বক্ররেখা পথ
পরীক্ষার শর্ত: স্বাভাবিক অবস্থা, বাধা অবরোধ, পরিবেশগত পরিবর্তন

তুলনা পদ্ধতি

BVTR: ক্লাসিক্যাল জৈব-অনুপ্রাণিত VTR পদ্ধতি
অ্যাবলেশন পরীক্ষা: মূল ফ্রেম ক্লাস্টারিং ছাড়া, একক লক্ষ্য ট্র্যাকিং ইত্যাদি ভেরিয়েন্ট

পরীক্ষার ফলাফল

প্রধান ফলাফল

१. স্বাভাবিক অবস্থায় নেভিগেশন

অফিস দৃশ্য: এই পদ্ধতির শেষ বিন্দু দূরত্ব 0.08m, BVTR 0.10m
উভয় পদ্ধতি সফলভাবে নেভিগেশন সম্পূর্ণ করতে পারে, মোড়ে হালকা বিচ্যুতি রয়েছে

२. বাধা অবরোধ পরীক্ষা

এই পদ্ধতি: শেষ বিন্দু দূরত্ব 0.08m, সফলভাবে বাধা এড়িয়ে শিক্ষণ রুটে ফিরে আসে
BVTR: শেষ বিন্দু দূরত্ব 5.58m, বাধার সামনে থামে এবং চালিয়ে যেতে পারে না
একক লক্ষ্য সংস্করণ: শেষ বিন্দু দূরত্ব 5.20m, মাল্টি-লক্ষ্য কৌশলের গুরুত্ব যাচাই করে

३. বক্ররেখা পথ নেভিগেশন (করিডর দৃশ্য)

এই পদ্ধতি: শেষ বিন্দু দূরত্ব 0.37m, সম্পূর্ণ রুট সফলভাবে অনুসরণ করে
BVTR: শেষ বিন্দু দূরত্ব 11.44m, অজানা অবস্থানে নেভিগেট করার পরে থামে
মূল ফ্রেম ক্লাস্টারিং ছাড়া: শেষ বিন্দু দূরত্ব 10.49m, ক্লাস্টারিং কৌশলের গুরুত্ব প্রদর্শন করে

४. মূল ফ্রেম ক্লাস্টারিং যাচাইকরণ

মূল ফ্রেম ক্লাস্টারিং লুপ সনাক্তকরণ ঘনত্ব উল্লেখযোগ্যভাবে বৃদ্ধি করে, বিশেষ করে মোড়ে, গতি পরিকল্পনা মডিউলকে আরও সময়োপযোগী প্রতিক্রিয়া প্রদান করে।

५. ম্যাপ সম্প্রসারণ যাচাইকরণ

সিস্টেম পুনরাবৃত্তি প্রক্রিয়ায় নতুন পরিবেশগত তথ্য যোগ করতে পারে, সম্প্রসারিত মূল ফ্রেম মূল ম্যাপের সাথে সম্পর্ক বজায় রাখে, টপোলজিক্যাল কাঠামো ভাঙে না।

পরীক্ষামূলক অনুসন্ধান

१. দীর্ঘমেয়াদী লক্ষ্য ব্যবস্থাপনা: মাল্টি-লক্ষ্য কৌশল লুপ সনাক্তকরণ ব্যর্থতার প্রতি সিস্টেমের শক্তিশালীতা উল্লেখযোগ্যভাবে উন্নত করে २. মূল ফ্রেম ক্লাস্টারিং: টেক্সচার-অভাবী পরিবেশে শক্তিশালী ম্যাচিংয়ের জন্য গুরুত্বপূর্ণ ३. ম্যাপ সম্প্রসারণ: পরিবেশগত পরিবর্তন কার্যকরভাবে পরিচালনা করে, দীর্ঘমেয়াদী নেভিগেশন কাজ সমর্থন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. নমনীয় ম্যাপ প্রতিনিধিত্ব: টপো-মেট্রিক গ্রাফ বৈশ্বিক ম্যাপিং প্রয়োজনীয়তা কার্যকরভাবে হ্রাস করে २. শক্তিশালী নেভিগেশন সিস্টেম: মাল্টি-লক্ষ্য ব্যবস্থাপনা এবং মূল ফ্রেম ক্লাস্টারিং সিস্টেম শক্তিশালীতা উল্লেখযোগ্যভাবে উন্নত করে ३. ব্যবহারিকতা যাচাইকরণ: বিভিন্ন চ্যালেঞ্জিং পরিস্থিতিতে সিস্টেমের কার্যকারিতা যাচাই করা হয়েছে

সীমাবদ্ধতা

१. আপেক্ষিক অবস্থান নির্ভরতা: সিস্টেম কর্মক্ষমতা মূল ফ্রেমের মধ্যে আপেক্ষিক অবস্থানের নির্ভুলতার উপর নির্ভর করে २. দীর্ঘমেয়াদী ড্রিফট: যদি দীর্ঘ সময়ের জন্য ম্যাপ ম্যাচ করা না যায়, ওডোমেট্রি ড্রিফট বিচ্যুতি ঘটাতে পারে ३. পরিবেশ অনুমান: আপেক্ষিক অবস্থান অনুমান যথেষ্ট নির্ভুল বলে অনুমান করে, কিছু পরিবেশে এটি সত্য নাও হতে পারে

ভবিষ্যত দিকনির্দেশনা

গভীর শিক্ষা-ভিত্তিক এন্ড-টু-এন্ড ভিজ্যুয়াল নেভিগেশন মডেল তৈরি করুন, সঠিক বৈশ্বিক অবস্থান ট্র্যাকিং এবং পরিবেশ ম্যাপিংয়ের প্রয়োজনীয়তা আরও কমিয়ে আনুন।

গভীর মূল্যায়ন

সুবিধা

१. প্রযুক্তিগত উদ্ভাবন: নতুন টপো-মেট্রিক ম্যাপ প্রতিনিধিত্ব প্রস্তাব করে, ঐতিহ্যবাহী পদ্ধতির সীমাবদ্ধতা কার্যকরভাবে সমাধান করে २. সিস্টেম সম্পূর্ণতা: ম্যাপ নির্মাণ থেকে নেভিগেশন সম্পাদনের সম্পূর্ণ সমাধান ३. পরীক্ষা ব্যাপক: বিভিন্ন দৃশ্য এবং অবস্থায় ব্যাপক যাচাইকরণ পরিচালনা করা হয়েছে ४. ব্যবহারিক মূল্য: সিস্টেম ডিজাইন প্রকৃত স্থাপনা প্রয়োজন বিবেচনা করে, ব্যবহারকারী-বান্ধব

অপূর্ণতা

१. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: সিস্টেম সংগ্রহ এবং স্থিতিশীলতার তাত্ত্বিক গ্যারান্টি অভাব २. গণনা জটিলতা: মূল ফ্রেম ক্লাস্টারিং এবং মাল্টি-লক্ষ্য ব্যবস্থাপনার গণনা খরচ বিস্তারিতভাবে বিশ্লেষণ করা হয়নি ३. পরিবেশ সীমাবদ্ধতা: প্রধানত অভ্যন্তরীণ কাঠামোগত পরিবেশে পরীক্ষা করা হয়েছে, বহিরঙ্গন জটিল পরিবেশের অভিযোজনযোগ্যতা অজানা ४. তুলনা বেসলাইন সীমিত: প্রধানত ক্লাসিক্যাল BVTR পদ্ধতির সাথে তুলনা করা হয়, সর্বশেষ গভীর শিক্ষা পদ্ধতির সাথে তুলনা অভাব

প্রভাব

१. একাডেমিক অবদান: VTR নেভিগেশনের জন্য নতুন প্রযুক্তিগত পথ প্রদান করে, নির্দিষ্ট তাত্ত্বিক মূল্য রয়েছে २. ব্যবহারিক মূল্য: পদ্ধতি শিল্প এবং গৃহ রোবট নেভিগেশনে সরাসরি প্রয়োগ করা যায় ३. পুনরুৎপাদনযোগ্যতা: প্রযুক্তিগত বিবরণ সম্পূর্ণভাবে বর্ণিত, পুনরুৎপাদন এবং উন্নতি সহজ করে

প্রযোজ্য পরিস্থিতি

१. নির্দিষ্ট রুট নেভিগেশন: কারখানার অভ্যন্তরীণ সাইট নেভিগেশন, গুদাম রোবট পথ অনুসরণ २. পরিবেশ পরিবর্তন পরিস্থিতি: হালকা পরিবেশ পরিবর্তনের সাথে খাপ খাইয়ে নিতে হবে এমন দীর্ঘমেয়াদী নেভিগেশন কাজ ३. সীমিত গণনা সম্পদ: গভীর শিক্ষা পদ্ধতির তুলনায়, হার্ডওয়্যার প্রয়োজনীয়তা কম

রেফারেন্স

পেপারটিতে ৩১টি রেফারেন্স রয়েছে, যা ভিজ্যুয়াল SLAM, রোবট নেভিগেশন, অবস্থান স্বীকৃতি এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি শক্তিশালী তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এই পেপারটি একটি ব্যবহারিক VTR নেভিগেশন সমাধান প্রস্তাব করে, প্রযুক্তিতে নির্দিষ্ট উদ্ভাবনী মূল্য রয়েছে, পরীক্ষা যাচাইকরণ যথেষ্ট সম্পূর্ণ। যদিও তাত্ত্বিক বিশ্লেষণ এবং পরিবেশ অভিযোজনযোগ্যতায় উন্নতির অবকাশ রয়েছে, তবে এটি মোবাইল রোবট নেভিগেশন ক্ষেত্রে মূল্যবান প্রযুক্তিগত অবদান প্রদান করে।