Less is More: Token Context-aware Learning for Object Tracking
Xu, Zhong, Liang et al.
Recently, several studies have shown that utilizing contextual information to perceive target states is crucial for object tracking. They typically capture context by incorporating multiple video frames. However, these naive frame-context methods fail to consider the importance of each patch within a reference frame, making them susceptible to noise and redundant tokens, which deteriorates tracking performance. To address this challenge, we propose a new token context-aware tracking pipeline named LMTrack, designed to automatically learn high-quality reference tokens for efficient visual tracking. Embracing the principle of Less is More, the core idea of LMTrack is to analyze the importance distribution of all reference tokens, where important tokens are collected, continually attended to, and updated. Specifically, a novel Token Context Memory module is designed to dynamically collect high-quality spatio-temporal information of a target in an autoregressive manner, eliminating redundant background tokens from the reference frames. Furthermore, an effective Unidirectional Token Attention mechanism is designed to establish dependencies between reference tokens and search frame, enabling robust cross-frame association and target localization. Extensive experiments demonstrate the superiority of our tracker, achieving state-of-the-art results on tracking benchmarks such as GOT-10K, TrackingNet, and LaSOT.
academic
কম হল বেশি: টোকেন প্রসঙ্গ-সচেতন শিক্ষা বস্তু ট্র্যাকিংয়ের জন্য
এই পেপারটি টোকেন প্রসঙ্গ-সচেতন ভিত্তিক বস্তু ট্র্যাকিংয়ের জন্য একটি নতুন পদ্ধতি LMTrack প্রস্তাব করে। বিদ্যমান প্রসঙ্গ-সচেতন ট্র্যাকিং পদ্ধতিগুলি সাধারণত বহু-ফ্রেম তথ্যের মাধ্যমে প্রসঙ্গ ক্যাপচার করে, কিন্তু এই সরল ফ্রেম-স্তরের প্রসঙ্গ পদ্ধতিগুলি রেফারেন্স ফ্রেমের মধ্যে বিভিন্ন প্যাচের গুরুত্বের পার্থক্য উপেক্ষা করে এবং শব্দ ও অপ্রয়োজনীয় টোকেন দ্বারা প্রভাবিত হয়। LMTrack "কম হল বেশি" নীতি অনুসরণ করে, সমস্ত রেফারেন্স টোকেনের গুরুত্ব বিতরণ বিশ্লেষণ করে, গুরুত্বপূর্ণ টোকেন সংগ্রহ, ক্রমাগত মনোযোগ এবং আপডেট করে। এই পদ্ধতিতে দুটি মূল উপাদান রয়েছে: টোকেন প্রসঙ্গ মেমরি (TCM) মডিউল এবং একমুখী টোকেন মনোযোগ প্রক্রিয়া, যা একাধিক ট্র্যাকিং বেঞ্চমার্কে অত্যাধুনিক কর্মক্ষমতা অর্জন করেছে।
বস্তু ট্র্যাকিং কাজটি প্রাথমিক অবস্থানের উপর ভিত্তি করে ভিডিও সিকোয়েন্সে যেকোনো বস্তু সনাক্ত এবং ট্র্যাক করার লক্ষ্য রাখে। সাম্প্রতিক গবেষণা দেখায় যে প্রসঙ্গ তথ্য ব্যবহার করে বস্তু অবস্থা সচেতনতা বস্তু ট্র্যাকিংয়ের জন্য অত্যন্ত গুরুত্বপূর্ণ।
ফ্রেম-স্তরের প্রসঙ্গের মোটা দানাদারতা: বিদ্যমান পদ্ধতিগুলি ফ্রেমকে প্রসঙ্গের ন্যূনতম একক হিসাবে বিবেচনা করে, রেফারেন্স ফ্রেমের মধ্যে বিভিন্ন প্যাচের সার্চ ফ্রেমে লক্ষ্য অবস্থানের জন্য গুরুত্বের পার্থক্য উপেক্ষা করে
অপ্রয়োজনীয় তথ্যের হস্তক্ষেপ: সমস্ত রেফারেন্স টোকেনকে সমানভাবে বিবেচনা করা মডেলের উপলব্ধি এবং গণনার বোঝা বৃদ্ধি করে, বিশেষত জটিল দৃশ্যে
অভিযোজনযোগ্যতার অভাব: হস্তনির্মিত কৌশল ব্যবহার করে ট্র্যাকারকে প্যাসিভভাবে রেফারেন্স ফ্রেম গ্রহণ করতে বাধ্য করে, বরং ট্র্যাকারকে লক্ষ্য রেফারেন্স তথ্য সম্পর্কে স্বাধীনভাবে সিদ্ধান্ত নিতে দেয় না
সহজ ট্রান্সফর্মার ট্র্যাকার ডিজাইনের বিশ্লেষণের মাধ্যমে আবিষ্কৃত হয়েছে যে: বেশিরভাগ পটভূমি টোকেন ট্র্যাকিং প্রক্রিয়ায় খুব কমই উল্লেখ করা হয় এবং ফলাফলে ন্যূনতম প্রভাব ফেলে, যখন লক্ষ্য টোকেন দীর্ঘমেয়াদী রেফারেন্স সূত্র হিসাবে ব্যাপকভাবে সংরক্ষিত থাকে। এটি ট্র্যাকিং প্রক্রিয়ায় অল্প সংখ্যক উচ্চ-মানের টোকেন মূল ভূমিকা পালন করে এমন অনুমানকে যাচাই করে।
নতুন টোকেন প্রসঙ্গ-সচেতন ট্র্যাকিং পাইপলাইন LMTrack প্রস্তাব করা: টোকেন প্রসঙ্গ মেমরি মডিউলের উপর ভিত্তি করে, বিদ্যমান ফ্রেম-স্তরের প্রসঙ্গ-ভিত্তিক ট্র্যাকিং পদ্ধতির থেকে আলাদা, LMTrack স্বয়ংক্রিয়ভাবে ভিজ্যুয়াল ট্র্যাকিংয়ের জন্য উচ্চ-মানের টোকেন প্রসঙ্গ সংগ্রহ এবং আপডেট করে
কার্যকর একমুখী মনোযোগ প্রক্রিয়া প্রবর্তন: একমুখী প্রচার পদ্ধতিতে রেফারেন্স টোকেন এবং সার্চ ফ্রেমের মধ্যে নির্ভরতা প্রতিষ্ঠা করে, শক্তিশালী ক্রস-ফ্রেম সংযোগ এবং অবস্থান বাস্তবায়ন করে
অত্যাধুনিক ট্র্যাকিং কর্মক্ষমতা অর্জন: LaSOT, TrackingNet, GOT10K, LaSOText, VOT2020 পাঁচটি ভিজ্যুয়াল ট্র্যাকিং বেঞ্চমার্কে নতুন সর্বোত্তম ফলাফল অর্জন করেছে
প্রাথমিক লক্ষ্য অবস্থান দেওয়া হলে, ভিডিও সিকোয়েন্সে ক্রমাগত সেই লক্ষ্য সনাক্ত এবং ট্র্যাক করা। ইনপুট হল ভিডিও ফ্রেম সিকোয়েন্স, আউটপুট হল প্রতিটি ফ্রেমে লক্ষ্যের সীমানা বাক্স।
ফ্রেম-স্তর থেকে টোকেন-স্তরের প্রসঙ্গে: ঐতিহ্যবাহী ফ্রেম-স্তরের প্রসঙ্গ পরিত্যাগ করে, সূক্ষ্ম-দানাদার টোকেন-স্তরের প্রসঙ্গ প্রতিনিধিত্ব ব্যবহার করে গুরুত্বপূর্ণ রেফারেন্স সূত্র
অভিযোজনযোগ্য গুরুত্ব বিশ্লেষণ: মনোযোগ ম্যাট্রিক্স এবং শ্রেণীবিভাগ ফলাফল একত্রিত করে টোকেন গুরুত্ব বিশ্লেষণ করে, স্থির কৌশল ব্যবহার করার পরিবর্তে
একমুখী তথ্য প্রবাহ: সার্চ টোকেনকে রেফারেন্স টোকেন প্রতিনিধিত্ব দূষিত করা থেকে প্রতিরোধ করে, সংমিশ্রণ দক্ষতা উন্নত করে
সময়ের সাথে TCM মডিউল গুরুত্বপূর্ণ রেফারেন্স টোকেন নিষ্কাশন করার প্রক্রিয়া প্রদর্শন করে, বেশিরভাগ পটভূমি টোকেন অপ্রয়োজনীয় হয়ে যায়, প্রধানত লক্ষ্য চেহারা বর্ণনা করে এমন টোকেন সংরক্ষিত থাকে।
OSTrack এর সাথে তুলনা দেখায় যে LMTrack রেফারেন্স টোকেন ব্যবহার করে চেহারা পরিবর্তন এবং হস্তক্ষেপ প্রতিরোধ করতে পারে, লক্ষ্যের প্রতি মনোযোগ বজায় রাখে।
প্রাথমিক পদ্ধতিগুলি প্রধানত প্রাথমিক টেমপ্লেট পদ্ধতির উপর নির্ভর করে, যেমন Siamese নেটওয়ার্ক প্রাথমিক লক্ষ্য টেমপ্লেট এবং প্রার্থী অঞ্চল মিলায়, কিন্তু লক্ষ্য চেহারার উল্লেখযোগ্য পরিবর্তনের সাথে খাপ খাইয়ে নিতে কঠিন।
এই পেপারটি বস্তু ট্র্যাকিং ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
Siamese নেটওয়ার্ক সিরিজ (SiamRPN++, SiamFC++)
Transformer ট্র্যাকার (TransT, STARK, Mixformer)
প্রসঙ্গ-সচেতন পদ্ধতি (STMTrack, SeqTrack, OSTrack)
মনোযোগ প্রক্রিয়া (Transformer, ViT)
সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের কম্পিউটার ভিশন পেপার, যা প্রস্তাবিত LMTrack পদ্ধতি তাত্ত্বিক উদ্ভাবন এবং পরীক্ষামূলক যাচাইকরণ উভয় ক্ষেত্রেই চমৎকার কর্মক্ষমতা প্রদর্শন করে। "কম হল বেশি" ডিজাইন দর্শন এবং টোকেন-স্তরের প্রসঙ্গ সচেতনতা বস্তু ট্র্যাকিং ক্ষেত্রে নতুন গবেষণা চিন্তাভাবনা প্রদান করে, যা গুরুত্বপূর্ণ একাডেমিক মূল্য এবং ব্যবহারিক তাৎপর্য রাখে।