2025-11-17T17:07:12.969103

Less is More: Token Context-aware Learning for Object Tracking

Xu, Zhong, Liang et al.
Recently, several studies have shown that utilizing contextual information to perceive target states is crucial for object tracking. They typically capture context by incorporating multiple video frames. However, these naive frame-context methods fail to consider the importance of each patch within a reference frame, making them susceptible to noise and redundant tokens, which deteriorates tracking performance. To address this challenge, we propose a new token context-aware tracking pipeline named LMTrack, designed to automatically learn high-quality reference tokens for efficient visual tracking. Embracing the principle of Less is More, the core idea of LMTrack is to analyze the importance distribution of all reference tokens, where important tokens are collected, continually attended to, and updated. Specifically, a novel Token Context Memory module is designed to dynamically collect high-quality spatio-temporal information of a target in an autoregressive manner, eliminating redundant background tokens from the reference frames. Furthermore, an effective Unidirectional Token Attention mechanism is designed to establish dependencies between reference tokens and search frame, enabling robust cross-frame association and target localization. Extensive experiments demonstrate the superiority of our tracker, achieving state-of-the-art results on tracking benchmarks such as GOT-10K, TrackingNet, and LaSOT.
academic

कम अधिक है: वस्तु ट्रैकिंग के लिए टोकन संदर्भ-जागरूक शिक्षा

मूल जानकारी

  • पेपर ID: 2501.00758
  • शीर्षक: Less is More: Token Context-aware Learning for Object Tracking
  • लेखक: Chenlong Xu, Bineng Zhong, Qihua Liang, Yaozong Zheng, Guorong Li, Shuxiang Song
  • वर्गीकरण: cs.CV (कंप्यूटर विजन)
  • प्रकाशन समय/सम्मेलन: AAAI 2025
  • पेपर लिंक: https://arxiv.org/abs/2501.00758
  • कोड लिंक: https://github.com/XuChenLong/LMTrack

सारांश

यह पेपर टोकन संदर्भ-जागरूक आधारित वस्तु ट्रैकिंग के लिए एक नई विधि LMTrack प्रस्तावित करता है। मौजूदा संदर्भ-जागरूक ट्रैकिंग विधियां आमतौर पर बहु-फ्रेम जानकारी के माध्यम से संदर्भ को कैप्चर करती हैं, लेकिन ये सरल फ्रेम-स्तरीय संदर्भ विधियां संदर्भ फ्रेम के भीतर विभिन्न पैच के महत्व में अंतर को नजरअंदाज करती हैं और शोर तथा अनावश्यक टोकन से प्रभावित होती हैं। LMTrack "कम अधिक है" के सिद्धांत का पालन करते हुए, सभी संदर्भ टोकन के महत्व वितरण का विश्लेषण करके, महत्वपूर्ण टोकन को एकत्रित, निरंतर ध्यान केंद्रित और अपडेट करता है। इस विधि में दो मुख्य घटक हैं: टोकन संदर्भ मेमोरी (TCM) मॉड्यूल और एकतरफा टोकन ध्यान तंत्र, जो कई ट्रैकिंग बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वस्तु ट्रैकिंग कार्य का उद्देश्य प्रारंभिक स्थिति के आधार पर वीडियो अनुक्रम में किसी भी वस्तु का पता लगाना और ट्रैक करना है। हाल के अनुसंधान से पता चलता है कि वस्तु की स्थिति को समझने के लिए संदर्भ जानकारी का उपयोग करना वस्तु ट्रैकिंग के लिए महत्वपूर्ण है।

मौजूदा विधियों की सीमाएं

  1. फ्रेम-स्तरीय संदर्भ की मोटी दानेदारता: मौजूदा विधियां फ्रेम को संदर्भ की न्यूनतम इकाई मानती हैं, संदर्भ फ्रेम के भीतर विभिन्न पैच के खोज फ्रेम में वस्तु स्थिति के लिए महत्व में अंतर को नजरअंदाज करती हैं
  2. अनावश्यक जानकारी से हस्तक्षेप: सभी संदर्भ टोकन के साथ समान व्यवहार करने से मॉडल की धारणा और कम्प्यूटेशनल बोझ बढ़ता है, विशेषकर जटिल दृश्यों में
  3. अनुकूलन की कमी: हस्तनिर्मित रणनीति का उपयोग करके ट्रैकर को निष्क्रिय रूप से संदर्भ फ्रेम स्वीकार करने के लिए बाध्य करता है, न कि ट्रैकर को लक्ष्य संदर्भ जानकारी के बारे में स्वयं निर्णय लेने देता है

अनुसंधान प्रेरणा

सरल Transformer ट्रैकर के डिजाइन के विश्लेषण से पता चलता है कि अधिकांश पृष्ठभूमि टोकन ट्रैकिंग प्रक्रिया में शायद ही कभी संदर्भित होते हैं और परिणाम पर न्यूनतम प्रभाव डालते हैं, जबकि लक्ष्य टोकन दीर्घकालिक संदर्भ संकेत के रूप में बड़े पैमाने पर संरक्षित रहते हैं। यह ट्रैकिंग प्रक्रिया में कम संख्या में उच्च-गुणवत्ता वाले टोकन की महत्वपूर्ण भूमिका की परिकल्पना को सत्यापित करता है।

मुख्य योगदान

  1. नई टोकन संदर्भ-जागरूक ट्रैकिंग पाइपलाइन LMTrack प्रस्तावित की: टोकन संदर्भ मेमोरी मॉड्यूल के आधार पर, मौजूदा फ्रेम-स्तरीय संदर्भ-आधारित ट्रैकिंग विधियों से अलग, LMTrack स्वचालित रूप से दृश्य ट्रैकिंग के लिए उच्च-गुणवत्ता वाले टोकन संदर्भ को एकत्रित और अपडेट करता है
  2. प्रभावी एकतरफा ध्यान तंत्र प्रस्तुत किया: एकतरफा प्रसार विधि में संदर्भ टोकन और खोज फ्रेम के बीच निर्भरता स्थापित करता है, मजबूत क्रॉस-फ्रेम संबंध और स्थिति निर्धारण को लागू करता है
  3. अत्याधुनिक ट्रैकिंग प्रदर्शन प्राप्त किया: LaSOT, TrackingNet, GOT10K, LaSOText, VOT2020 पांच दृश्य ट्रैकिंग बेंचमार्क पर नए सर्वोत्तम परिणाम प्राप्त किए

विधि विवरण

कार्य परिभाषा

प्रारंभिक लक्ष्य स्थिति दी गई है, वीडियो अनुक्रम में उस लक्ष्य का निरंतर पता लगाना और ट्रैक करना। इनपुट वीडियो फ्रेम अनुक्रम है, आउटपुट प्रत्येक फ्रेम में लक्ष्य का सीमा बॉक्स है।

मॉडल आर्किटेक्चर

समग्र ढांचा

LMTrack स्व-प्रतिगामी टोकन संदर्भ-जागरूक ट्रैकिंग ढांचा अपनाता है, जिसमें तीन मुख्य घटक हैं:

  • एकतरफा ध्यान तंत्र के साथ बैकबोन नेटवर्क
  • टोकन संदर्भ मेमोरी (TCM) मॉड्यूल
  • भविष्यवाणी हेड

स्व-प्रतिगामी ट्रैकिंग प्रक्रिया

ट्रैकिंग प्रक्रिया को इस प्रकार परिभाषित किया गया है:

R₀ = f(I₀, ∅), t = 0
Bₜ, Rₜ = f(Iₜ, Rₜ₋₁) = f(Iₜ, f(Iₜ₋₁, Rₜ₋₂)), t > 0

जहां R संदर्भ टोकन को दर्शाता है, I छवि फ्रेम को दर्शाता है, B भविष्यवाणी की गई सीमा बॉक्स को दर्शाता है।

टोकन संदर्भ मेमोरी (TCM) मॉड्यूल

TCM मॉड्यूल तीन चरणों में विभाजित है:

चरण 1: संदर्भ टोकन से महत्वपूर्ण टोकन एकत्रित करना

W = Σⱼ₌₁ᴸ Aⱼ × C
R' = Topk(Rank(R, W))

जहां A क्रॉस-ध्यान मैट्रिक्स है, C वर्गीकरण स्कोर मानचित्र है, W महत्व वितरण को दर्शाता है।

चरण 2: वर्गीकरण मानचित्र और खोज टोकन को एकीकृत करना

S' = S + CᵦᵢₙEₜₐᵣgₑₜ + (1 - Cᵦᵢₙ)Eᵦₐcₖgᵣₒᵤₙd

चरण 3: संदर्भ टोकन अपडेट करना चरण 1 और 2 के परिणामों को मिलाकर नया संदर्भ टोकन Rₜ बनाता है।

एकतरफा ध्यान तंत्र

S = Softmax([QₛKᵣᵀ; QₛKₛᵀ]/√dₖ)[Vᵣ; Vₛ]

केवल संदर्भ टोकन को खोज टोकन को प्रभावित करने की अनुमति देता है, संदर्भ टोकन प्रतिनिधित्व की सुसंगतता बनाए रखता है।

तकनीकी नवाचार बिंदु

  1. फ्रेम-स्तर से टोकन-स्तर संदर्भ तक: पारंपरिक फ्रेम-स्तरीय संदर्भ को त्यागता है, महत्वपूर्ण संदर्भ संकेतों का प्रतिनिधित्व करने के लिए सूक्ष्म-दानेदार टोकन-स्तरीय संदर्भ का उपयोग करता है
  2. अनुकूली महत्व विश्लेषण: ध्यान मैट्रिक्स और वर्गीकरण परिणामों को मिलाकर टोकन महत्व का विश्लेषण करता है, न कि निश्चित रणनीति का उपयोग करता है
  3. एकतरफा सूचना प्रवाह: खोज टोकन को संदर्भ टोकन प्रतिनिधित्व को प्रदूषित करने से रोकता है, संलयन दक्षता में सुधार करता है

प्रयोगात्मक सेटअप

डेटासेट

  • प्रशिक्षण डेटा: LaSOT, GOT-10k, TrackingNet, COCO
  • परीक्षण बेंचमार्क: GOT-10K (180 परीक्षण अनुक्रम), TrackingNet (511 वीडियो), LaSOT (280 परीक्षण वीडियो), LaSOText (150 वीडियो), VOT2020 (60 चुनौती अनुक्रम)

मूल्यांकन मेट्रिक्स

  • GOT-10K: औसत ओवरलैप (AO), सफलता दर (SR)
  • LaSOT/LaSOText: वक्र के तहत क्षेत्र (AUC), सटीकता (P), सामान्यीकृत सटीकता (PNorm)
  • TrackingNet: AUC, P, PNorm
  • VOT2020: अपेक्षित औसत ओवरलैप (EAO), सटीकता, मजबूती

कार्यान्वयन विवरण

  • बैकबोन नेटवर्क: ViT-base
  • अनुकूलक: AdamW, सीखने की दर 4×10⁻⁵ (बैकबोन), 4×10⁻⁴ (अन्य)
  • प्रशिक्षण: 300 epoch, बैच आकार 16, Tesla A100 GPU
  • अनुमान: डिफ़ॉल्ट रूप से हर 400 फ्रेम में संदर्भ अपडेट की जांच, संदर्भ टोकन अधिकतम लंबाई खोज टोकन लंबाई का 2 गुना

प्रयोगात्मक परिणाम

मुख्य परिणाम

GOT-10K बेंचमार्क

LMTrack384 GOT-10K पर 80.1% AO प्राप्त करता है, जो पिछली सर्वश्रेष्ठ विधि ARTrackV2 के 77.5% AO से 2.6% की वृद्धि है।

अन्य बेंचमार्क प्रदर्शन

  • TrackingNet: 85.7% AUC
  • LaSOT: 73.2% AUC
  • LaSOText: 53.6% AUC, ARTrackV2 से 0.7% की वृद्धि
  • VOT2020: 58.6% EAO (LMTrack384), 55.0% EAO (LMTrack256)

दक्षता तुलना

समान रिज़ॉल्यूशन पर SeqTrack की तुलना में LMTrack:

  • पैरामीटर: 92M बनाम 89M
  • कम्प्यूटेशनल मात्रा: 69G बनाम 148G FLOPs
  • अनुमान गति: 47fps बनाम 21fps

विलोपन प्रयोग

#ध्यानस्व-प्रतिगामीअपडेटAO(%)
1द्विदिशीय×-73.0
2एकतरफा×-73.9
3एकतरफा×टेम्पलेट अपडेट74.1
4एकतरफा×TCM75.0
5एकतरफा✓टेम्पलेट अपडेट75.6
6एकतरफा✓TCM76.3

मुख्य निष्कर्ष:

  1. एकतरफा ध्यान: द्विदिशीय ध्यान की तुलना में 0.9% AO में सुधार, खोज से संदर्भ में शोर प्रसार को रोकता है
  2. स्व-प्रतिगामी ट्रैकिंग: पारंपरिक विधि की तुलना में 1.3-1.5% AO में सुधार
  3. TCM मॉड्यूल: टेम्पलेट अपडेट रणनीति की तुलना में 0.7-0.9% AO में सुधार

दृश्य विश्लेषण

TCM मॉड्यूल दृश्य

समय के साथ TCM मॉड्यूल द्वारा महत्वपूर्ण संदर्भ टोकन निकालने की प्रक्रिया को दर्शाता है, अधिकांश पृष्ठभूमि टोकन महत्वहीन हो जाते हैं, मुख्य रूप से लक्ष्य उपस्थिति का वर्णन करने वाले टोकन संरक्षित रहते हैं।

ध्यान तुलना

OSTrack के साथ तुलना दर्शाती है कि LMTrack संदर्भ टोकन का उपयोग करके उपस्थिति परिवर्तन और हस्तक्षेप के विरुद्ध बेहतर प्रतिरोध कर सकता है, लक्ष्य पर ध्यान बनाए रखता है।

संबंधित कार्य

पारंपरिक ट्रैकिंग ढांचा

प्रारंभिक विधियां मुख्य रूप से प्रारंभिक टेम्पलेट विधि पर निर्भर करती हैं, जैसे Siamese नेटवर्क प्रारंभिक लक्ष्य टेम्पलेट को उम्मीदवार क्षेत्रों से मेल खाते हैं, लेकिन लक्ष्य उपस्थिति के महत्वपूर्ण परिवर्तन को अनुकूल करना मुश्किल है।

अनुक्रमिक संदर्भ ट्रैकिंग

उपस्थिति परिवर्तन को संभालने के लिए, कई ट्रैकर दृश्य ट्रैकिंग को ऑनलाइन शिक्षण समस्या के रूप में मॉडल करते हैं:

  • UpdateNet: संचित टेम्पलेट को मिलाने के लिए कस्टम नेटवर्क का उपयोग करता है
  • ATOM: IoU भविष्यवाणी शाखा जोड़ता है टेम्पलेट चयन को बाधित करने के लिए
  • STMTrack: निश्चित अंतराल पर गतिशील टेम्पलेट अपडेट करता है
  • SeqTrack: गतिशील टेम्पलेट चयन के लिए संभावना-आधारित रणनीति का उपयोग करता है

इन विधियों की सीमाएं:

  1. सीमा बॉक्स क्रॉपिंग के आधार पर टेम्पलेट अपडेट करता है, आसानी से शोर प्रस्तुत करता है
  2. टेम्पलेट अपडेट के लिए मैनुअल विधि या अतिरिक्त विभेदकारी मॉडल का उपयोग करता है, यह अलग नहीं करता कि कौन सा संदर्भ ट्रैकिंग के लिए महत्वपूर्ण है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. LMTrack टोकन-स्तरीय संदर्भ-जागरूकता के माध्यम से ट्रैकिंग प्रदर्शन में महत्वपूर्ण सुधार करता है
  2. TCM मॉड्यूल महत्वपूर्ण संदर्भ टोकन को प्रभावी ढंग से एकत्रित और अपडेट कर सकता है
  3. एकतरफा ध्यान तंत्र विशेषता संलयन दक्षता और सटीकता में सुधार करता है
  4. कई बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है, साथ ही कम्प्यूटेशनल दक्षता में सुधार करता है

सीमाएं

  1. कम्प्यूटेशनल जटिलता: हालांकि SeqTrack की तुलना में अधिक कुशल है, फिर भी संदर्भ टोकन को बनाए रखने और अपडेट करने की आवश्यकता है
  2. हाइपरपैरामीटर संवेदनशीलता: k मान चयन और अपडेट आवृत्ति प्रदर्शन को प्रभावित कर सकती है
  3. दीर्घकालिक ट्रैकिंग: अत्यंत लंबे अनुक्रमों में संदर्भ टोकन प्रबंधन रणनीति को आगे अनुकूलन की आवश्यकता है

भविष्य की दिशा

  1. अधिक कुशल टोकन महत्व मूल्यांकन विधियों की खोज करना
  2. स्व-अनुकूली संदर्भ टोकन लंबाई नियंत्रण रणनीति का अनुसंधान करना
  3. बहु-वस्तु ट्रैकिंग परिदृश्य तक विस्तार करना

गहन मूल्यांकन

लाभ

  1. मजबूत नवाचार: फ्रेम-स्तर से टोकन-स्तर संदर्भ में परिवर्तन एक महत्वपूर्ण नवाचार है
  2. ठोस सैद्धांतिक आधार: महत्वपूर्ण टोकन वितरण की परिकल्पना को प्रयोगों के माध्यम से सत्यापित किया गया है
  3. व्यापक प्रयोग: कई बेंचमार्क पर व्यापक मूल्यांकन और विस्तृत विलोपन प्रयोग
  4. उच्च व्यावहारिक मूल्य: प्रदर्शन में सुधार करते हुए कम्प्यूटेशनल दक्षता में सुधार करता है
  5. स्पष्ट दृश्य: विधि के कार्य सिद्धांत को प्रभावी ढंग से प्रदर्शित करता है

कमियां

  1. विधि जटिलता: TCM मॉड्यूल डिजाइन अपेक्षाकृत जटिल है, कार्यान्वयन और ट्यूनिंग को प्रभावित कर सकता है
  2. पैरामीटर संवेदनशीलता: कई हाइपरपैरामीटर (k मान, अपडेट आवृत्ति आदि) को सावधानीपूर्वक समायोजन की आवश्यकता है
  3. अपर्याप्त सैद्धांतिक विश्लेषण: विधि अभिसरण और स्थिरता के सैद्धांतिक विश्लेषण की कमी है
  4. सीमित प्रयोज्यता: मुख्य रूप से एकल-वस्तु ट्रैकिंग पर केंद्रित है, बहु-वस्तु परिदृश्य में प्रयोज्यता सत्यापित नहीं है

प्रभाव

  1. शैक्षणिक योगदान: संदर्भ-जागरूक ट्रैकिंग के लिए नई अनुसंधान दिशा प्रदान करता है
  2. व्यावहारिक मूल्य: विधि उच्च प्रदर्शन बनाए रखते हुए दक्षता में सुधार करती है
  3. पुनरुत्पादनीयता: पूर्ण कार्यान्वयन विवरण और कोड प्रदान करता है

प्रयोज्य परिदृश्य

  1. वास्तविक समय ट्रैकिंग अनुप्रयोग: उच्च अनुमान गति वास्तविक समय परिदृश्यों के लिए उपयुक्त है
  2. दीर्घकालिक ट्रैकिंग कार्य: स्व-अनुकूली टोकन प्रबंधन लंबे अनुक्रम ट्रैकिंग के लिए उपयुक्त है
  3. जटिल पर्यावरण ट्रैकिंग: उपस्थिति परिवर्तन और हस्तक्षेप को प्रभावी ढंग से संभाल सकता है

संदर्भ

यह पेपर वस्तु ट्रैकिंग क्षेत्र के महत्वपूर्ण कार्यों का संदर्भ देता है, जिसमें शामिल हैं:

  • Siamese नेटवर्क श्रृंखला (SiamRPN++, SiamFC++)
  • Transformer ट्रैकर (TransT, STARK, Mixformer)
  • संदर्भ-जागरूक विधियां (STMTrack, SeqTrack, OSTrack)
  • ध्यान तंत्र (Transformer, ViT)

समग्र मूल्यांकन: यह कंप्यूटर विजन क्षेत्र का एक उच्च-गुणवत्ता वाला पेपर है, जो प्रस्तावित LMTrack विधि सैद्धांतिक नवाचार और प्रयोगात्मक सत्यापन दोनों पहलुओं में उत्कृष्ट प्रदर्शन करती है। "कम अधिक है" का डिजाइन दर्शन और टोकन-स्तरीय संदर्भ-जागरूकता वस्तु ट्रैकिंग क्षेत्र के लिए नई अनुसंधान दिशा प्रदान करते हैं, जिसका महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है।