تعزيز تتبع الكائنات المتعددة المرجعية

المعلومات الأساسية

• معرّف الورقة: 2406.05039
• العنوان: تتبع الكائنات المتعددة المرجعية مع التعبيرات الديناميكية الشاملة
• المؤلفون: Yani Zhang, Dongming Wu, Wencheng Han, Xingping Dong, Shengcai Liao, Bo Du
• التصنيف: cs.CV cs.CL
• تاريخ النشر: 27 أكتوبر 2025 (arXiv v2)
• رابط الورقة: https://arxiv.org/abs/2406.05039
• الكود ومجموعات البيانات: https://github.com/zyn213/TempRMOT

الملخص

تقدم هذه الورقة مهمة جديدة لفهم الفيديو تسمى تتبع الكائنات المتعددة المرجعية (RMOT)، والتي تهدف إلى توجيه التنبؤ بتتبع الكائنات المتعددة من خلال تعبيرات اللغة الطبيعية كإشارات دلالية، مع الأخذ في الاعتبار الشامل لتغيرات عدد الكائنات والدلالات الزمنية. تقدم الورقة مجموعة بيانات معيار Refer-KITTI-V2 التي تحتوي على 9,758 تعبيراً لغوياً متنوعاً، وتقترح إطار عمل TempRMOT الذي يحقق التفاعل الزمكاني طويل الأجل من خلال وحدة تعزيز زمنية مدفوعة بالاستعلامات. يحقق TempRMOT أداءً أمثل على كل من Refer-KITTI و Refer-KITTI-V2.

خلفية البحث والدافع

المشاكل المراد حلها

تواجه مهام الفهم المرجعي الحالية قيودين أساسيين:

1. قيد الكائن الواحد: مجموعات البيانات الموجودة (مثل سلسلة RefCOCO و Refer-DAVIS17) تشرح كل تعبير بهدف واحد فقط، بينما في السيناريوهات الحقيقية قد يشير تعبير واحد إلى عدة كائنات أو كائن واحد أو لا شيء
2. غياب الاتساق الزمني: الطرق الموجودة لا تستطيع نمذجة الاتساق الزمني بين التعبيرات اللغوية وحالات تطور الكائنات. على سبيل المثال، التعبير "سيارة تنعطف" يصف حالة فورية، لكن التشريح سيتابع الكائن حتى بعد انتهاء حركة الانعطاف

أهمية المشكلة

• فهم الفيديو الموجه باللغة هو مهمة أساسية لربط اللغة الطبيعية بالمحتوى البصري
• في التطبيقات العملية مثل القيادة الذاتية، يلزم تتبع عدة كائنات ديناميكية متزامنة من خلال تعليمات اللغة الطبيعية
• النمذجة الدقيقة للديناميكيات الزمنية ضرورية لفهم الدلالات المتعلقة بالحركة

قيود الطرق الموجودة

1. على مستوى مجموعة البيانات:
   • التشريح اليدوي مع القوالب الثابتة، تنوع اللغة محدود
   • الزيادة الدلالية الشديدة (مثل Refer-Dance بها 48 تعبيراً فريداً فقط)
   • غياب التعبيرات الضمنية والدلالات المعقدة (مثل الأوصاف السلبية)
2. على مستوى الطريقة:
   • الطرق ثنائية المرحلة معقدة وتتطلب تكاليف حسابية عالية
   • تركز الطرق أحادية المرحلة بشكل أساسي على الإطارات المتجاورة، وتفتقر إلى القدرة على النمذجة الزمنية طويلة الأجل

المساهمات الأساسية

1. اقتراح مهمة RMOT الجديدة: توسيع الفهم المرجعي بشكل منهجي لأول مرة إلى سيناريوهات متعددة الكائنات الديناميكية، مع الأخذ في الاعتبار التغييرات في الحالة الزمنية
2. بناء مجموعة بيانات Refer-KITTI-V2:
   • تحتوي على 9,758 تعبيراً، 7,193 تعبيراً فريداً، 617 كلمة مختلفة
   • تصميم عملية تشريح شبه آلية من ثلاث خطوات، مع دمج نماذج اللغة الكبيرة لتوليد تعبيرات متنوعة
   • تتضمن تعبيرات ضمنية (مثل "السيارة الخاصة بنا تقع خلف السيارة السوداء")
3. اقتراح إطار عمل TempRMOT:
   • معمارية Transformer من طرف إلى طرف، بدون معالجة لاحقة
   • وحدة تعزيز زمنية مدفوعة بالاستعلامات، تحقق التفاعل الزمكاني طويل الأجل
   • فصل استعلامات التتبع واستعلامات الكشف، للتعامل مع عدد متغير من الكائنات
4. تحقيق أداء SOTA:
   • تحسن بحوالي 4% HOTA مقارنة بالعمل السابق على Refer-KITTI-V2
   • تحقيق 52.21% HOTA على Refer-KITTI
5. تصميم عملية تشريح فعالة: طريقة تشريح شبه آلية من ثلاث خطوات تقلل بشكل كبير من التكاليف اليدوية

شرح التفاصيل الطريقة

تعريف المهمة

الإدخال: تسلسل فيديو (T إطار) + تعبير لغة طبيعية الإخراج: صناديق محيطة ومعرّفات لجميع الكائنات في كل إطار التي تطابق وصف التعبير القيود:

• عدد الكائنات متغير (من 0 إلى عدة)
• التشريح فقط خلال الفترات الزمنية التي يفي فيها الكائن بوصف التعبير
• الحفاظ على ربط معرّف متسق زمنياً

معمارية النموذج

يتكون TempRMOT من مكونين أساسيين:

1. وحدة RMOT المستندة إلى Transformer

مستخرج الميزات:

• الترميز البصري: شبكة عصبية CNN الرئيسية تستخرج ميزات متعددة المقاييس $I^l_t \in \mathbb{R}^{C_l \times H_l \times W_l}$
• الترميز اللغوي: RoBERTa يرمز النص إلى تضمينات الكلمات $S \in \mathbb{R}^{L \times D}$

مشفر عابر للأنماط (استراتيجية الدمج المبكر): $Q = W_q(I^l_t + P_V), \quad K = W_k(S + P_L), \quad V = W_vS$$\hat{I}^l_t = \frac{QK^T}{\sqrt{d}}V + I^l_t$

حيث $P_V$ و $P_L$ هما ترميزات الموضع للرؤية واللغة على التوالي. بعد الدمج، يتم تمريرها عبر طبقة مشفر قابلة للتشويه: $E^l_t = \text{DeformEnc}(\hat{I}^l_t)$

فك التشفير (آلية الاستعلام المزدوج):

• استعلامات التتبع $Q^{tra}_t$: محولة من تضمينات فك التشفير للإطار السابق $D_{t-1}$، تستخدم لربط الحالات المتتبعة
• استعلامات الكشف $Q^{det}$: مهيأة عشوائياً، تستخدم لكشف الكائنات الجديدة

$Q_t = \text{Decoder}(E^l_t, \text{concat}(Q^{det}, Q^{tra}_t))$

رأس مرجعي: يتضمن ثلاثة فروع

• فرع التصنيف: تصنيف ثنائي (كائن حقيقي/كائن فارغ)
• فرع الصندوق المحيط: انحدار إحداثيات FFN من 3 طبقات
• فرع مرجعي: إخراج احتمالية المطابقة مع التعبير

2. وحدة التعزيز الزمني

آلية ذاكرة الاستعلام:

• الحفاظ على قائمة انتظار ذاكرة $N \times K$ (N إطار، K كائن لكل إطار)
• التحديث بمبدأ FIFO، الحفاظ على استهلاك ذاكرة ثابت

فك التشفير الزمني (4 طبقات): تجميع المعلومات التاريخية من خلال الانتباه عبر الإطارات: $Q_t = \text{CrossFrameAttn}(Q=Q_t, K=Q_{t-\tau_h:t}, V=Q_{t-\tau_h:t}, PE=\text{Pos}(t-\tau_h:t))$

حيث $\tau_h$ هو حجم النافذة الزمنية، و $\text{Pos}$ يرمز الموضع الزمني.

فك التشفير للكائن (4 طبقات): نمذجة التفاعلات المكانية من خلال الانتباه عبر الكائنات: $Q_t = \text{CrossObjectAttn}(Q, K, V=Q_t, PE=\text{Pos}(O_{1:N_t}))$

تحسين المسار: استخدام MLP للتنبؤ بالبقايا للتعديل: $B_t = B_t + \text{MLP}(Q^S_t)$

حيث $Q^S_t$ هي ميزات الاستعلام المحسنة زمكانياً.

نقاط الابتكار التقني

1. دمج عابر للأنماط مبكر: مقارنة بالاتصال الكثيف في MDETR، استخدام استراتيجية ترجيح الانتباه الفعالة، مما يقلل التعقيد الحسابي
2. تصميم الاستعلام المزدوج المفصول:
   • استعلامات التتبع ترث المعلومات التاريخية، مما يضمن اتساق المعرّف
   • استعلامات الكشف تتعامل مع الكائنات الجديدة، مما يحسن المرونة
3. النمذجة الزمنية المدفوعة بالاستعلامات:
   • استخدام تمثيل استعلام مضغوط بدلاً من الميزات الأولية للتجميع الزمني
   • فصل آليات الانتباه لأبعاد زمنية ومكانية
   • دعم التبعيات طويلة الأجل (حتى 8 إطارات من السجل)
4. قابلية التفاضل من طرف إلى طرف: بدون الحاجة إلى معالجة لاحقة مثل NMS، إخراج مباشر للنتيجة النهائية

إعدادات التجربة

مجموعات البيانات

Refer-KITTI:

• 18 فيديو، 895 تعبيراً
• مجموعة التدريب: 15 فيديو/660 تعبيراً
• مجموعة الاختبار: 3 فيديوهات/158 تعبيراً

Refer-KITTI-V2:

• 21 فيديو، 9,758 تعبيراً
• مجموعة التدريب: 17 فيديو/8,873 تعبيراً
• مجموعة الاختبار: 4 فيديوهات/897 تعبيراً
• الخصائص: 7,193 تعبيراً فريداً، 617 كلمة مختلفة، تتضمن تعبيرات ضمنية

KITTI: للتقييم القدرة على تتبع MOT العام

عملية بناء مجموعة البيانات

الخطوة 1: جمع العناصر اللغوية

• تشريح الخصائص الأساسية: الفئة (سيارة/شخص)، اللون (أسود/أحمر)، الموضع (يسار/يمين)، الحركة (متحرك/منعطف)
• استخدام معرّفات الحالات في KITTI لنشر التشريح تلقائياً

الخطوة 2: توليد التعبيرات

• استخدام قوالب محددة مسبقاً لدمج العناصر اللغوية
• على سبيل المثال: "{color}-{action}-cars" → "black turning cars"
• ربط الصناديق المحيطة من خلال عملية AND

الخطوة 3: توسيع التعبيرات

• استخدام GPT-3.5 لتوليد 4 إعادة صياغة دلالية معادلة لكل تعبير
• التحقق من مرحلتين: التحقق من نموذج اللغة + المراجعة اليدوية
• التوسع من 2,719 إلى 9,758 تعبيراً

مؤشرات التقييم

HOTA (دقة التتبع من الدرجة الأعلى): $\text{HOTA} = \sqrt{\text{DetA} \cdot \text{AssA}}$

• DetA (دقة الكشف): درجة IoU للكشف على مستوى الإطار
• AssA (دقة الربط): درجة IoU لربط الوقت
• مؤشرات أخرى: DetRe, DetPr, AssRe, AssPr, LocA

طرق المقارنة

طرق ثنائية المرحلة:

• FairMOT, DeepSORT, ByteTrack, CStrack
• TransTrack, TrackFormer
• iKUN

طرق أحادية المرحلة:

• EchoTrack, DeepRMOT
• TransRMOT (العمل السابق)
• MLS-Track

تفاصيل التنفيذ

• الشبكة الرئيسية: ResNet-50 (رؤية) + RoBERTa (نص)
• المحسّن: Adam، معدل التعلم 1e-5 (الشبكة الرئيسية 1e-5)
• التدريب: 60 حقبة، حجم الدفعة=1، 4×RTX 4090
• تعزيز البيانات: قص عشوائي، متعدد المقاييس (800-1536)
• طول الذاكرة: Refer-KITTI N=4، Refer-KITTI-V2 N=5
• عتبة الاستدلال: تصنيف 0.6، مرجعي 0.4
• أوزان الخسارة: $\lambda^D_{cls}=5, \lambda^D_{L1}=2, \lambda^D_{giou}=2, \lambda^D_{ref}=2$

نتائج التجربة

النتائج الرئيسية

أداء Refer-KITTI:

• تحسن 3.16% HOTA مقارنة بـ MLS-Track
• متقدم بشكل شامل في الطرق من طرف إلى طرف

أداء Refer-KITTI-V2:

• تحسن 4.04% HOTA مقارنة بـ TransRMOT
• التحقق من الفعالية في سيناريوهات اللغة الأكثر تعقيداً

أداء KITTI:

• تحسن AssA بنسبة 5.53%، مما يثبت فعالية النمذجة الزمنية

تجارب الاستئصال

فعالية الوحدة (Refer-KITTI-V2):

• وحدة التعزيز الزمني تساهم بأكبر قدر (+3.46% HOTA)
• تحسين المسار يعزز الأداء بشكل إضافي (+0.58% HOTA)

طول الذاكرة أثناء التدريب:

• السياق التاريخي الأطول يجلب تحسناً مستمراً

طول الذاكرة أثناء الاستدلال:

• استخدام ذاكرة أطول أثناء الاستدلال يمكن أن يحسن الأداء بشكل إضافي
• يوضح القدرة على التعميم لوحدة زمنية

تحليل الحالات

قدرة فهم الحركة:

• التعليمات "left cars which are parking": يحدد TempRMOT بشكل صحيح السيارات الثابتة، بينما يخطئ TransRMOT بوضع علامة على المشاة كمتوقفة
• التعليمات "right persons who are walking": يفهم TempRMOT بدقة حالة الحركة

قدرة التتبع القوية:

• التعليمات "cars in front of ours": يواجه TransRMOT تبديل معرّف وفقدان تتبع، بينما يحافظ TempRMOT على ربط معرّف متسق

فهم الدلالات المعقدة:

• معالجة التعبيرات الضمنية "the ego car is positioned after the black cars"
• فهم الأوصاف السلبية "pedestrians lacking hair"
• دمج خصائص متعددة "the men are on the right side and they have t-shirts on"

النتائج التجريبية

1. أهمية النمذجة الزمنية: التحسن الملحوظ في مؤشر AssA (+5.53%) يثبت أن التبعيات الزمنية طويلة الأجل حاسمة لجودة التتبع
2. مزايا من طرف إلى طرف: الطرق أحادية المرحلة متفوقة بشكل عام على الطرق ثنائية المرحلة، والتحسين المشترك أكثر فعالية
3. تأثير تعقيد اللغة: انخفاض الأداء على Refer-KITTI-V2 يعكس التحديات الناشئة عن الدلالات الأغنى
4. قابلية التعميم لآلية الذاكرة: يمكن استخدام نافذة تاريخية أطول أثناء الاستدلال مقارنة بالتدريب
5. كفاءة تمثيل الاستعلام: تمثيل الاستعلام أكثر إحكاماً وحفاظاً على المعلومات الرئيسية مقارنة بالميزات الأولية

الأعمال ذات الصلة

مجموعات بيانات معيار RMOT

قيود مجموعات البيانات الموجودة:

• سلسلة RefCOCO: صور فقط، كائن واحد
• Talk2Car, VID-Sentence: فيديو لكن كائن واحد
• Refer-DAVIS17, Refer-YV: تقسيم على مستوى البكسل، كائن واحد

مقارنة مجموعات بيانات RMOT:

طرق RMOT

طرق ثنائية المرحلة:

• استخراج المسارات أولاً، ثم مطابقة التعبيرات
• المزايا: معالجة دقيقة
• العيوب: تعقيد عالي، تكاليف حسابية كبيرة

طرق أحادية المرحلة:

• إطار عمل Transformer من طرف إلى طرف
• TransRMOT: أول نموذج RMOT
• القيود: التركيز الأساسي على الإطارات المتجاورة، نقص النمذجة طويلة الأجل

النمذجة الزمنية المدفوعة بالاستعلامات

الأعمال ذات الصلة:

• MeMOT: وحدة ذاكرة تخزن استعلامات تاريخية
• MeMOTR: استعلامات تتبع محسنة بسياق زمني
• BEVFormer: Transformer زمكاني لتمثيل BEV

الابتكار في هذه الورقة:

• التركيز على فهم الفيديو المشروط باللغة
• فصل الانتباه الزمني والمكاني
• الاستدلال المشترك مع دمج ميزات الإطار الحالي

الخلاصة والمناقشة

الاستنتاجات الرئيسية

1. مهمة RMOT أكثر عمومية: التغلب على القيود أحادية الهدف، مع الأخذ في الاعتبار الديناميكيات الزمنية، أكثر توافقاً مع الاحتياجات الواقعية
2. جودة Refer-KITTI-V2 عالية: من خلال عملية شبه آلية ونماذج لغة كبيرة، تحقيق التوازن بين الحجم والتنوع
3. فعالية TempRMOT: وحدة التعزيز الزمني تحسن الأداء بشكل كبير، تحقيق SOTA على كلا المعيارين
4. التبعيات طويلة الأجل حاسمة: النمذجة الصريحة للتفاعلات الزمكانية ضرورية للتتبع الدقيق والمحاذاة الدلالية

القيود

1. حجم مجموعة البيانات: على الرغم من ثراء التعبيرات، عدد الفيديوهات (21) محدود نسبياً، تنوع السيناريو محدود
2. التعقيد الحسابي: على الرغم من استخدام تمثيل الاستعلام لتقليل النفقات، لا تزال ذاكرة متعددة الإطارات تتطلب حسابات إضافية
3. عمق فهم اللغة: بالنسبة للاستدلال المنطقي المعقد جداً (مثل النفي المتعدد، العلاقات السببية المعقدة) لا تزال هناك تحديات
4. معالجة الانسداد: لم تناقش الورقة بالتفصيل استراتيجيات التعامل مع سيناريوهات الانسداد الشديد
5. الوقت الفعلي: لم يتم الإبلاغ عن مؤشرات الأداء الفعلي مثل FPS، وضوح الجدوى العملية غير واضح
6. القدرة على التعميم: التحقق فقط في سيناريوهات KITTI (سيناريوهات القيادة)، قدرة التعميم على المجالات الأخرى (مثل المشاة والرياضة) غير معروفة

الاتجاهات المستقبلية

1. التوسع إلى سيناريوهات أكثر: بناء مجموعات بيانات RMOT تغطي مجالات أكثر
2. تحسين الوقت الفعلي: تحسين بنية النموذج، تحقيق التتبع الفعلي
3. تعزيز فهم اللغة: إدخال نماذج لغة أقوى (مثل GPT-4)
4. التوسع ثلاثي الأبعاد: دمج بيانات السحابة النقطية، التوسع إلى RMOT ثلاثي الأبعاد
5. التتبع التفاعلي: دعم تصحيح المستخدم الفعلي والتغذية الراجعة

التقييم المتعمق

المزايا

1. تعريف المهمة له رؤية استشرافية

• مهمة RMOT تملأ الفراغ في متعدد الأهداف + الديناميكيات الزمنية
• نمذجة الاتساق الزمني (مثل حالة "الانعطاف" الفورية) عملية جداً
• توفير نموذج جديد للقيادة الذاتية الموجهة باللغة

2. بناء مجموعة البيانات علمي وفعال

• عملية شبه آلية من ثلاث خطوات توازن بين الجودة والكفاءة
• توليد مساعد بنموذج اللغة يحسن التنوع بشكل كبير (7193 تعبيراً فريداً)
• إدخال التعبيرات الضمنية يزيد من الصعوبة والواقعية

3. تصميم الطريقة معقول

• استراتيجية الدمج المبكر تقلل التعقيد الحسابي
• تصميم الاستعلام المزدوج المفصول يوازن بين الربط التاريخي واكتشاف الأهداف الجديدة
• آلية الانتباه المفصولة زمكانياً واضحة وفعالة

4. التجارب شاملة

• التحقق على ثلاث مجموعات بيانات
• تجارب استئصال مفصلة تحدد مساهمة كل وحدة
• حالات مرئية غنية توضح قدرات النموذج

5. الكتابة واضحة

• منطق صارم، تقدم تدريجي من الدافع إلى الطريقة إلى التجارب
• رسوم بيانية غنية (10 صور، 5 جداول)، كثافة معلومات عالية
• تفاصيل تقنية كاملة، قابلية عالية للتكرار

أوجه القصور

1. قيود مجموعة البيانات

• عدد فيديوهات قليل (21)، سيناريو واحد (قيادة فقط)
• على الرغم من تعدد التعبيرات، بناء على عناصر لغوية محدودة، تنوع دلالي عميق غير كافٍ
• غياب السيناريوهات الصعبة مثل الطقس القاسي والليل

2. قيود الطريقة

• طول الذاكرة ثابت (N=5)، لا يمكن التكيف الديناميكي
• عدم معالجة غموض التعبيرات (مثل "السيارة على اليسار" في وجهات نظر مختلفة)
• غياب تقدير عدم اليقين، عدم القدرة على قياس ثقة التنبؤ

3. نقص التجارب

• عدم الإبلاغ عن سرعة الاستدلال (FPS)، الوقت الفعلي غير واضح
• غياب تجارب التعميم عبر مجموعات البيانات (مثل الاختبار على Refer-Dance)
• عدم المقارنة مع أحدث نماذج اللغة والرؤية (مثل CLIP, BLIP-2)
• تحليل الأخطاء غير عميق، عدم إحصاء أنماط الفشل الرئيسية

4. غياب التحليل النظري

• عدم شرح السبب النظري لفعالية النمذجة الزمنية
• غياب تصور أوزان الانتباه
• عدم مناقشة ديناميكيات التعلم والتقارب

5. مناقشة التأثير الاجتماعي غير كافية

• عدم مناقشة قضايا الخصوصية (أخلاقيات تتبع المشاة)
• عدم تحليل الانحيازات المحتملة (انحيازات الاعتراف بمجموعات سكانية معينة)

التأثير

المساهمة في المجال:

• على مستوى المهمة: ستصبح مهمة RMOT اتجاهاً مهماً في فهم الفيديو، مع عدة أعمال لاحقة تستشهد بها
• على مستوى البيانات: توفير Refer-KITTI-V2 كمعيار عالي الجودة للمجتمع، نشر الكود والبيانات يعزز البحث
• على مستوى الطريقة: تصميم وحدة التعزيز الزمني قابل للنقل إلى مهام فيديو أخرى

القيمة العملية:

• القيادة الذاتية: دعم التحكم في المركبات بتعليمات لغوية ("اتبع السيارة الحمراء أمامك")
• المراقبة الذكية: استرجاع أهداف متعددة بناءً على الوصف ("شخص يرتدي ملابس حمراء")
• التفاعل بين الإنسان والآلة: تحرير الفيديو الموجه باللغة الطبيعية

القابلية للتكرار:

• نشر الكود ومجموعات البيانات (https://github.com/zyn213/TempRMOT)
• تفاصيل التنفيذ كاملة (معاملات فائقة، استراتيجيات تدريب)
• بناء على إطار عمل ناضج (Deformable DETR)، سهل التكرار

التأثير المتوقع:

• قصير الأجل (1-2 سنة): تحفيز المزيد من مجموعات بيانات وطرق RMOT
• متوسط الأجل (3-5 سنوات): الدمج مع نماذج اللغة الكبيرة، تحقيق فهم دلالي أقوى
• طويل الأجل (5+ سنوات): أن تصبح مكوناً قياسياً في أنظمة القيادة الذاتية متعددة الأنماط

السيناريوهات المناسبة

السيناريوهات الأنسب:

1. القيادة الذاتية: تتبع المركبات الموجه باللغة وتخطيط المسار
2. النقل الذكي: كشف المشاركين في حركة المرور بناءً على الوصف ("سيارة متوقفة بشكل غير قانوني")
3. المراقبة بالفيديو: استرجاع الأهداف بالاستعلام باللغة الطبيعية
4. ملاحة الروبوت: متابعة الأهداف الموجهة باللغة

السيناريوهات غير المناسبة:

1. السيناريوهات عالية السرعة: قد لا تستوفي الطريقة الحالية متطلبات الوقت الفعلي
2. الانسداد الشديد: لا تزال هناك تحديات في التتبع تحت الانسداد الشديد
3. السيناريوهات المفتوحة: بيانات التدريب محدودة بسيناريوهات القيادة، قدرة التعميم غير معروفة
4. الأوصاف الدقيقة جداً: قد تكون غير كافية للأوصاف الدقيقة جداً للمظهر (مثل "شخص يرتدي قميص مخطط أزرق")

التوصيات للتحسين:

• التوسع إلى سيناريوهات أكثر (داخلي، رياضي، اجتماعي)
• تحسين الأداء الفعلي للنموذج
• إدخال نماذج لغة أقوى لفهم أعمق
• دعم التكيف السريع مع السيناريوهات الجديدة

المراجع

الاستشهادات الرئيسية

متعلق بـ RMOT:

1. Wu et al. (2023) - TransRMOT: أول طريقة RMOT ومجموعة بيانات Refer-KITTI
2. Du et al. (2024) - iKUN: متتبع بدون إعادة تدريب
3. Ma et al. (2024) - MLS-Track: تفاعل دلالي متعدد المستويات

تتبع Transformer: 4. Zeng et al. (2022) - MOTR: تتبع متعدد الأهداف من طرف إلى طرف 5. Zhu et al. (2020) - Deformable DETR: انتباه قابل للتشويه 6. Gao & Wang (2023) - MeMOTR: تتبع محسن بالذاكرة طويلة الأجل

الفهم المرجعي: 7. Yu et al. (2016) - سلسلة بيانات RefCOCO 8. Kamath et al. (2021) - MDETR: كشف متعدد الأنماط

مؤشرات التقييم: 9. Luiten et al. (2020) - HOTA: دقة التتبع من الدرجة الأعلى

التقييم الشامل: هذه ورقة عالية الجودة في مجال رؤية الحاسوب، مع ابتكارات جوهرية في تعريف المهمة وبناء مجموعة البيانات وتصميم الطريقة. تتمتع مهمة RMOT بأهمية نظرية وقيمة تطبيقية كبيرة، وتوفر Refer-KITTI-V2 موارد قيمة للمجتمع، وإطار عمل TempRMOT مصمم بعقلانية وفعال. أوجه القصور الرئيسية تكمن في محدودية السيناريو والوقت الفعلي غير المعروف. يُنصح بأن تركز الأعمال اللاحقة على التوسع إلى مجالات أكثر وإجراء تحليل نظري أعمق. من المتوقع أن تصبح هذه الورقة مرجعاً مهماً في مجال فهم الفيديو الموجه باللغة.