2025-11-21T10:07:15.918989

RO-Bench: Large-scale robustness evaluation of MLLMs with text-driven counterfactual videos

Yang, Li, Diao et al.

Recently, Multi-modal Large Language Models (MLLMs) have demonstrated significant performance across various video understanding tasks. However, their robustness, particularly when faced with manipulated video content, remains largely unexplored. In this paper, we introduce Ro-Bench, the first benchmark for evaluating MLLMs on dynamic out-of-distribution (OOD) counterfactual video test sets. Ro-Bench incorporates high-quality, diverse and temporally relevant video data, by editing Style, Object, Background and their compositions. We evaluated eight recent video MLLMs and found that current models exhibit substantial performance degradation on Ro-Bench when exposed to counterfactual video content. Furthermore, we demonstrate that fine-tuning MLLMs with counterfactual data enhances robustness, achieving a 21.73% performance increase on Ro-Bench and a 12.78% improvement across 20 tasks in the MVBench dataset. These findings underscore the effectiveness of counterfactual data in enhancing the video understanding ability of MLLMs. The code and data will be released shortly.

academic

RO-Bench: पाठ-संचालित प्रतिकारक वीडियो के साथ MLLMs का बड़े पैमाने पर मजबूती मूल्यांकन

मूल जानकारी

पेपर ID: 2510.08936
शीर्षक: RO-Bench: पाठ-संचालित प्रतिकारक वीडियो के साथ MLLMs का बड़े पैमाने पर मजबूती मूल्यांकन
लेखक: Zixi Yang, Jiapeng Li, Muxi Diao, Yinuo Jing, Kongming Liang (बीजिंग यूनिवर्सिटी ऑफ पोस्ट्स एंड टेलीकम्युनिकेशन्स)
वर्गीकरण: cs.CV cs.AI
प्रकाशन समय: 2025 (प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.08936

सारांश

हाल के वर्षों में, मल्टीमोडल बड़े भाषा मॉडल (MLLMs) विभिन्न वीडियो समझ कार्यों में उत्कृष्ट प्रदर्शन कर रहे हैं। हालांकि, हेराफेरी किए गए वीडियो सामग्री का सामना करते समय उनकी मजबूती का पर्याप्त रूप से अन्वेषण नहीं किया गया है। यह पेपर RO-Bench प्रस्तुत करता है, जो गतिशील वितरण से बाहर (OOD) प्रतिकारक वीडियो परीक्षण सेट पर MLLMs के प्रदर्शन का मूल्यांकन करने के लिए पहला बेंचमार्क है। RO-Bench संपादन शैली, वस्तु, पृष्ठभूमि और उनके संयोजन के माध्यम से उच्च गुणवत्ता, विविध और अस्थायी रूप से संबंधित वीडियो डेटा को एकीकृत करता है। लेखकों ने 8 नवीनतम वीडियो MLLMs का मूल्यांकन किया और पाया कि वर्तमान मॉडल प्रतिकारक वीडियो सामग्री का सामना करते समय महत्वपूर्ण प्रदर्शन गिरावट प्रदर्शित करते हैं। इसके अलावा, अनुसंधान से पता चलता है कि प्रतिकारक डेटा के साथ MLLMs को सूक्ष्म-ट्यून करने से मजबूती बढ़ती है, RO-Bench पर 21.73% प्रदर्शन सुधार और MVBench डेटासेट के 20 कार्यों पर औसतन 12.78% सुधार प्राप्त होता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वीडियो समझ कार्यों में मल्टीमोडल बड़े भाषा मॉडल के व्यापक अनुप्रयोग के साथ, विशेष रूप से वीडियो सामग्री समीक्षा, स्वायत्त ड्राइविंग और वास्तविक समय निगरानी जैसे उच्च-जोखिम क्षेत्रों में तैनाती के साथ, मॉडल की मजबूती सुनिश्चित करना महत्वपूर्ण हो गया है। मौजूदा मॉडल नियंत्रित वातावरण में अच्छा प्रदर्शन करते हैं, लेकिन क्या वे छेड़छाड़ या हेराफेरी किए गए इनपुट का सामना करते समय प्रदर्शन बनाए रख सकते हैं, यह अभी भी अज्ञात है।

अनुसंधान का महत्व

व्यावहारिक अनुप्रयोग की आवश्यकता: उच्च-जोखिम अनुप्रयोग परिदृश्यों में, मॉडल को विभिन्न दृश्य परिवर्तनों के प्रति स्थिर प्रदर्शन बनाए रखना चाहिए
सुरक्षा विचार: दुर्भावनापूर्ण हमलावर मॉडल को धोखा देने के लिए वीडियो संपादन के माध्यम से सुरक्षा जोखिम पैदा कर सकते हैं
मूल्यांकन अंतराल: मौजूदा मजबूती मूल्यांकन मुख्य रूप से स्थिर छवियों पर केंद्रित है, वीडियो क्षेत्र में व्यवस्थित मूल्यांकन की कमी है

मौजूदा विधियों की सीमाएं

स्थिर छवि सीमाएं: LANCE जैसे बेंचमार्क मुख्य रूप से स्थिर छवियों के प्रतिकारक जनरेशन पर ध्यान केंद्रित करते हैं
सरल व्यवधान: मौजूदा वीडियो मजबूती मूल्यांकन अधिकतर शोर या क्षति परीक्षण का उपयोग करते हैं, वास्तविक दुनिया के वीडियो की समृद्ध अस्थायी गतिशीलता को अनदेखा करते हैं
व्यवस्थितता की कमी: वीडियो MLLMs के लिए व्यापक मजबूती मूल्यांकन ढांचे की कमी है

अनुसंधान प्रेरणा

यह पेपर दो मुख्य अनुसंधान प्रश्नों का उत्तर देने का लक्ष्य रखता है:

RQ1: MLLMs प्रतिकारक वीडियो पर कैसा प्रदर्शन करते हैं, और संपादित वीडियो सामग्री को समझते समय किन विशिष्ट चुनौतियों का सामना करते हैं?
RQ2: प्रतिकारक वीडियो का उपयोग MLLMs के प्रदर्शन को कैसे प्रभावित करता है, क्या यह जटिल वीडियो सामग्री को समझने और व्याख्या करने की क्षमता को बढ़ा सकता है?

मुख्य योगदान

पहला वीडियो मजबूती बेंचमार्क: RO-Bench प्रस्तुत करता है, जो वीडियो MLLMs की मजबूती का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किया गया पहला प्रतिकारक वीडियो परीक्षण सेट बेंचमार्क है
नवीन मूल्यांकन मेट्रिक्स: पाठ संकेत और मूल वीडियो के संपादित परिणामों पर प्रभाव का मूल्यांकन करने के लिए चार नवीन मूल्यांकन मेट्रिक्स प्रस्तुत करता है, उच्च गुणवत्ता वाले डेटा सुनिश्चित करता है
व्यापक मजबूती मूल्यांकन: मुख्यधारा के वीडियो MLLMs का व्यापक मूल्यांकन, वीडियो समझ में उनकी मजबूती की कमी को प्रकट करता है
प्रशिक्षण रणनीति सत्यापन: साबित करता है कि प्रतिकारक डेटा के साथ प्रशिक्षण RO-Bench प्रदर्शन और अन्य बेंचमार्क कार्यों पर सामान्य प्रदर्शन को बढ़ा सकता है

विधि विवरण

कार्य परिभाषा

RO-Bench का लक्ष्य प्रतिकारक वीडियो सामग्री का सामना करते समय वीडियो MLLMs की मजबूती का मूल्यांकन करना है। कार्य में शामिल हैं:

इनपुट: मूल वीडियो और संबंधित प्रतिकारक संपादित वीडियो
आउटपुट: चार प्रकार के वीडियो समझ कार्यों के बहुविकल्पीय प्रश्न उत्तर (क्रिया पहचान, वस्तु पहचान, वस्तु अस्तित्व निर्णय, वीडियो विवरण)
मूल्यांकन: मूल वीडियो और संपादित वीडियो पर मॉडल के प्रदर्शन में अंतर की तुलना करना

डेटा निर्माण प्रक्रिया

1. डेटा स्रोत संग्रह

डेटासेट स्रोत: DAVIS, TGVE, MSR-VTT, BalanceCC और अन्य सार्वजनिक डेटासेट और इंटरनेट
सामग्री वर्गीकरण: चार विषय प्रकार (मानव, जानवर, परिदृश्य, वस्तु)
कार्य प्रकार: क्रिया पहचान (AR), वस्तु पहचान (OR), वस्तु अस्तित्व (OE), वीडियो विवरण (VC)

2. प्रतिकारक वीडियो जनरेशन

कैप्शन संपादन रणनीति:

वीडियो कैप्शन को संरचित घटकों में विघटित करना: वस्तु विशेषताएं, वस्तु क्रिया, पृष्ठभूमि, शैली
इन चार दृश्य कारकों के आधार पर कैप्शन संपादन

वीडियो संपादन प्रक्रिया:

अत्याधुनिक पाठ-संचालित वीडियो संपादन मॉडल का उपयोग करना
चार मुख्य मूल्यांकन मेट्रिक्स प्रस्तुत करना: कल्पना स्तर (FL), दृश्य जटिलता (SC), कैमरा गति (CM), वस्तु गति (OM)
मूल्यांकन परिणामों के आधार पर सर्वश्रेष्ठ प्रदर्शन करने वाले शीर्ष तीन संपादन मॉडल का चयन करना
वीडियो गुणवत्ता सुनिश्चित करने के लिए कठोर मानव जांच करना

3. QA जोड़ी जनरेशन

स्वचालित प्रश्न जनरेशन:

कार्य परिभाषा के आधार पर प्रत्येक वीडियो के लिए प्रश्न उत्पन्न करने के लिए GPT-4o का उपयोग करना
विभिन्न कार्य प्रकारों के अनुसार संबंधित उत्तर विकल्प बनाना

विकल्प जनरेशन रणनीति:

एनोटेशन से अपनाना: वास्तविक एनोटेशन से सीधे सही उत्तर निकालना
LLM-आधारित जनरेशन: वस्तु अस्तित्व कार्यों के लिए "हां", "नहीं", "अनिश्चित" विकल्प प्रदान करना
विकर्षक डिज़ाइन: यह सुनिश्चित करना कि न तो बहुत आसान हो और न ही बहुत कठिन, प्रासंगिकता और विविधता बनाए रखना

तकनीकी नवाचार बिंदु

बहु-आयामी संपादन रणनीति: शैली, वस्तु, पृष्ठभूमि के तीन आयामों से व्यवस्थित रूप से वीडियो संपादन करना
गुणवत्ता मूल्यांकन प्रणाली: संपादन गुणवत्ता का मूल्यांकन करने के लिए चार मात्रात्मक मेट्रिक्स प्रस्तुत करना, उच्च गुणवत्ता वाले प्रतिकारक वीडियो सुनिश्चित करना
कार्य विविधता: चार मुख्य वीडियो समझ कार्यों को शामिल करना, मॉडल क्षमता का व्यापक मूल्यांकन करना
स्वचालित पाइपलाइन: अंत-से-अंत स्वचालित डेटा जनरेशन और मूल्यांकन पाइपलाइन बनाना

प्रयोगात्मक सेटअप

डेटासेट आकार

वीडियो डेटा: 2.1k उच्च गुणवत्ता वाली वीडियो-कैप्शन जोड़ी
QA जोड़ी: 8.6k बहुविकल्पीय प्रश्न उत्तर जोड़ी
प्रशिक्षण सेट: 332 मूल वीडियो, 1328 प्रतिकारक वीडियो नमूने, 6640 QA जोड़ी

मूल्यांकन मेट्रिक्स

Origin: मूल वीडियो पर परीक्षण सटीकता
Edit: संपादित वीडियो पर परीक्षण सटीकता
Drop: प्रदर्शन गिरावट परिमाण (Origin - Edit)

तुलनात्मक विधियां

8 मुख्यधारा के वीडियो MLLMs का मूल्यांकन:

बड़े या सूक्ष्म-ट्यून वीडियो एनकोडर: VideoChat, VideoChat2, VideoLLaMA2, VideoLLaVA, VideoLLaMA3
CLIP ViT/L-14 एनकोडर: VideoChatGPT, mPLUG-Owl3, LLaVA-Next

कार्यान्वयन विवरण

सूक्ष्म-ट्यूनिंग के लिए LLaVA-Next को आधार मॉडल के रूप में उपयोग करना
तुलना के लिए LLaVA-NextRo (प्रतिकारक डेटा के साथ प्रशिक्षित) और LLaVA-Nextori (मूल डेटा के साथ प्रशिक्षित) बनाना

प्रयोगात्मक परिणाम

मुख्य परिणाम

समग्र मजबूती मूल्यांकन

तालिका 1 से देखा जा सकता है कि सभी मॉडल प्रतिकारक वीडियो पर महत्वपूर्ण प्रदर्शन गिरावट प्रदर्शित करते हैं:

औसत प्रदर्शन गिरावट: 17.57%
सर्वश्रेष्ठ मजबूती: VideoChat2 (10.34% गिरावट)
सबसे खराब मजबूती: LLaVA-Nextori (30.85% गिरावट)

संपादन कारकों का मॉडल प्रदर्शन पर प्रभाव

कार्य संवेदनशीलता अंतर: क्रिया पहचान कार्य सबसे अधिक प्रभावित (23.99% गिरावट), वस्तु अस्तित्व कार्य सबसे कम प्रभावित (11.54% गिरावट)
संपादन कारक प्रभाव: वस्तु परिवर्तन शैली और पृष्ठभूमि परिवर्तन की तुलना में मॉडल पर अधिक प्रभाव डालते हैं
आर्किटेक्चर प्रभाव: बड़े या सूक्ष्म-ट्यून वीडियो एनकोडर का उपयोग करने वाले मॉडल जमे हुए CLIP ViT/L-14 का उपयोग करने वाले मॉडल की तुलना में बेहतर प्रदर्शन करते हैं

सूक्ष्म-ट्यून मॉडल परिणाम

RO-Bench प्रदर्शन सुधार

LLaVA-NextRo: मजबूती मूल्यांकन में सर्वश्रेष्ठ प्रदर्शन प्राप्त करता है, सटीकता गिरावट केवल 4.83%
LLaVA-Next की तुलना में: मजबूती मेट्रिक्स में महत्वपूर्ण सुधार 21.73%
LLaVA-Nextori की तुलना में: प्रतिकारक डेटा प्रशिक्षण के लाभ प्रदर्शित करता है

सामान्य वीडियो समझ क्षमता सुधार

MVBench के 20 डाउनस्ट्रीम कार्यों में:

औसत प्रदर्शन सुधार: 12.78%
क्रिया और वस्तु संबंधित कार्य: अधिक महत्वपूर्ण सुधार प्रदर्शित करते हैं
सर्वश्रेष्ठ कार्य सुधार: कई कार्यों पर सर्वश्रेष्ठ प्रदर्शन प्राप्त करता है

विलोपन प्रयोग निष्कर्ष

संपादन कारक विश्लेषण: वस्तु संपादन मॉडल प्रदर्शन पर सबसे अधिक प्रभाव डालता है, उसके बाद शैली और पृष्ठभूमि
आर्किटेक्चर तुलना: मजबूती बढ़ाने के लिए अधिक शक्तिशाली वीडियो एनकोडर महत्वपूर्ण है
कार्य विशिष्टता: अस्थायी तर्क कार्य (जैसे क्रिया पहचान) दृश्य व्यवधान से अधिक आसानी से प्रभावित होते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

मजबूती की कमी: वर्तमान वीडियो MLLMs प्रतिकारक वीडियो सामग्री का सामना करते समय महत्वपूर्ण प्रदर्शन गिरावट प्रदर्शित करते हैं
कार्य अंतर: विभिन्न कार्यों में दृश्य परिवर्तन के प्रति संवेदनशीलता में अंतर है, अस्थायी संबंधित कार्य अधिक आसानी से प्रभावित होते हैं
आर्किटेक्चर महत्व: मजबूती बढ़ाने के लिए अधिक शक्तिशाली वीडियो एनकोडर महत्वपूर्ण है
प्रशिक्षण प्रभावशीलता: प्रतिकारक डेटा के साथ सूक्ष्म-ट्यूनिंग मॉडल मजबूती और सामान्य प्रदर्शन को प्रभावी ढंग से बढ़ा सकती है

सीमाएं

डेटा आकार: वर्तमान डेटासेट आकार अपेक्षाकृत छोटा है, जो मूल्यांकन की व्यापकता को सीमित कर सकता है
संपादन गुणवत्ता: गुणवत्ता नियंत्रण के बावजूद, उत्पन्न प्रतिकारक वीडियो अभी भी पर्याप्त प्राकृतिक न होने की स्थिति में हो सकते हैं
मूल्यांकन सीमा: मुख्य रूप से दृश्य संपादन पर ध्यान केंद्रित करता है, अन्य प्रकार के व्यवधान (जैसे ऑडियो, अस्थायी व्यवधान) को शामिल नहीं करता है
मॉडल कवरेज: मूल्यांकन किए गए मॉडलों की संख्या सीमित है, वर्तमान तकनीकी स्तर का पूरी तरह से प्रतिनिधित्व नहीं कर सकता है

भविष्य की दिशाएं

संपादन प्रकार विस्तार: अधिक प्रकार के वीडियो संपादन और व्यवधान तरीकों की खोज करना
बड़े पैमाने पर डेटासेट: अधिक बड़े पैमाने पर, अधिक विविध प्रतिकारक वीडियो डेटासेट बनाना
सैद्धांतिक विश्लेषण: MLLMs की मजबूती की कमी के मूल कारणों का गहन विश्लेषण करना
रक्षा तंत्र: मॉडल मजबूती बढ़ाने के लिए विशेष रक्षा रणनीति विकसित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: पहली बार वीडियो MLLMs मजबूती मूल्यांकन बेंचमार्क को व्यवस्थित रूप से प्रस्तुत करता है, महत्वपूर्ण अनुसंधान अंतराल को भरता है
पूर्ण विधि: डेटा जनरेशन, गुणवत्ता नियंत्रण से मूल्यांकन मेट्रिक्स तक, एक पूर्ण मूल्यांकन ढांचा बनाता है
पर्याप्त प्रयोग: कई मुख्यधारा के मॉडलों का मूल्यांकन करता है, व्यापक प्रदर्शन तुलनात्मक विश्लेषण प्रदान करता है
उच्च व्यावहारिक मूल्य: न केवल मूल्यांकन बेंचमार्क प्रदान करता है, बल्कि प्रतिकारक डेटा के मॉडल प्रदर्शन सुधार में प्रभावशीलता भी साबित करता है
ठोस तकनीक: अत्याधुनिक वीडियो संपादन तकनीक का उपयोग करता है, उच्च गुणवत्ता वाले प्रतिकारक वीडियो जनरेशन सुनिश्चित करता है

कमियां

डेटा आकार सीमा: अन्य बड़े पैमाने पर बेंचमार्क की तुलना में, RO-Bench का डेटा आकार अपेक्षाकृत छोटा है
संपादन आयाम सीमा: मुख्य रूप से शैली, वस्तु, पृष्ठभूमि तीन आयामों पर ध्यान केंद्रित करता है, अन्य महत्वपूर्ण व्यवधान प्रकारों को छोड़ सकता है
एकल मूल्यांकन मेट्रिक्स: मुख्य रूप से सटीकता को मूल्यांकन मेट्रिक के रूप में उपयोग करता है, अधिक सूक्ष्म विश्लेषण मेट्रिक्स की कमी है
अपर्याप्त सैद्धांतिक विश्लेषण: मॉडल मजबूती की कमी के मूल कारणों का गहन सैद्धांतिक विश्लेषण नहीं है

प्रभाव

शैक्षणिक योगदान: वीडियो MLLMs मजबूती मूल्यांकन के लिए महत्वपूर्ण बेंचमार्क और अनुसंधान ढांचा प्रदान करता है
व्यावहारिक मूल्य: वीडियो MLLMs को औद्योगिक क्षेत्र में तैनात करने के लिए महत्वपूर्ण मार्गदर्शन प्रदान करता है
अनुसंधान प्रेरणा: बाद के संबंधित अनुसंधान के लिए महत्वपूर्ण आधार और संदर्भ प्रदान करता है
पुनरुत्पादनशीलता: कोड और डेटा को ओपन-सोर्स करने का वादा करता है, अनुसंधान समुदाय के विकास के लिए अनुकूल है

लागू परिदृश्य

मॉडल मूल्यांकन: विभिन्न वीडियो MLLMs की मजबूती मूल्यांकन के लिए उपयुक्त
मॉडल सुधार: मॉडल आर्किटेक्चर डिज़ाइन और प्रशिक्षण रणनीति अनुकूलन को निर्देशित करने के लिए उपयोग किया जा सकता है
अनुप्रयोग तैनाती: उच्च-जोखिम अनुप्रयोग परिदृश्यों में मॉडल तैनाती के लिए सुरक्षा मूल्यांकन प्रदान करता है
अनुसंधान बेंचमार्क: भविष्य के संबंधित अनुसंधान के लिए मानक मूल्यांकन बेंचमार्क के रूप में कार्य कर सकता है

संदर्भ

यह पेपर कई महत्वपूर्ण संबंधित कार्यों का हवाला देता है, जिनमें शामिल हैं:

वीडियो MLLMs: VideoChat, VideoLLaMA, LLaVA-Next आदि
मजबूती मूल्यांकन: LANCE, OOD-CV आदि
वीडियो संपादन: Tune-a-Video, CCEdit आदि
मूल्यांकन बेंचमार्क: MVBench, DAVIS आदि

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला अनुसंधान पत्र है जो पहली बार वीडियो MLLMs मजबूती मूल्यांकन की इस महत्वपूर्ण समस्या को व्यवस्थित रूप से संबोधित करता है। पेपर तकनीकी नवाचार, प्रयोगात्मक डिज़ाइन और व्यावहारिक मूल्य के मामले में उत्कृष्ट प्रदर्शन करता है, इस क्षेत्र के विकास में महत्वपूर्ण योगदान देता है। हालांकि डेटा आकार और सैद्धांतिक विश्लेषण के मामले में सुधार की गुंजाइश है, लेकिन कुल मिलाकर यह एक बहुत ही मूल्यवान अनुसंधान कार्य है।