2025-11-17T08:34:13.390930

Open Vocabulary Multi-Label Video Classification

Gupta, Rizve, Unnikrishnan et al.

Pre-trained vision-language models (VLMs) have enabled significant progress in open vocabulary computer vision tasks such as image classification, object detection and image segmentation. Some recent works have focused on extending VLMs to open vocabulary single label action classification in videos. However, previous methods fall short in holistic video understanding which requires the ability to simultaneously recognize multiple actions and entities e.g., objects in the video in an open vocabulary setting. We formulate this problem as open vocabulary multilabel video classification and propose a method to adapt a pre-trained VLM such as CLIP to solve this task. We leverage large language models (LLMs) to provide semantic guidance to the VLM about class labels to improve its open vocabulary performance with two key contributions. First, we propose an end-to-end trainable architecture that learns to prompt an LLM to generate soft attributes for the CLIP text-encoder to enable it to recognize novel classes. Second, we integrate a temporal modeling module into CLIP's vision encoder to effectively model the spatio-temporal dynamics of video concepts as well as propose a novel regularized finetuning technique to ensure strong open vocabulary classification performance in the video domain. Our extensive experimentation showcases the efficacy of our approach on multiple benchmark datasets.

academic

खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण

मूल जानकारी

पेपर ID: 2407.09073
शीर्षक: Open Vocabulary Multi-Label Video Classification
लेखक: Rohit Gupta, Mamshad Nayeem Rizve, Jayakrishnan Unnikrishnan, Ashish Tawari, Son Tran, Mubarak Shah, Benjamin Yao, Trishul Chilimbi
वर्गीकरण: cs.CV
प्रकाशन समय: arXiv:2407.09073v2 cs.CV 13 Oct 2025
पेपर लिंक: https://arxiv.org/abs/2407.09073

सारांश

पूर्व-प्रशिक्षित दृश्य-भाषा मॉडल (VLMs) खुली शब्दावली वाले कंप्यूटर विजन कार्यों में उल्लेखनीय प्रगति प्राप्त कर चुके हैं, जैसे छवि वर्गीकरण, वस्तु पहचान और छवि विभाजन। कुछ हाल के कार्य VLMs को वीडियो में खुली शब्दावली वाली एकल-लेबल क्रिया वर्गीकरण तक विस्तारित करने पर केंद्रित हैं। हालांकि, पूर्ववर्ती विधियों में समग्र वीडियो समझ में कमी है और वे खुली शब्दावली सेटिंग में एक साथ कई क्रियाओं और संस्थाओं (जैसे वस्तुओं) की पहचान नहीं कर सकते। यह पेपर इस समस्या को खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण के रूप में परिभाषित करता है और पूर्व-प्रशिक्षित VLM (जैसे CLIP) को इस कार्य को हल करने के लिए अनुकूलित करने की एक विधि प्रस्तावित करता है। हम बड़े भाषा मॉडल (LLMs) का उपयोग करके VLM को वर्ग लेबल के बारे में शब्दार्थ मार्गदर्शन प्रदान करते हैं, दो मुख्य योगदानों के माध्यम से इसकी खुली शब्दावली कार्यक्षमता को बढ़ाते हैं। पहला, एक अंत-से-अंत प्रशिक्षणीय आर्किटेक्चर प्रस्तावित किया गया है जो LLM को CLIP पाठ एन्कोडर के लिए नरम विशेषताएं उत्पन्न करने के लिए प्रेरित करना सीखता है, जिससे यह नई श्रेणियों की पहचान कर सकता है। दूसरा, CLIP के दृश्य एन्कोडर में एक अस्थायी मॉडलिंग मॉड्यूल एकीकृत किया गया है, जो वीडियो अवधारणाओं की स्पेसटाइम गतिशीलता को प्रभावी ढंग से मॉडल करता है, और एक नई नियमितकरण सूक्ष्म-ट्यूनिंग तकनीक प्रस्तावित की गई है जो वीडियो डोमेन में मजबूत खुली शब्दावली वर्गीकरण कार्यक्षमता सुनिश्चित करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

पारंपरिक वीडियो वर्गीकरण विधियों में निम्नलिखित सीमाएं हैं:

शब्दावली प्रतिबंध: शास्त्रीय विधियों को सभी संभावित श्रेणियों को पहले से जानना आवश्यक है, मॉडल केवल लेबल किए गए डेटासेट पर पर्यवेक्षित प्रशिक्षण कर सकता है
उच्च एनोटेशन लागत: मानव एनोटेशन प्रक्रिया श्रम-गहन है, जिससे वीडियो डेटासेट आमतौर पर विशिष्ट डोमेन तक सीमित होते हैं (जैसे विशिष्ट खेल या सरल गतिविधियां)
एकल अवधारणा पहचान: मौजूदा खुली शब्दावली विधियां मुख्य रूप से एकल-लेबल वर्गीकरण पर केंद्रित हैं, वीडियो में कई अवधारणाओं की एक साथ पहचान नहीं कर सकते

अनुसंधान प्रेरणा

वीडियो अनुप्रयोगों के व्यापक प्रसार के साथ, ऐसे मॉडल विकसित करने की आवश्यकता है जो अवधारणाओं की व्यापक श्रृंखला की पहचान कर सकें। इस पेपर की मुख्य प्रेरणा है:

बड़े पैमाने पर छवि-पाठ जोड़ी पर VLMs के पूर्व-प्रशिक्षण लाभों का उपयोग करना
शब्दार्थ समझ को बढ़ाने के लिए LLMs के समृद्ध विश्व ज्ञान को जोड़ना
खुली शब्दावली सेटिंग में एक साथ कई वीडियो अवधारणाओं (क्रियाएं, वस्तुएं, दृश्य आदि) की पहचान करना

तकनीकी चुनौतियां

बहु-लेबल सेटिंग में समानता स्कोरिंग समस्या: विभिन्न प्रकार की अवधारणाओं (जैसे क्रियाएं, वस्तुएं) के VLM समानता स्कोर की सीमा भिन्न होती है
अस्थायी मॉडलिंग: छवि-भाषा पूर्व-प्रशिक्षण मॉडल में वीडियो अस्थायी गतिशीलता की मॉडलिंग क्षमता की कमी है
खुली शब्दावली कार्यक्षमता संरक्षण: वीडियो डेटा पर सूक्ष्म-ट्यूनिंग करते समय अधिक-फिटिंग का खतरा होता है, जिससे सामान्यीकरण क्षमता खो जाती है

मुख्य योगदान

अंत-से-अंत प्रशिक्षणीय लेबल एन्कोडर: LLM को VLM पाठ एन्कोडर के लिए नरम विशेषताएं उत्पन्न करने के लिए प्रेरित करना सीखने की विधि प्रस्तावित करता है, खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण को सक्षम करता है
अस्थायी-संवर्धित दृश्य एन्कोडर: पूर्व-प्रशिक्षित VLM छवि एन्कोडर में अस्थायी मॉडलिंग क्षमता एकीकृत करता है, जबकि मजबूत खुली शब्दावली कार्यक्षमता बनाए रखता है
नया बेंचमार्क डेटासेट: 5 डेटासेट पर खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण बेंचमार्क परिभाषित करता है, 6 मजबूत बेसलाइन के साथ तुलना करता है
महत्वपूर्ण कार्यक्षमता सुधार: कई बेंचमार्क डेटासेट पर बेसलाइन विधियों को महत्वपूर्ण रूप से पार करता है

विधि विवरण

कार्य परिभाषा

इनपुट: वीडियो अनुक्रम और खुली शब्दावली में वर्ग लेबल का सेट आउटपुट: वीडियो में प्रत्येक लेबल की उपस्थिति की संभावना बाधा: मॉडल को अनुमान समय पर प्रशिक्षण के दौरान अदेखी नई श्रेणियों को संभालने की आवश्यकता है

मॉडल आर्किटेक्चर

समग्र ढांचा

मॉडल में तीन मुख्य चरण हैं:

प्रशिक्षण चरण: बंद सेट प्रशिक्षण लेबल पर लेबल एन्कोडर और वीडियो एन्कोडर को एक साथ प्रशिक्षित करता है
वर्गीकरणकर्ता शब्दावली विस्तार चरण: नई श्रेणी लेबल के लिए एम्बेडिंग की गणना करता है और लेबल एम्बेडिंग डेटाबेस में सहेजता है
अनुमान चरण: वीडियो विशेषताओं की गणना करता है और लेबल एम्बेडिंग डेटाबेस से मेल खाता है

1. LLM शब्दार्थ-संवर्धित लेबल एम्बेडिंग

निश्चित LLM प्रेरणा विधि:

LLM को श्रेणियों को दृश्य से अलग करने के लिए उपयोगी विशेषताएं उत्पन्न करने के लिए प्रेरित करने के लिए प्रेरणा टेम्पलेट डिजाइन करता है
LLM आउटपुट को विशेषताओं की सूची में पार्स किया जाता है, वर्ग नाम के साथ CLIP पाठ एन्कोडर को प्रेरित करता है
माध्य पूलिंग के माध्यम से विशेषता-संवर्धित पाठ एम्बेडिंग उत्पन्न करता है

अंत-से-अंत सीखने योग्य LLM प्रेरणा: निश्चित प्रेरणा विधि की गैर-प्रशिक्षणीयता समस्या को हल करने के लिए, निम्नलिखित आर्किटेक्चर प्रस्तावित किया गया है:

सीखने योग्य उपसर्ग: N d-आयामी सीखने योग्य वेक्टर LLM प्रेरणा के उपसर्ग के रूप में
प्रेरणा ट्रांसफॉर्मर: LLM आउटपुट शब्दार्थ स्थान को CLIP इनपुट शब्दार्थ स्थान में मैप करता है
नरम विशेषता पीढ़ी: प्रत्येक उपसर्ग के लिए KL डिकोडिंग पुनरावृत्तियां चलाता है, K L-टोकन उप-अनुक्रम नरम विशेषताओं के रूप में उत्पन्न करता है

गणितीय प्रतिनिधित्व:

इनपुट अनुक्रम: I ∈ R^(M×d)
उपसर्ग Pi और प्रेरणा टेम्पलेट को जोड़ना: [Pi; I] ∈ R^((1+M)×d)
अंतिम लेबल एम्बेडिंग: ft(ℓ) = MeanPool(Normalize(CLIP_text([soft_prompt; tokenize(ℓ)])))

2. नियमितकृत समानांतर अस्थायी मॉडलिंग

अस्थायी मॉडलिंग शाखा:

CLIP दृश्य एन्कोडर के अंतिम T परतों में समानांतर अस्थायी मॉडलिंग शाखा जोड़ता है
CLIP दृश्य शाखा को फ्रीज करता है, केवल नई अस्थायी परतों को प्रशिक्षित करता है
प्रत्येक अस्थायी ब्लॉक में शामिल है:
- CLIP वजन से आरंभीकृत स्थानिक ध्यान परत
- यादृच्छिक रूप से आरंभीकृत अस्थायी ध्यान परत

वजन नियमितकरण रणनीति: शून्य-शॉट कार्यक्षमता बनाए रखने के लिए, स्थानिक ध्यान परत पर यादृच्छिक वजन नियमितकरण का उपयोग करता है:

θ = αθ_ft + (1-α)θ_frozen, जहां α ~ U(0, λ)

वीडियो एम्बेडिंग पीढ़ी: अंतिम अस्थायी टोकन (TMP) और विभिन्न फ्रेम CLS टोकन के माध्य पूलिंग के माध्यम से समग्र वीडियो एम्बेडिंग उत्पन्न करता है।

प्रशिक्षण उद्देश्य

भारित बाइनरी क्रॉस-एंट्रॉपी हानि का उपयोग करता है:

L(B) = -∑_{v∈B} [∑_{ℓ∈P(v)} log p(ℓ,v) + w∑_{ℓ∈N(v)} log(1-p(ℓ,v))]

जहां:

p(ℓ,v) = σ(s(ℓ,v)/τ)
s(ℓ,v) = (ft(ℓ))^T fv(v)
τ तापमान पैरामीटर है, w वजन हाइपरपैरामीटर है

प्रयोगात्मक सेटअप

डेटासेट

प्रशिक्षण डेटासेट:

YouTube-8M: मुख्य रूप से संस्थाओं को एनोटेट करता है, गेम शीर्षकों को हटाने के बाद 2429 श्रेणियां बनी रहती हैं
Kinetics-400: उच्च गुणवत्ता वाले मानव-सत्यापित क्रिया लेबल, 400 श्रेणियां

मूल्यांकन डेटासेट:

TAO (Tracking Any Object): वस्तुओं पर केंद्रित खुली शब्दावली डेटासेट
ActivityNet: क्रियाओं पर केंद्रित डेटासेट
RareAct: वस्तुओं, क्रियाओं और उनके दुर्लभ संयोजनों वाला डेटासेट

मूल्यांकन मेट्रिक्स

AUPR (Area Under Precision-Recall curve): पूरे सटीकता-रिकॉल ट्रेडऑफ का वर्गीकरण कार्यक्षमता सारांश
Peak F1-Score: इष्टतम थ्रेशोल्ड पर प्राप्त F1 स्कोर

तुलना विधियां

CoOp: CLIP पाठ एन्कोडर प्रेरणा सीखने की हल्की अनुकूलन विधि
DualCoOp: CoOp का बहु-लेबल विस्तार, सकारात्मक और नकारात्मक प्रेरणा सीखता है
LLM + CLIP (Frozen): निश्चित LLM प्रेरणा बेसलाइन
ViFi-CLIP: प्रशिक्षण डेटासेट पर CLIP छवि और पाठ एन्कोडर को सूक्ष्म-ट्यून करता है

प्रयोगात्मक परिणाम

मुख्य परिणाम

AUPR कार्यक्षमता तुलना:

विधि	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (वर्ग नाम प्रेरणा)	6.3	26.2	43.8	44.2	9.5
निश्चित LLM प्रेरणा	6.9	30.6	50.2	46.8	11.5
DualCoOp	8.3	23.9	47.1	33.0	7.6
यह विधि	16.7	43.2	65.5	50.2	13.2

Peak F1 कार्यक्षमता तुलना:

विधि	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (वर्ग नाम प्रेरणा)	14.9	34.2	44.6	47.1	17.6
निश्चित LLM प्रेरणा	21.6	37.3	50.2	51.4	19.8
DualCoOp	16.2	33.2	49.0	40.5	15.0
यह विधि	32.7	46.6	56.6	53.8	25.1

विलोपन प्रयोग

अस्थायी मॉडलिंग घटक विश्लेषण:

अस्थायी मॉडलिंग ब्लॉक संख्या: 4 ब्लॉक सर्वोत्तम कार्यक्षमता प्राप्त करते हैं
वजन नियमितकरण: अधिक-फिटिंग को महत्वपूर्ण रूप से रोकता है, खुली शब्दावली कार्यक्षमता बनाए रखता है
CLIP मुख्य को फ्रीज करना: गंभीर अधिक-फिटिंग से बचाता है

लेबल एन्कोडर घटक विश्लेषण:

LLM + सीखने योग्य प्रेरणा + प्रेरणा ट्रांसफॉर्मर का संयोजन सर्वोत्तम कार्यक्षमता प्राप्त करता है
CLIP पाठ एन्कोडर को हटाने से महत्वपूर्ण कार्यक्षमता में गिरावट आती है
सीखने योग्य प्रेरणा निश्चित प्रेरणा से बेहतर है

स्कोर कैलिब्रेशन विश्लेषण

यह विधि विभिन्न अवधारणा प्रकारों के बीच बेहतर स्कोर कैलिब्रेशन प्राप्त करती है, जिससे एक एकल थ्रेशोल्ड कई अवधारणाओं पर अच्छी कार्यक्षमता प्राप्त कर सकता है, जो व्यावहारिक अनुप्रयोगों के लिए महत्वपूर्ण है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण की पहली विधि प्रस्तावित करता है
अंत-से-अंत प्रशिक्षणीय LLM-निर्देशित आर्किटेक्चर कार्यक्षमता में महत्वपूर्ण सुधार करता है
अस्थायी मॉडलिंग और नियमितकरण तकनीकें सूक्ष्म-ट्यूनिंग कार्यक्षमता और खुली शब्दावली क्षमता को सफलतापूर्वक संतुलित करती हैं

सीमाएं

पूर्व-प्रशिक्षित VLM और LLM की गुणवत्ता पर निर्भर करता है
प्रशिक्षण डेटासेट की अवधारणा कवरेज अभी भी सीमित है
आधार CLIP मॉडल की तुलना में कम्प्यूटेशनल ओवरहेड में वृद्धि

भविष्य की दिशाएं

अधिक कुशल अस्थायी मॉडलिंग आर्किटेक्चर की खोज करना
बेहतर LLM-VLM संरेखण विधियों का अनुसंधान करना
अधिक वीडियो समझ कार्यों तक विस्तार करना

गहन मूल्यांकन

लाभ

समस्या परिभाषा नवाचार: खुली शब्दावली बहु-लेबल वीडियो वर्गीकरण समस्या को पहली बार व्यवस्थित रूप से परिभाषित और हल करता है
पूर्ण तकनीकी समाधान: लेबल एन्कोडिंग और वीडियो अस्थायी मॉडलिंग दोनों मुख्य चुनौतियों को हल करता है
व्यापक प्रयोग: कई डेटासेट पर व्यापक मूल्यांकन, विस्तृत विलोपन प्रयोग सहित
उच्च व्यावहारिक मूल्य: विधि में अच्छी स्केलेबिलिटी है, अनुमान समय पर गतिशील रूप से नई श्रेणियां जोड़ने का समर्थन करता है

कमियां

कम्प्यूटेशनल जटिलता: आधार विधि की तुलना में कुछ कम्प्यूटेशनल ओवरहेड जोड़ता है
डेटा निर्भरता: कार्यक्षमता अभी भी प्रशिक्षण डेटा की गुणवत्ता और विविधता पर निर्भर करती है
सामान्यीकरण क्षमता: चरम डोमेन-बाहर डेटा पर कार्यक्षमता को आगे सत्यापन की आवश्यकता है

प्रभाव

शैक्षणिक योगदान: वीडियो समझ क्षेत्र के लिए नई अनुसंधान दिशा और बेंचमार्क प्रदान करता है
व्यावहारिक मूल्य: वास्तविक वीडियो अनुप्रयोगों के लिए व्यावहार्य तकनीकी समाधान प्रदान करता है
पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और प्रयोगात्मक सेटअप प्रदान करता है

लागू परिदृश्य

वीडियो सामग्री विश्लेषण और एनोटेशन
वीडियो खोज और सिफारिश प्रणाली
सुरक्षा निगरानी में बहु-वस्तु पहचान
शैक्षणिक वीडियो का स्वचालित वर्गीकरण

संदर्भ

पेपर ने 68 संबंधित संदर्भों का हवाला दिया है, जो दृश्य-भाषा सीखना, खुली शब्दावली वर्गीकरण, बड़े भाषा मॉडल अनुप्रयोग और अन्य कई संबंधित क्षेत्रों के महत्वपूर्ण कार्यों को कवर करते हैं, जो इस अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।