2025-11-17T08:34:13.390930

Open Vocabulary Multi-Label Video Classification

Gupta, Rizve, Unnikrishnan et al.

Pre-trained vision-language models (VLMs) have enabled significant progress in open vocabulary computer vision tasks such as image classification, object detection and image segmentation. Some recent works have focused on extending VLMs to open vocabulary single label action classification in videos. However, previous methods fall short in holistic video understanding which requires the ability to simultaneously recognize multiple actions and entities e.g., objects in the video in an open vocabulary setting. We formulate this problem as open vocabulary multilabel video classification and propose a method to adapt a pre-trained VLM such as CLIP to solve this task. We leverage large language models (LLMs) to provide semantic guidance to the VLM about class labels to improve its open vocabulary performance with two key contributions. First, we propose an end-to-end trainable architecture that learns to prompt an LLM to generate soft attributes for the CLIP text-encoder to enable it to recognize novel classes. Second, we integrate a temporal modeling module into CLIP's vision encoder to effectively model the spatio-temporal dynamics of video concepts as well as propose a novel regularized finetuning technique to ensure strong open vocabulary classification performance in the video domain. Our extensive experimentation showcases the efficacy of our approach on multiple benchmark datasets.

academic

খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ

মৌলিক তথ্য

পেপার আইডি: 2407.09073
শিরোনাম: খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ
লেখক: রোহিত গুপ্তা, মামশাদ নায়েম রিজভে, জয়কৃষ্ণন উন্নিকৃষ্ণন, আশিষ তাওয়ারি, সন ট্রান, মুবারক শাহ, বেঞ্জামিন ইয়াও, ত্রিশুল চিলিম্বি
বিভাগ: cs.CV
প্রকাশনার সময়: arXiv:2407.09073v2 cs.CV 13 অক্টোবর 2025
পেপার লিঙ্ক: https://arxiv.org/abs/2407.09073

সারসংক্ষেপ

প্রশিক্ষিত দৃষ্টি-ভাষা মডেল (VLM) খোলা শব্দভাণ্ডার কম্পিউটার দৃষ্টি কাজে উল্লেখযোগ্য অগ্রগতি অর্জন করেছে, যেমন ছবি শ্রেণীবিভাগ, লক্ষ্য সনাক্তকরণ এবং ছবি বিভাজন। কিছু সাম্প্রতিক কাজ ভিডিওতে খোলা শব্দভাণ্ডার একক-লেবেল ক্রিয়া শ্রেণীবিভাগে VLM প্রসারিত করার উপর দৃষ্টি নিবদ্ধ করে। তবে, পূর্ববর্তী পদ্ধতিগুলি সামগ্রিক ভিডিও বোঝার ক্ষেত্রে অপর্যাপ্ত এবং খোলা শব্দভাণ্ডার সেটিংসে একযোগে একাধিক ক্রিয়া এবং সত্তা (যেমন বস্তু) চিহ্নিত করতে পারে না। এই পেপারটি এই সমস্যাটিকে খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ হিসাবে সংজ্ঞায়িত করে এবং প্রশিক্ষিত VLM (যেমন CLIP) অভিযোজিত করার একটি পদ্ধতি প্রস্তাব করে এই কাজটি সমাধান করতে। আমরা বড় ভাষা মডেল (LLM) ব্যবহার করি VLM-কে শ্রেণী লেবেল সম্পর্কে শব্দার্থিক নির্দেশনা প্রদান করতে, দুটি মূল অবদানের মাধ্যমে এর খোলা শব্দভাণ্ডার কর্মক্ষমতা উন্নত করতে। প্রথমত, আমরা একটি প্রান্ত-থেকে-প্রান্ত প্রশিক্ষণযোগ্য স্থাপত্য প্রস্তাব করি যা CLIP পাঠ্য এনকোডারের জন্য নরম বৈশিষ্ট্য তৈরি করতে LLM প্রম্পট করতে শেখে, যা এটিকে নতুন শ্রেণী চিহ্নিত করতে সক্ষম করে। দ্বিতীয়ত, আমরা CLIP-এর দৃষ্টি এনকোডারে একটি সময়গত মডেলিং মডিউল একীভূত করি, ভিডিও ধারণার স্থানকালীন গতিশীলতা কার্যকরভাবে মডেল করতে এবং একটি উপন্যাস নিয়মিতকরণ সূক্ষ্ম-সুর কৌশল প্রস্তাব করি, ভিডিও ডোমেনে শক্তিশালী খোলা শব্দভাণ্ডার শ্রেণীবিভাগ কর্মক্ষমতা নিশ্চিত করতে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ঐতিহ্যবাহী ভিডিও শ্রেণীবিভাগ পদ্ধতিগুলির নিম্নলিখিত সীমাবদ্ধতা রয়েছে:

শব্দভাণ্ডার সীমাবদ্ধতা: ক্লাসিক পদ্ধতিগুলির সমস্ত সম্ভাব্য শ্রেণী আগে থেকে জানা প্রয়োজন, মডেল শুধুমাত্র লেবেলযুক্ত ডেটাসেটে তত্ত্বাবধানে প্রশিক্ষণ দিতে পারে
উচ্চ মন্তব্য খরচ: ম্যানুয়াল মন্তব্য প্রক্রিয়া শ্রম-নিবিড়, যার ফলে ভিডিও ডেটাসেটগুলি সাধারণত নির্দিষ্ট ডোমেনে সীমাবদ্ধ (যেমন নির্দিষ্ট খেলাধুলা বা সাধারণ কার্যকলাপ)
একক ধারণা স্বীকৃতি: বিদ্যমান খোলা শব্দভাণ্ডার পদ্ধতিগুলি প্রধানত একক-লেবেল শ্রেণীবিভাগে ফোকাস করে, ভিডিওতে একাধিক ধারণা একযোগে চিহ্নিত করতে পারে না

গবেষণা প্রেরণা

ভিডিও অ্যাপ্লিকেশনের ব্যাপক প্রসারের সাথে, বিস্তৃত ধারণার পরিসীমা চিহ্নিত করতে পারে এমন ভিডিও মডেল বিকাশের প্রয়োজন। এই পেপারের মূল প্রেরণা হল:

বড় আকারের ছবি-পাঠ্য জোড়ায় VLM-এর প্রশিক্ষণ সুবিধা ব্যবহার করা
শব্দার্থিক বোঝাপড়া বাড়াতে LLM-এর সমৃদ্ধ বিশ্ব জ্ঞান একত্রিত করা
খোলা শব্দভাণ্ডার সেটিংসে একাধিক ভিডিও ধারণা (ক্রিয়া, বস্তু, দৃশ্য ইত্যাদি) একযোগে চিহ্নিত করা বাস্তবায়ন করা

প্রযুক্তিগত চ্যালেঞ্জ

বহু-লেবেল সেটিংসে সাদৃশ্য স্কোরিং সমস্যা: বিভিন্ন ধরনের ধারণার (যেমন ক্রিয়া, বস্তু) VLM সাদৃশ্য স্কোর বিভিন্ন পরিসীমা রয়েছে
সময়গত মডেলিং: ছবি-ভাষা প্রশিক্ষিত মডেলগুলি ভিডিও সময়গত গতিশীলতার মডেলিং অনুপস্থিত
খোলা শব্দভাণ্ডার কর্মক্ষমতা বজায় রাখা: ভিডিও ডেটায় সূক্ষ্ম-সুর করার সময় ওভারফিটিং এবং সাধারণীকরণ ক্ষমতা হারানো সহজ

মূল অবদান

প্রান্ত-থেকে-প্রান্ত প্রশিক্ষণযোগ্য লেবেল এনকোডার: LLM প্রম্পট করার জন্য শেখার একটি পদ্ধতি প্রস্তাব করি VLM পাঠ্য এনকোডারের জন্য নরম বৈশিষ্ট্য তৈরি করতে, খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ বাস্তবায়ন করা
সময়গত-উন্নত দৃষ্টি এনকোডার: প্রশিক্ষিত VLM ছবি এনকোডারে সময়গত মডেলিং ক্ষমতা একীভূত করা, শক্তিশালী খোলা শব্দভাণ্ডার কর্মক্ষমতা বজায় রেখে
নতুন বেঞ্চমার্ক ডেটাসেট: 5টি ডেটাসেটে খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ বেঞ্চমার্ক সংজ্ঞায়িত করা, 6টি শক্তিশালী বেসলাইনের সাথে তুলনা করা
উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: একাধিক বেঞ্চমার্ক ডেটাসেটে বেসলাইন পদ্ধতি উল্লেখযোগ্যভাবে অতিক্রম করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট: ভিডিও ক্রম এবং খোলা শব্দভাণ্ডারে শ্রেণী লেবেলের সেট আউটপুট: ভিডিওতে প্রতিটি লেবেলের উপস্থিতির সম্ভাবনা সীমাবদ্ধতা: মডেলকে অনুমানের সময় প্রশিক্ষণের সময় দেখা নতুন শ্রেণী পরিচালনা করতে হবে

মডেল স্থাপত্য

সামগ্রিক কাঠামো

মডেলে তিনটি প্রধান পর্যায় রয়েছে:

প্রশিক্ষণ পর্যায়: বন্ধ সেট প্রশিক্ষণ লেবেলে লেবেল এনকোডার এবং ভিডিও এনকোডার একযোগে প্রশিক্ষণ দেওয়া
শ্রেণীবিভাগকারী শব্দভাণ্ডার সম্প্রসারণ পর্যায়: নতুন শ্রেণী লেবেলের জন্য এম্বেডিং গণনা করা এবং লেবেল এম্বেডিং ডাটাবেসে সংরক্ষণ করা
অনুমান পর্যায়: ভিডিও বৈশিষ্ট্য গণনা করা এবং লেবেল এম্বেডিং ডাটাবেসের সাথে মেলানো

1. LLM শব্দার্থিক-উন্নত লেবেল এম্বেডিং

স্থির LLM প্রম্পট পদ্ধতি:

LLM-কে শ্রেণী দৃষ্টিগতভাবে পার্থক্য করার জন্য দরকারী বৈশিষ্ট্য তৈরি করতে জিজ্ঞাসা করার জন্য প্রম্পট টেমপ্লেট ডিজাইন করা
LLM আউটপুট বৈশিষ্ট্য তালিকায় বিশ্লেষণ করা, শ্রেণী নামের সাথে CLIP পাঠ্য এনকোডার প্রম্পট করা
গড় পুলিং এর মাধ্যমে বৈশিষ্ট্য-উন্নত পাঠ্য এম্বেডিং তৈরি করা

প্রান্ত-থেকে-প্রান্ত শেখা যায় এমন LLM প্রম্পট: স্থির প্রম্পট পদ্ধতি প্রশিক্ষণযোগ্য নয় এমন সমস্যা সমাধানের জন্য, নিম্নলিখিত স্থাপত্য প্রস্তাব করা হয়:

শেখা যায় এমন উপসর্গ: N টি d-মাত্রিক শেখা যায় এমন ভেক্টর LLM প্রম্পটের উপসর্গ হিসাবে
প্রম্পট ট্রান্সফর্মার: LLM আউটপুট শব্দার্থিক স্থান CLIP ইনপুট শব্দার্থিক স্থানে ম্যাপ করা
নরম বৈশিষ্ট্য প্রজন্ম: প্রতিটি উপসর্গের জন্য KL ডিকোডিং পুনরাবৃত্তি চালানো, K টি L-টোকেন সাব-ক্রম নরম বৈশিষ্ট্য হিসাবে তৈরি করা

গাণিতিক প্রতিনিধিত্ব:

ইনপুট ক্রম: I ∈ R^(M×d)
উপসর্গ Pi প্রম্পট টেমপ্লেটের সাথে সংযুক্ত: [Pi; I] ∈ R^((1+M)×d)
চূড়ান্ত লেবেল এম্বেডিং: ft(ℓ) = MeanPool(Normalize(CLIP_text([soft_prompt; tokenize(ℓ)])))

2. নিয়মিতকৃত সমান্তরাল সময়গত মডেলিং

সময়গত মডেলিং শাখা:

CLIP দৃষ্টি এনকোডারের শেষ T স্তরে সমান্তরাল সময়গত মডেলিং শাখা যোগ করা
CLIP দৃষ্টি শাখা হিমায়িত করা, শুধুমাত্র নতুন সময়গত স্তর প্রশিক্ষণ দেওয়া
প্রতিটি সময়গত ব্লক অন্তর্ভুক্ত করে:
- CLIP ওজন থেকে শুরু করা স্থানিক মনোযোগ স্তর
- এলোমেলোভাবে শুরু করা সময়গত মনোযোগ স্তর

ওজন নিয়মিতকরণ কৌশল: শূন্য-শট কর্মক্ষমতা বজায় রাখতে, স্থানিক মনোযোগ স্তরে এলোমেলো ওজন নিয়মিতকরণ ব্যবহার করা:

θ = αθ_ft + (1-α)θ_frozen, যেখানে α ~ U(0, λ)

ভিডিও এম্বেডিং প্রজন্ম: চূড়ান্ত সময়গত টোকেন (TMP) এবং বিভিন্ন ফ্রেম CLS টোকেনের গড় পুলিং এর মাধ্যমে সামগ্রিক ভিডিও এম্বেডিং তৈরি করা।

প্রশিক্ষণ উদ্দেশ্য

ভারিত বাইনারি ক্রস-এন্ট্রপি ক্ষতি ব্যবহার করা:

L(B) = -∑_{v∈B} [∑_{ℓ∈P(v)} log p(ℓ,v) + w∑_{ℓ∈N(v)} log(1-p(ℓ,v))]

যেখানে:

p(ℓ,v) = σ(s(ℓ,v)/τ)
s(ℓ,v) = (ft(ℓ))^T fv(v)
τ তাপমাত্রা প্যারামিটার, w ওজন হাইপারপ্যারামিটার

পরীক্ষামূলক সেটআপ

ডেটাসেট

প্রশিক্ষণ ডেটাসেট:

YouTube-8M: প্রধানত সত্তা মন্তব্য, গেম শিরোনাম সরানোর পরে 2429টি শ্রেণী সংরক্ষণ করা
Kinetics-400: উচ্চ-মানের মানব-যাচাইকৃত ক্রিয়া লেবেল, 400টি শ্রেণী

মূল্যায়ন ডেটাসেট:

TAO (ট্র্যাকিং এনি অবজেক্ট): বস্তুর উপর ফোকাস করা খোলা শব্দভাণ্ডার ডেটাসেট
ActivityNet: ক্রিয়ার উপর ফোকাস করা ডেটাসেট
RareAct: বস্তু, ক্রিয়া এবং তাদের বিরল সমন্বয় অন্তর্ভুক্ত করা ডেটাসেট

মূল্যায়ন মেট্রিক্স

AUPR (নির্ভুলতা-স্মরণ বক্ররেখার অধীন এলাকা): সম্পূর্ণ নির্ভুলতা-স্মরণ ট্রেড-অফ সংক্ষিপ্ত করা শ্রেণীবিভাগ কর্মক্ষমতা
শিখর F1-স্কোর: সর্বোত্তম থ্রেশহোল্ডে অর্জিত F1 স্কোর

তুলনা পদ্ধতি

CoOp: CLIP পাঠ্য এনকোডার প্রম্পট শেখার হালকা অভিযোজন পদ্ধতি
DualCoOp: CoOp-এর বহু-লেবেল সম্প্রসারণ, ইতিবাচক এবং নেতিবাচক প্রম্পট শেখা
LLM + CLIP (হিমায়িত): হিমায়িত LLM প্রম্পট বেসলাইন
ViFi-CLIP: প্রশিক্ষণ ডেটাসেটে CLIP ছবি এবং পাঠ্য এনকোডার সূক্ষ্ম-সুর করা

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

AUPR কর্মক্ষমতা তুলনা:

পদ্ধতি	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (শ্রেণী নাম প্রম্পট)	6.3	26.2	43.8	44.2	9.5
স্থির LLM প্রম্পট	6.9	30.6	50.2	46.8	11.5
DualCoOp	8.3	23.9	47.1	33.0	7.6
এই পদ্ধতি	16.7	43.2	65.5	50.2	13.2

শিখর F1 কর্মক্ষমতা তুলনা:

পদ্ধতি	YouTube-8M	Kinetics	TAO	ActivityNet	RareAct
CLIP (শ্রেণী নাম প্রম্পট)	14.9	34.2	44.6	47.1	17.6
স্থির LLM প্রম্পট	21.6	37.3	50.2	51.4	19.8
DualCoOp	16.2	33.2	49.0	40.5	15.0
এই পদ্ধতি	32.7	46.6	56.6	53.8	25.1

বিলোপন পরীক্ষা

সময়গত মডেলিং উপাদান বিশ্লেষণ:

সময়গত মডেলিং ব্লক সংখ্যা: 4টি ব্লক সর্বোত্তম কর্মক্ষমতা অর্জন করে
ওজন নিয়মিতকরণ: ওভারফিটিং উল্লেখযোগ্যভাবে প্রতিরোধ করে, খোলা শব্দভাণ্ডার কর্মক্ষমতা বজায় রাখে
CLIP মেরুদণ্ড হিমায়িত করা: গুরুতর ওভারফিটিং এড়ানো

লেবেল এনকোডার উপাদান বিশ্লেষণ:

LLM + শেখা যায় এমন প্রম্পট + প্রম্পট ট্রান্সফর্মার সমন্বয় সর্বোত্তম কর্মক্ষমতা অর্জন করে
CLIP পাঠ্য এনকোডার সরানো উল্লেখযোগ্য কর্মক্ষমতা হ্রাস করে
শেখা যায় এমন প্রম্পট স্থির প্রম্পটের চেয়ে উন্নত

স্কোর ক্যালিব্রেশন বিশ্লেষণ

এই পদ্ধতি বিভিন্ন ধারণা ধরনের মধ্যে আরও ভাল স্কোর ক্যালিব্রেশন অর্জন করে, যা একটি একক থ্রেশহোল্ড বিভিন্ন ধারণায় ভাল কর্মক্ষমতা অর্জন করতে সক্ষম করে, যা ব্যবহারিক প্রয়োগের জন্য গুরুত্বপূর্ণ।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

প্রথম খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ পদ্ধতি প্রস্তাব করা
প্রান্ত-থেকে-প্রান্ত শেখা যায় এমন LLM-পরিচালিত স্থাপত্য উল্লেখযোগ্যভাবে কর্মক্ষমতা উন্নত করে
সময়গত মডেলিং এবং নিয়মিতকরণ কৌশল সূক্ষ্ম-সুর কর্মক্ষমতা এবং খোলা শব্দভাণ্ডার ক্ষমতা সফলভাবে ভারসাম্য রাখে

সীমাবদ্ধতা

প্রশিক্ষিত VLM এবং LLM-এর গুণমানের উপর নির্ভরশীল
প্রশিক্ষণ ডেটাসেটের ধারণা কভারেজ এখনও সীমিত
বেসিক CLIP মডেলের তুলনায় গণনা ওভারহেড বৃদ্ধি পায়

ভবিষ্যত দিকনির্দেশনা

আরও দক্ষ সময়গত মডেলিং স্থাপত্য অন্বেষণ করা
আরও ভাল LLM-VLM সারিবদ্ধতা পদ্ধতি গবেষণা করা
আরও ভিডিও বোঝার কাজে সম্প্রসারণ করা

গভীর মূল্যায়ন

সুবিধা

সমস্যা সংজ্ঞা উদ্ভাবন: খোলা শব্দভাণ্ডার বহু-লেবেল ভিডিও শ্রেণীবিভাগ সমস্যা প্রথমবারের মতো সিস্টেমেটিকভাবে সংজ্ঞায়িত এবং সমাধান করা
সম্পূর্ণ প্রযুক্তিগত সমাধান: লেবেল এনকোডিং এবং ভিডিও সময়গত মডেলিং দুটি মূল চ্যালেঞ্জ একযোগে সমাধান করা
ব্যাপক পরীক্ষা: একাধিক ডেটাসেটে বিস্তৃত মূল্যায়ন, বিস্তারিত বিলোপন পরীক্ষা সহ
উচ্চ ব্যবহারিক মূল্য: পদ্ধতি ভাল স্কেলেবিলিটা রয়েছে, অনুমানের সময় গতিশীলভাবে নতুন শ্রেণী যোগ করা সমর্থন করে

অপূর্ণতা

গণনা জটিলতা: বেসিক পদ্ধতির তুলনায় নির্দিষ্ট গণনা ওভারহেড যোগ করা
ডেটা নির্ভরতা: কর্মক্ষমতা এখনও প্রশিক্ষণ ডেটার গুণমান এবং বৈচিত্র্যের উপর নির্ভরশীল
সাধারণীকরণ ক্ষমতা: চরম ডোমেন-বাইরের ডেটায় কর্মক্ষমতা আরও যাচাই করা প্রয়োজন

প্রভাব

একাডেমিক অবদান: ভিডিও বোঝার ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা এবং বেঞ্চমার্ক প্রদান করা
ব্যবহারিক মূল্য: বাস্তব ভিডিও অ্যাপ্লিকেশনের জন্য কার্যকর প্রযুক্তিগত সমাধান প্রদান করা
পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং পরীক্ষামূলক সেটআপ প্রদান করা

প্রযোজ্য দৃশ্যকল্প

ভিডিও বিষয়বস্তু বিশ্লেষণ এবং মন্তব্য
ভিডিও অনুসন্ধান এবং সুপারিশ সিস্টেম
নিরাপত্তা পর্যবেক্ষণে বহু-লক্ষ্য স্বীকৃতি
শিক্ষা ভিডিওর স্বয়ংক্রিয় শ্রেণীবিভাগ

রেফারেন্স

পেপারটি 68টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা দৃষ্টি-ভাষা শেখা, খোলা শব্দভাণ্ডার শ্রেণীবিভাগ, বড় ভাষা মডেল প্রয়োগ এবং অন্যান্য একাধিক সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই গবেষণার জন্য একটি শক্তিশালী তাত্ত্বিক ভিত্তি প্রদান করে।