2025-11-19T08:40:14.124836

Boosting Multi-modal Keyphrase Prediction with Dynamic Chain-of-Thought in Vision-Language Models

Ma, Li, Tang et al.

Multi-modal keyphrase prediction (MMKP) aims to advance beyond text-only methods by incorporating multiple modalities of input information to produce a set of conclusive phrases. Traditional multi-modal approaches have been proven to have significant limitations in handling the challenging absence and unseen scenarios. Additionally, we identify shortcomings in existing benchmarks that overestimate model capability due to significant overlap in training tests. In this work, we propose leveraging vision-language models (VLMs) for the MMKP task. Firstly, we use two widely-used strategies, e.g., zero-shot and supervised fine-tuning (SFT) to assess the lower bound performance of VLMs. Next, to improve the complex reasoning capabilities of VLMs, we adopt Fine-tune-CoT, which leverages high-quality CoT reasoning data generated by a teacher model to finetune smaller models. Finally, to address the "overthinking" phenomenon, we propose a dynamic CoT strategy which adaptively injects CoT data during training, allowing the model to flexibly leverage its reasoning capabilities during the inference stage. We evaluate the proposed strategies on various datasets and the experimental results demonstrate the effectiveness of the proposed approaches. The code is available at https://github.com/bytedance/DynamicCoT.

academic

दृष्टि-भाषा मॉडल में गतिशील श्रृंखला-विचार के साथ बहु-मोडल कीफ्रेज़ भविष्यवाणी को बढ़ावा देना

मूल जानकारी

पेपर ID: 2510.09358
शीर्षक: दृष्टि-भाषा मॉडल में गतिशील श्रृंखला-विचार के साथ बहु-मोडल कीफ्रेज़ भविष्यवाणी को बढ़ावा देना
लेखक: किहांग मा, शेंग्यु ली, जी तांग, डिंगकांग यांग, शाओडोंग चेन, यिंगयी झांग, चाओ फेंग, जिआओ रान
संस्थान: बाइटडांस डाउयिन कंटेंट ग्रुप
वर्गीकरण: cs.CV
प्रकाशन तिथि: 25 अक्टूबर 10 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.09358
कोड: https://github.com/bytedance/DynamicCoT

सारांश

बहु-मोडल कीफ्रेज़ भविष्यवाणी (MMKP) का उद्देश्य बहु-मोडल इनपुट जानकारी को एकीकृत करके शुद्ध पाठ विधियों से परे जाना है और निष्कर्षात्मक वाक्यांशों का एक समूह उत्पन्न करना है। पारंपरिक बहु-मोडल विधियों में अनुपस्थित परिदृश्यों और अदृश्य परिदृश्यों को संभालने में महत्वपूर्ण सीमाएं हैं। इसके अलावा, मौजूदा बेंचमार्क प्रशिक्षण परीक्षण सेट ओवरलैप के कारण मॉडल क्षमता को अधिक आंकते हैं। यह पेपर MMKP कार्य को हल करने के लिए दृष्टि-भाषा मॉडल (VLMs) का उपयोग करने का प्रस्ताव देता है। पहले शून्य-शॉट और पर्यवेक्षित सूक्ष्म-ट्यूनिंग (SFT) दोनों रणनीतियों का उपयोग करके VLMs के निचले बाउंड प्रदर्शन का मूल्यांकन किया जाता है। फिर Fine-tune-CoT विधि को अपनाया जाता है, जो शिक्षक मॉडल द्वारा उत्पन्न उच्च-गुणवत्ता वाले CoT तर्क डेटा का उपयोग करके छोटे मॉडल को सूक्ष्म-ट्यून करता है। अंत में, "अत्यधिक सोच" घटना को हल करने के लिए, गतिशील CoT रणनीति का प्रस्ताव दिया जाता है, जो प्रशिक्षण के दौरान CoT डेटा को अनुकूलनीय रूप से इंजेक्ट करता है, जिससे मॉडल अनुमान चरण में तर्क क्षमता को लचीले ढंग से लागू कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा और महत्व

बहु-मोडल कीफ्रेज़ भविष्यवाणी (MMKP) कार्य का उद्देश्य पाठ और छवि युक्त सोशल मीडिया सामग्री के लिए संक्षिप्त, सूचनात्मक कीफ्रेज़ (जैसे हैशटैग) उत्पन्न करना है। यह कार्य सोशल मीडिया सामग्री समझ, सिफारिश प्रणाली और सामग्री वर्गीकरण जैसे अनुप्रयोगों में महत्वपूर्ण मूल्य रखता है।

मौजूदा विधियों की सीमाएं

पारंपरिक बहु-मोडल विधियों की सीमाएं: M3H-ATT और MM-MKP जैसी मौजूदा विधियां मुख्य रूप से क्रॉस-मोडल फ्यूजन आर्किटेक्चर डिजाइन पर निर्भर करती हैं, लेकिन जटिल परिदृश्यों में खराब प्रदर्शन करती हैं, विशेष रूप से:
- अनुपस्थित परिदृश्य (Absence Scenario): भविष्यवाणी किए गए कीफ्रेज़ इनपुट पाठ में मौजूद नहीं हैं, जिन्हें मजबूत क्रॉस-मोडल इंटरैक्शन क्षमता की आवश्यकता है
- अदृश्य परिदृश्य (Unseen Scenario): भविष्यवाणी किए गए कीफ्रेज़ प्रशिक्षण सेट में दिखाई नहीं दिए हैं, जिन्हें मॉडल की मजबूत सामान्यीकरण क्षमता की आवश्यकता है
डेटासेट समस्या: सार्वजनिक MMKP डेटासेट में गंभीर प्रशिक्षण-परीक्षण ओवरलैप समस्या है, 97.32% परीक्षण सेट कीफ्रेज़ प्रशिक्षण सेट में दिखाई देते हैं, जबकि वास्तविक उत्पादन वातावरण में यह अनुपात केवल 45.28% है
मॉडल क्षमता सीमाएं: पारंपरिक विधियां सीमित मॉडल क्षमता और विश्व ज्ञान से सीमित हैं, मेम्स, समसामयिक घटनाओं आदि से संबंधित सामग्री को संभालना मुश्किल है जिन्हें बाहरी ज्ञान की आवश्यकता है

मुख्य योगदान

पहला व्यवस्थित अध्ययन: लेखकों के ज्ञान के अनुसार, यह बहु-मोडल कीफ्रेज़ भविष्यवाणी कार्य में VLMs की क्षमता का व्यापक अध्ययन करने वाला पहला काम है
गतिशील CoT रणनीति: गतिशील श्रृंखला-विचार रणनीति का प्रस्ताव दिया जाता है, जो VLMs को कठिन अदृश्य नमूनों के लिए CoT तर्क को अनुकूलनीय रूप से चुनने में सक्षम बनाती है, जो उच्च-दक्षता डिकोडिंग की आवश्यकता वाले उत्पादन वातावरण के लिए अधिक उपयुक्त है
डेटासेट पुनर्निर्माण: वास्तविक वितरण के अनुरूप MMKP-V2 और MMKP-360k डेटासेट का निर्माण किया गया है
व्यापक प्रायोगिक सत्यापन: कई डेटासेट पर कठोर विश्लेषण किया गया है, विधि की प्रभावशीलता और मजबूती को सत्यापित किया गया है

विधि विवरण

कार्य परिभाषा

बहु-मोडल इनपुट (पाठ T और छवि I) दिए गए, MMKP कार्य कीफ्रेज़ का एक समूह K = {k₁, k₂, ..., kₙ} उत्पन्न करने की आवश्यकता है, जो इनपुट सामग्री की मुख्य जानकारी को सारांशित कर सकते हैं।

पारंपरिक विधि विश्लेषण

पारंपरिक बहु-मोडल मॉडल बहु-कार्य हानि फ़ंक्शन अपनाते हैं:

L(θ) = -∑[log P_cls(y^n) + γ · ∑log P_gen(y^n_t)]

जहां पहला पद वर्गीकरण हानि है, दूसरा पद कीफ्रेज़ जनरेशन हानि है। यह विधि खुले सेट जनरेशन क्षमता को सीमित करती है।

VLMs आधार विधि

1. पर्यवेक्षित सूक्ष्म-ट्यूनिंग (SFT)

बहु-मोडल सामग्री को इनपुट प्रॉम्प्ट के रूप में उपयोग किया जाता है, वास्तविक कीफ्रेज़ को प्रतिक्रिया के रूप में उपयोग किया जाता है, अगले टोकन भविष्यवाणी हानि को अपनाया जाता है:

L_sft = -1/T ∑log P(y^s_t | y^s_<t, v; θ)

2. Fine-tune-CoT

बहु-मोडल CoT डेटा का निर्माण किया जाता है, GPT-4o का उपयोग करके तर्क प्रक्रिया उत्पन्न की जाती है, प्रारूप है:

<think>thinking process</think><answer>keyphrases</answer>

हानि फ़ंक्शन है:

L_cot = -1/T ∑log P(y^c_t | y^c_<t, v; θ)

मुख्य नवाचार: गतिशील CoT रणनीति

प्रेरणा

Fine-tune-CoT में दो समस्याएं हैं:

अत्यधिक सोच घटना: सरल नमूनों के लिए बहुत सामान्य कीफ्रेज़ उत्पन्न करना
सामग्री अतिरेक: समान कीफ्रेज़ वाली पोस्ट अत्यधिक समान तर्क पथ प्राप्त करती हैं

विधि डिजाइन

गतिशील CoT SFT हानि के आधार पर नमूनों को सरल और कठिन दो श्रेणियों में विभाजित करता है:

L_d = -1/T ∑log P(y^d_t | y^d_<t, v; θ)

जहां:

y^d = {
  y^c  if L_sft < γ
  y^s  if L_sft ≥ γ
}

जब नमूना हानि थ्रेशोल्ड γ से कम हो, तो CoT पर्यवेक्षण पर स्विच करें; अन्यथा मानक SFT पर्यवेक्षण का उपयोग करें।

प्रायोगिक सेटअप

डेटासेट

MMKP डेटासेट: 53,701 अंग्रेजी नमूने, प्रशिक्षण-परीक्षण ओवरलैप दर 97.32%
MMKP-V2 डेटासेट: पुनर्निर्मित MMKP डेटासेट, ओवरलैप दर 44.92% तक कम
MMKP-360k डेटासेट: 330,614 प्रशिक्षण नमूने, 36,736 परीक्षण नमूने, ओवरलैप दर 45.28%

मूल्यांकन मेट्रिक्स

MMKP और MMKP-V2: F1@1
MMKP-360k: F1@M (M मॉडल द्वारा भविष्यवाणी किए गए कीफ्रेज़ की संख्या है)

प्रायोगिक कॉन्फ़िगरेशन

ऑप्टिमाइज़र: AdamW
सीखने की दर: 5×10⁻⁵ (MMKP), 3×10⁻⁵ (MMKP-360k)
प्रशिक्षण राउंड: 2B/3B पैरामीटर मॉडल के लिए 5 राउंड, बड़े मॉडल के लिए 3 राउंड
गतिशील CoT थ्रेशोल्ड: γ = 0.4
CoT डेटा जनरेशन: GPT-4o-2024-05-13 (MMKP), Doubao-1.5-pro (MMKP-360k)

प्रायोगिक परिणाम

मुख्य परिणाम तुलना

मॉडल	MMKP All	MMKP-V2 All	MMKP-V2 Absent	MMKP-V2 Unseen	MMKP-360k All	औसत
MM-MKP (SOTA)	48.19	-	-	-	-	-
Qwen2.5-VL-7B Zero-shot	6.61	7.75	2.75	8.38	14.34	9.57
Qwen2.5-VL-7B SFT	60.83	30.49	20.90	7.90	43.70	45.01
Qwen2.5-VL-7B Dynamic CoT	63.58	33.56	22.32	13.36	50.66	49.27

मुख्य निष्कर्ष

VLMs पारंपरिक विधियों से काफी बेहतर हैं: SFT के VLMs SOTA बहु-मोडल विधि से 20% से अधिक सुधार करते हैं
गतिशील CoT प्रभावी रूप से सामान्यीकरण में सुधार करता है: अदृश्य परिदृश्य पर 20-30% सुधार, समग्र प्रदर्शन बनाए रखते हुए
तर्क लंबाई में भारी कमी: Fine-tune-CoT की तुलना में, गतिशील CoT 38.48% कम्प्यूटेशनल ओवरहेड को कम करता है

विलोपन प्रयोग परिणाम

विधि	MMKP-V2 All	MMKP-V2 Unseen	अदृश्य परिदृश्य सुधार
SFT आधार	30.49	7.90	-
Fine-tune-CoT	33.53	13.42	+69.87%
Multi-task	31.87	9.48	+20.00%
Dynamic CoT	33.56	12.24	+54.94%

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

VLMs बहु-मोडल कीफ्रेज़ भविष्यवाणी कार्य में मजबूत क्षमता प्रदर्शित करते हैं, पारंपरिक विधियों से काफी बेहतर हैं
गतिशील CoT रणनीति प्रभावी रूप से सामान्य सीखने और सामान्यीकरण क्षमता को संतुलित करती है, विशेष रूप से अदृश्य परिदृश्यों में उत्कृष्ट प्रदर्शन करती है
वास्तविक डेटा वितरण मौजूदा बेंचमार्क से काफी भिन्न है, अधिक व्यावहारिक मूल्यांकन विधियों की आवश्यकता है

सीमाएं

थ्रेशोल्ड निर्धारण अनुभवजन्य है: गतिशील CoT में थ्रेशोल्ड γ अभी भी अनुभवजन्य सेटिंग की आवश्यकता है, स्व-अनुकूलन रणनीति प्रभावी नहीं है
कम्प्यूटेशनल ओवरहेड बड़ा है: VLMs पैरामीटर बड़े हैं (2B+), तर्क ओवरहेड पारंपरिक विधियों से अधिक है
CoT डेटा लागत अधिक है: उच्च-गुणवत्ता वाले CoT डेटा उत्पन्न करने के लिए बड़ी मात्रा में कम्प्यूटेशनल संसाधनों की आवश्यकता है

भविष्य की दिशाएं

अधिक बुद्धिमान गतिशील थ्रेशोल्ड चयन रणनीति की खोज करें
तर्क ओवरहेड को कम करने के लिए मॉडल संपीड़न तकनीकों का अध्ययन करें
अधिक कुशल CoT डेटा जनरेशन विधि विकसित करें

गहन मूल्यांकन

लाभ

समस्या पहचान सटीक है: मौजूदा बेंचमार्क परीक्षण की समस्याओं और वास्तविक परिदृश्य की चुनौतियों को सटीक रूप से पहचाना गया है
विधि डिजाइन चतुर है: गतिशील CoT रणनीति तर्क क्षमता को बनाए रखती है और अत्यधिक सोच से बचाती है
प्रयोग व्यापक और पर्याप्त है: कई डेटासेट, कई मॉडल की तुलना ने विधि की मजबूती को सत्यापित किया है
व्यावहारिक मूल्य अधिक है: विधि पहले से ही ByteDance उत्पादन वातावरण में लागू की गई है

कमियां

सैद्धांतिक विश्लेषण अपर्याप्त है: गतिशील CoT रणनीति के सैद्धांतिक व्याख्या और अभिसरण विश्लेषण की कमी है
मानव मूल्यांकन सीमित है: मानव मूल्यांकन नमूने कम हैं (प्रति डेटासेट 20 नमूने), पर्याप्त नहीं हो सकते हैं
क्रॉस-डोमेन सामान्यीकरण सत्यापित नहीं है: अन्य क्षेत्रों (जैसे शैक्षणिक पेपर, समाचार) में विधि की प्रभावशीलता सत्यापित नहीं की गई है

प्रभाव

शैक्षणिक योगदान: MMKP कार्य में VLMs के अनुप्रयोग का पहला व्यवस्थित अध्ययन, बाद के अनुसंधान के लिए आधार प्रदान करता है
व्यावहारिक मूल्य: उत्पादन वातावरण में सीधे लागू किए जा सकने वाले समाधान प्रदान करता है
विधि प्रेरणा: गतिशील CoT रणनीति को अन्य कार्यों में सामान्यीकृत किया जा सकता है जिन्हें दक्षता और प्रदर्शन को संतुलित करने की आवश्यकता है

लागू परिदृश्य

सोशल मीडिया प्लेटफॉर्म: स्वचालित रूप से हैशटैग और लेबल उत्पन्न करें
सामग्री सिफारिश प्रणाली: सटीक सिफारिश के लिए बहु-मोडल सामग्री को समझें
विज्ञापन प्लेसमेंट: लक्षित प्लेसमेंट के लिए स्वचालित रूप से सामग्री कीफ्रेज़ निकालें
सामग्री समीक्षा: बहु-मोडल सामग्री की पहचान और वर्गीकरण में सहायता करें

संदर्भ

यह पेपर बहु-मोडल सीखने, दृष्टि-भाषा मॉडल, तर्क क्षमता आदि क्षेत्रों के महत्वपूर्ण कार्यों का हवाला देता है, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है। विशेष रूप से ध्यान देने योग्य CLIP, GPT-4V, InternVL जैसे प्रतिनिधि मॉडल, साथ ही CoT तर्क से संबंधित नवीनतम प्रगति शामिल हैं।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुप्रयोग अनुसंधान पेपर है जो वास्तविक समस्याओं को सटीक रूप से पहचानता है, प्रभावी समाधान प्रस्तावित करता है, और कई डेटासेट पर विधि की प्रभावशीलता को सत्यापित करता है। गतिशील CoT रणनीति का डिजाइन चतुर है, जो मॉडल की तर्क क्षमता को बनाए रखता है और तर्क दक्षता में सुधार करता है, जिसका व्यावहारिक मूल्य बहुत अधिक है। पेपर का मुख्य योगदान VLMs को बहु-मोडल कीफ्रेज़ भविष्यवाणी कार्य में सफलतापूर्वक लागू करना और उत्पादन वातावरण के लिए अनुकूलित रणनीति प्रस्तावित करना है।

Boosting Multi-modal Keyphrase Prediction with Dynamic Chain-of-Thought in Vision-Language Models

दृष्टि-भाषा मॉडल में गतिशील श्रृंखला-विचार के साथ बहु-मोडल कीफ्रेज़ भविष्यवाणी को बढ़ावा देना

मूल जानकारी

सारांश

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा और महत्व

मौजूदा विधियों की सीमाएं

मुख्य योगदान

विधि विवरण

कार्य परिभाषा

पारंपरिक विधि विश्लेषण

VLMs आधार विधि

1. पर्यवेक्षित सूक्ष्म-ट्यूनिंग (SFT)

2. Fine-tune-CoT

मुख्य नवाचार: गतिशील CoT रणनीति

प्रेरणा

विधि डिजाइन

प्रायोगिक सेटअप

डेटासेट

मूल्यांकन मेट्रिक्स

प्रायोगिक कॉन्फ़िगरेशन

प्रायोगिक परिणाम

मुख्य परिणाम तुलना

मुख्य निष्कर्ष

विलोपन प्रयोग परिणाम

संबंधित कार्य

सोशल मीडिया कीफ्रेज़ भविष्यवाणी

दृष्टि-भाषा मॉडल

तर्क क्षमता

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सीमाएं

भविष्य की दिशाएं

गहन मूल्यांकन

लाभ

कमियां

प्रभाव

लागू परिदृश्य

संदर्भ