2025-11-23T22:46:17.287043

Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph

Zheng, Yang, Guan et al.

The "pre-train, prompt'' paradigm, designed to bridge the gap between pre-training tasks and downstream objectives, has been extended from the NLP domain to the graph domain and has achieved remarkable progress. Current mainstream graph prompt-tuning methods modify input or output features using learnable prompt vectors. However, existing approaches are confined to single-granularity (e.g., node-level or subgraph-level) during prompt generation, overlooking the inherently multi-scale structural information in graph data, which limits the diversity of prompt semantics. To address this issue, we pioneer the integration of multi-scale information into graph prompt and propose a Multi-Scale Graph Chain-of-Thought (MSGCOT) prompting framework. Specifically, we design a lightweight, low-rank coarsening network to efficiently capture multi-scale structural features as hierarchical basis vectors for prompt generation. Subsequently, mimicking human cognition from coarse-to-fine granularity, we dynamically integrate multi-scale information at each reasoning step, forming a progressive coarse-to-fine prompt chain. Extensive experiments on eight benchmark datasets demonstrate that MSGCOT outperforms the state-of-the-art single-granularity graph prompt-tuning method, particularly in few-shot scenarios, showcasing superior performance.

academic

एकल-दानेदारपन प्रॉम्प्ट से परे: ग्राफ के लिए बहु-स्तरीय चिंतन-श्रृंखला प्रॉम्प्ट शिक्षा

मूल जानकारी

पेपर ID: 2510.09394
शीर्षक: बहु-परत प्रॉम्प्ट की उच्च-क्रम अंतःक्रिया (एकल-दानेदारपन प्रॉम्प्ट से परे: ग्राफ के लिए बहु-स्तरीय चिंतन-श्रृंखला प्रॉम्प्ट शिक्षा)
लेखक: Ziyu Zheng, Yaming Yang, Ziyu Guan, Wei Zhao, Xinyan Huang, Weigang Lu
वर्गीकरण: cs.CL, cs.AI
प्रकाशन समय/सम्मेलन: सम्मेलन संक्षिप्त नाम 'XX, जून 03–05, 2018, वुडस्टॉक, NY (प्रकाशनाधीन)
पेपर लिंक: https://arxiv.org/abs/2510.09394

सारांश

"पूर्व-प्रशिक्षण-प्रॉम्प्ट" प्रतिमान का उद्देश्य पूर्व-प्रशिक्षण कार्यों और अनुप्रवाह लक्ष्यों के बीच अंतर को पाटना है, जो NLP क्षेत्र से ग्राफ क्षेत्र तक विस्तारित हुआ है और महत्वपूर्ण प्रगति प्राप्त की है। वर्तमान मुख्यधारा के ग्राफ प्रॉम्प्ट ट्यूनिंग विधियां इनपुट या आउटपुट विशेषताओं को संशोधित करने के लिए सीखने योग्य प्रॉम्प्ट वेक्टर का उपयोग करती हैं। हालांकि, मौजूदा विधियां प्रॉम्प्ट जनरेशन प्रक्रिया में एकल दानेदारपन (जैसे नोड-स्तर या सबग्राफ-स्तर) तक सीमित हैं, ग्राफ डेटा में निहित बहु-स्तरीय संरचना जानकारी को अनदेखा करते हैं, जो प्रॉम्प्ट शब्दार्थ की विविधता को सीमित करता है। इस समस्या को हल करने के लिए, यह पेपर पहली बार ग्राफ प्रॉम्प्ट में बहु-स्तरीय जानकारी को एकीकृत करता है और बहु-स्तरीय ग्राफ चिंतन-श्रृंखला (MSGCOT) प्रॉम्प्ट ढांचा प्रस्तावित करता है। विशेष रूप से, प्रॉम्प्ट जनरेशन के लिए बहु-स्तरीय संरचना विशेषताओं को कुशलतापूर्वक कैप्चर करने के लिए हल्के-वजन निम्न-रैंक मोटे नेटवर्क को डिज़ाइन किया गया है। इसके बाद, मनुष्य की मोटे से बारीक दानेदारपन की संज्ञानात्मक प्रक्रिया का अनुकरण करते हुए, प्रत्येक अनुमान चरण में बहु-स्तरीय जानकारी को गतिशील रूप से एकीकृत करते हुए, एक प्रगतिशील मोटे से बारीक प्रॉम्प्ट श्रृंखला बनाई जाती है। आठ बेंचमार्क डेटासेट पर व्यापक प्रयोग दर्शाते हैं कि MSGCOT अत्याधुनिक एकल-दानेदारपन ग्राफ प्रॉम्प्ट ट्यूनिंग विधियों को पार करता है, विशेष रूप से कम-नमूना परिदृश्यों में उत्कृष्ट प्रदर्शन दिखाता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा हल की जाने वाली मूल समस्या मौजूदा ग्राफ तंत्रिका नेटवर्क प्रॉम्प्ट शिक्षा विधियों में प्रॉम्प्ट जनरेशन प्रक्रिया में एकल-दानेदारपन सीमा की उपस्थिति है। विशेष रूप से निम्नलिखित के रूप में प्रकट होता है:

एकल-दानेदारपन प्रतिबंध: मौजूदा विधियां (जैसे GPF+, GCOT आदि) केवल जानकारी के एकल स्तर (नोड-स्तर, किनारा-स्तर या सबग्राफ-स्तर) पर ध्यान केंद्रित करती हैं, ग्राफ डेटा में नोड से पदानुक्रमित सबग्राफ तक सह-अस्तित्व वाली बहु-स्तरीय जानकारी को अनदेखा करते हैं
अपर्याप्त शब्दार्थ विविधता: एकल-दानेदारपन प्रॉम्प्ट जनरेशन प्रॉम्प्ट की अभिव्यक्ति क्षमता और शब्दार्थ समृद्धि को सीमित करता है
अपर्याप्त संरचना जानकारी उपयोग: ग्राफ डेटा में निहित पदानुक्रमित संरचना विशेषताओं का पूर्ण उपयोग नहीं किया जाता है

महत्व विश्लेषण

इस समस्या का महत्व निम्नलिखित में प्रकट होता है:

व्यावहारिक अनुप्रयोग आवश्यकता: वास्तविक दुनिया के ग्राफ डेटा (सामाजिक नेटवर्क, आणविक ग्राफ, अनुशंसा प्रणाली आदि) में मूलतः बहु-स्तरीय संरचना जानकारी होती है
प्रदर्शन सुधार स्थान: बहु-स्तरीय जानकारी का प्रभावी उपयोग कम-नमूना शिक्षा परिदृश्यों में मॉडल की सामान्यीकरण क्षमता में महत्वपूर्ण सुधार कर सकता है
सैद्धांतिक पूर्णता: ग्राफ प्रॉम्प्ट शिक्षा सैद्धांतिक ढांचे में बहु-दानेदारपन जानकारी मॉडलिंग के अंतर को भरता है

मौजूदा विधियों की सीमाएं

GCOT: हालांकि बहु-चरणीय प्रॉम्प्ट जनरेशन अपनाता है, लेकिन प्रत्येक चरण अभी भी नोड-स्तर दानेदारपन तक सीमित है
एकल-चरणीय प्रॉम्प्ट विधियां (GPF+, EdgePrompt आदि): पूर्ण प्रॉम्प्ट सीधे जनरेट करते हैं, प्रगतिशील अनुकूलन तंत्र की कमी है
पूर्व-प्रशिक्षण निर्भरता विधियां: विशिष्ट पूर्व-प्रशिक्षण रणनीति की आवश्यकता होती है, सामान्य प्रयोज्यता सीमित है

मूल योगदान

पहली बहु-स्तरीय ग्राफ चिंतन-श्रृंखला ढांचा: पहली बहु-दानेदारपन जानकारी को एकीकृत करने वाली ग्राफ चिंतन-श्रृंखला प्रॉम्प्ट शिक्षा ढांचा प्रस्तावित करता है, मौजूदा विधियों की एकल-दानेदारपन सीमा को तोड़ता है
नवीन संज्ञानात्मक अनुकरण तंत्र: प्रॉम्प्ट जनरेशन के लिए बहु-स्तरीय विशेषताओं को निकालने के लिए निम्न-रैंक मोटे नेटवर्क डिज़ाइन करता है, और प्रगतिशील प्रॉम्प्ट जनरेशन को महसूस करने के लिए बैकट्रैकिंग प्रॉम्प्ट तंत्र प्रस्तावित करता है, मनुष्य की मोटे से बारीक संज्ञानात्मक प्रक्रिया का अनुकरण करता है
हल्के-वजन कुशल डिजाइन: निम्न-रैंक अपघटन के माध्यम से पैरामीटर संख्या में महत्वपूर्ण कमी (GCOT की तुलना में 47.1%-85.7% कम), उत्कृष्ट प्रदर्शन बनाए रखते हुए
व्यापक प्रयोग सत्यापन: 8 बेंचमार्क डेटासेट पर नोड वर्गीकरण और ग्राफ वर्गीकरण कार्यों में सर्वोत्तम प्रदर्शन प्राप्त करता है, विशेष रूप से कम-नमूना परिदृश्यों में स्पष्ट लाभ

विधि विस्तार

कार्य परिभाषा

इनपुट: ग्राफ $G = (V, E)$ , जहां $V$ नोड सेट है, $E$ किनारा सेट है, नोड विशेषता मैट्रिक्स $X \in \mathbb{R}^{N \times F}$ , आसन्न मैट्रिक्स $A \in \mathbb{R}^{N \times N}$

आउटपुट: अनुप्रवाह कार्यों (नोड वर्गीकरण/ग्राफ वर्गीकरण) के लिए अनुकूलित प्रतिनिधित्व

बाधा: पूर्व-प्रशिक्षण मॉडल पैरामीटर फ्रीज किए गए हैं, केवल हल्के-वजन प्रॉम्प्ट पैरामीटर अपडेट किए जाते हैं

मॉडल आर्किटेक्चर

1. समग्र ढांचा

MSGCOT ढांचे में तीन मूल मॉड्यूल शामिल हैं:

नोड-स्तर प्रॉम्प्ट जनरेशन: कार्य-विशिष्ट नोड प्रॉम्प्ट वेक्टर जनरेट करता है
बहु-स्तरीय चिंतन निर्माण: मोटे नेटवर्क के माध्यम से पदानुक्रमित प्रतिनिधित्व बनाता है
मोटे से बारीक बैकट्रैकिंग प्रॉम्प्ट: प्रगतिशील बहु-स्तरीय प्रॉम्प्ट एकीकरण

2. नोड-स्तर प्रॉम्प्ट जनरेशन

P_x = \text{CONDNET}(H)

\hat{H} = \text{GNN}(X \odot P_x, A)

जहां $H$ पूर्व-प्रशिक्षण एम्बेडिंग है, $P_x$ नोड-स्तर प्रॉम्प्ट है, $\hat{H}$ प्रॉम्प्ट किया गया एम्बेडिंग है।

3. बहु-स्तरीय चिंतन निर्माण

हल्के-वजन मोटे नेटवर्क डिजाइन के लिए निम्न-रैंक अपघटन अपनाता है:

S^l = \text{Softmax}(W_{up}^l(\sigma(W_{down}^{lT} T^{l-1})))

T^l = S^{lT} T^{l-1}

जहां $W_{down} \in \mathbb{R}^{d \times r}$ , $W_{up} \in \mathbb{R}^{r \times C_l}$ ( $r \ll d$ ), $T^l$ $l$ -वें स्तर का मोटा प्रतिनिधित्व है।

4. मोटे से बारीक बैकट्रैकिंग प्रॉम्प्ट तंत्र

p_i^{l+1} = \sum_{j=1}^{C_l} \alpha_{ij}^{l+1} t_j^l

\alpha_{ij}^{l+1} = \frac{\exp(t_j^l \hat{h}_i^l)}{\sum_k \exp(t_k^l \hat{h}_i^l)}

\hat{h}_i^{l+1} = \hat{h}_i^l + p_i^{l+1}

तकनीकी नवाचार बिंदु

1. निम्न-रैंक मोटे नेटवर्क डिजाइन

पैरामीटर दक्षता: निम्न-रैंक अपघटन के माध्यम से पैरामीटर संख्या $O(d \times C_l)$ से $O(d \times r + r \times C_l)$ तक कम करता है
बहु-स्तरीय कैप्चर: प्रगतिशील मोटे करण विभिन्न दानेदारपन के संरचना प्रतिनिधित्व जनरेट करता है
कार्य स्व-अनुकूलन: सीखने योग्य आवंटन मैट्रिक्स विभिन्न अनुप्रवाह कार्यों के अनुकूल है

2. संज्ञानात्मक-प्रेरित प्रॉम्प्ट श्रृंखला

मानव संज्ञान का अनुकरण: वैश्विक टोपोलॉजी से स्थानीय विवरण तक प्रगतिशील समझ
संरचित चिंतन: पदानुक्रमित मोटे प्रतिनिधित्व को पाठ टेम्पलेट के "संरचित चिंतन" विकल्प के रूप में उपयोग करता है
गतिशील एकीकरण: प्रत्येक चरण विभिन्न दानेदारपन की जानकारी को गतिशील रूप से चुनता है और एकीकृत करता है

3. बाधा तंत्र

नोड जानकारी हानि को रोकने के लिए कोसाइन पुनर्निर्माण हानि का परिचय:

L_r = \frac{1}{N}(1 - \frac{\hat{h}_i \cdot h_i}{||\hat{h}_i|| \cdot ||h_i||})^\gamma

प्रयोग सेटअप

डेटासेट

नोड वर्गीकरण:

Cora (2,708 नोड, 7 वर्ग)
Citeseer (3,327 नोड, 6 वर्ग)
Pubmed (19,717 नोड, 3 वर्ग)
Photo (7,650 नोड, 8 वर्ग)

ग्राफ वर्गीकरण:

MUTAG (188 ग्राफ, आणविक यौगिक)
COX2 (467 ग्राफ, साइक्लोऑक्सीजनेज अवरोधक)
BZR (405 ग्राफ, बेंजोडायजेपाइन रिसेप्टर लिगेंड)
PROTEINS (1,113 ग्राफ, प्रोटीन संरचना)

मूल्यांकन मेट्रिक्स

सटीकता (Accuracy): वर्गीकरण कार्यों के लिए मानक मूल्यांकन मेट्रिक
सांख्यिकीय महत्व: 100 यादृच्छिक नमूनों का माध्य और विचरण

तुलना विधियां

पर्यवेक्षित शिक्षा: GCN, GAT
पूर्व-प्रशिक्षण+सूक्ष्म-ट्यूनिंग: LP, GraphCL, DGI/InfoGraph
पूर्व-प्रशिक्षण+प्रॉम्प्ट:
- एकल-चरणीय: All-in-One, GPF+, SUPT, GraphPrompt, EdgePrompt+, DAGPrompT
- बहु-चरणीय: GCOT

कार्यान्वयन विवरण

बैकबोन नेटवर्क: GCN (छिपी हुई परत 256 आयाम)
मोटे स्तर: 2 स्तर
मोटे अनुपात: {0.01, 0.1, 0.2, 0.3}
निम्न-रैंक आयाम: नोड कार्य r=8, ग्राफ कार्य r=1
बाधा वजन: नोड वर्गीकरण α=1, ग्राफ वर्गीकरण α=0

प्रयोग परिणाम

मुख्य परिणाम

एकल-नमूना वर्गीकरण प्रदर्शन

8 डेटासेट पर, MSGCOT सभी में सर्वोत्तम प्रदर्शन प्राप्त करता है:

नोड वर्गीकरण:

Cora: 62.13% (vs GCOT 59.54%, +4.35%)
Citeseer: 49.05% (vs GCOT 48.13%, +1.91%)
Pubmed: 64.67% (vs GCOT 63.38%, +2.04%)
Photo: 68.01% (vs GCOT 66.98%, +1.54%)

ग्राफ वर्गीकरण:

MUTAG: 63.54% (vs GCOT 60.34%, +5.30%)
COX2: 73.62% (vs DAGPrompt 55.00%, +33.85%)
BZR: 69.85% (vs DAGPrompt 55.49%, +25.87%)
PROTEINS: 57.83% (vs DAGPrompt 56.22%, +2.86%)

कम-नमूना शिक्षा प्रदर्शन

1-3 नमूना सेटिंग में, MSGCOT औसतन आधारभूत विधियों से 5-8% आगे है, उत्कृष्ट कम-नमूना सामान्यीकरण क्षमता प्रदर्शित करता है।

विलोपन प्रयोग

प्रत्येक घटक के योगदान को सत्यापित करने के लिए व्यवस्थित विलोपन प्रयोग:

बहु-स्तरीय प्रॉम्प्ट (MSP): हटाने के बाद नोड कार्य औसतन 5.52% कम, ग्राफ कार्य 17.7% कम
पुनर्निर्माण हानि (RE): नोड वर्गीकरण पर महत्वपूर्ण प्रभाव, ग्राफ वर्गीकरण वैश्विक जानकारी पर ध्यान केंद्रित करता है
बैकट्रैकिंग तंत्र (TB): ग्राफ वर्गीकरण के लिए विशेष रूप से महत्वपूर्ण, एकतरफा प्रॉम्प्ट 12-15% प्रदर्शन गिरावट का कारण बनता है
वृद्धिशील अपडेट (IU): प्रगतिशील अपडेट 2-5% प्रदर्शन सुधार लाता है

पैरामीटर दक्षता विश्लेषण

GCOT की तुलना में पैरामीटर संख्या में महत्वपूर्ण कमी:

नोड वर्गीकरण: 47.1%-68.3% पैरामीटर कमी
ग्राफ वर्गीकरण: 29.1%-85.7% पैरामीटर कमी
समय दक्षता: ग्राफ वर्गीकरण कार्य प्रति दौर प्रशिक्षण समय औसतन 34.8% कम

हाइपरपैरामीटर संवेदनशीलता

मोटे अनुपात: नोड कार्य के लिए इष्टतम सीमा 0.1-0.3, ग्राफ कार्य 0.05-0.3 सीमा में स्थिर
मोटे स्तर: नोड कार्य 2 स्तर पर इष्टतम, ग्राफ कार्य गहरे स्तरों का समर्थन कर सकता है
छिपी आयाम: r=8 पर नोड कार्य इष्टतम, ग्राफ कार्य r=1 पर उत्कृष्ट प्रदर्शन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

बहु-स्तरीय जानकारी का महत्व: प्रयोग साबित करते हैं कि बहु-स्तरीय संरचना जानकारी ग्राफ प्रॉम्प्ट शिक्षा के लिए महत्वपूर्ण है
संज्ञानात्मक-प्रेरित डिजाइन की प्रभावशीलता: मानव मोटे से बारीक संज्ञानात्मक प्रक्रिया का अनुकरण प्रदर्शन में महत्वपूर्ण सुधार करता है
पैरामीटर दक्षता और प्रदर्शन का संतुलन: निम्न-रैंक डिजाइन पैरामीटर में बड़ी कमी करते हुए उत्कृष्ट प्रदर्शन बनाए रखता है
कम-नमूना शिक्षा लाभ: बहु-स्तरीय प्रॉम्प्ट डेटा-दुर्लभ परिदृश्यों में विशेष रूप से उत्कृष्ट प्रदर्शन करता है

सीमाएं

कम्प्यूटेशनल जटिलता: बहु-चरणीय अनुमान कुछ कम्प्यूटेशनल ओवरहेड जोड़ता है
हाइपरपैरामीटर संवेदनशीलता: मोटे अनुपात और स्तर विभिन्न कार्य प्रकारों के लिए ट्यून करने की आवश्यकता है
अपर्याप्त सैद्धांतिक विश्लेषण: बहु-स्तरीय प्रॉम्प्ट प्रभावशीलता के लिए सैद्धांतिक गारंटी की कमी है

भविष्य की दिशाएं

स्व-अनुकूल मोटे करण रणनीति: कार्य-अनुकूल मोटे करण तंत्र का अनुसंधान
सैद्धांतिक विश्लेषण: बहु-स्तरीय प्रॉम्प्ट शिक्षा के लिए सैद्धांतिक ढांचा स्थापित करना
विस्तारित अनुप्रयोग: अधिक ग्राफ शिक्षा कार्यों में अनुप्रयोग क्षमता का अन्वेषण

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: पहली बार ग्राफ प्रॉम्प्ट शिक्षा में बहु-स्तरीय जानकारी को व्यवस्थित रूप से एकीकृत करता है
तर्कसंगत डिजाइन: निम्न-रैंक मोटे नेटवर्क और बैकट्रैकिंग तंत्र डिजाइन चतुर है, दक्षता और प्रभावशीलता दोनों को संतुलित करता है
व्यापक प्रयोग: 8 डेटासेट, कई तुलना विधियां, विस्तृत विलोपन प्रयोग
उच्च व्यावहारिक मूल्य: कम-नमूना परिदृश्यों में स्पष्ट लाभ, वास्तविक अनुप्रयोग आवश्यकताओं के अनुरूप

कमियां

कमजोर सैद्धांतिक आधार: विधि प्रभावशीलता के सैद्धांतिक विश्लेषण और गारंटी की कमी
अपर्याप्त कम्प्यूटेशनल ओवरहेड विश्लेषण: जटिलता विश्लेषण प्रदान किया गया है, लेकिन वास्तविक रनटाइम तुलना सीमित है
अपर्याप्त प्रयोज्यता चर्चा: विभिन्न प्रकार के ग्राफ डेटा के लिए विधि की प्रयोज्यता विश्लेषण अपर्याप्त है

प्रभाव

शैक्षणिक योगदान: ग्राफ प्रॉम्प्ट शिक्षा क्षेत्र के लिए नई अनुसंधान दिशा प्रदान करता है
व्यावहारिक मूल्य: संसाधन-सीमित कम-नमूना शिक्षा परिदृश्यों में महत्वपूर्ण अनुप्रयोग मूल्य
पुनरुत्पादनशीलता: विस्तृत कार्यान्वयन विवरण और हाइपरपैरामीटर सेटिंग प्रदान करता है

लागू परिदृश्य

कम-नमूना ग्राफ शिक्षा: लेबल डेटा दुर्लभ ग्राफ विश्लेषण कार्य
बहु-स्तरीय ग्राफ विश्लेषण: बहु-स्तरीय संरचना जानकारी कैप्चर करने की आवश्यकता वाले अनुप्रयोग
संसाधन-सीमित वातावरण: पैरामीटर दक्षता की आवश्यकता वाली तैनाती परिदृश्य

संदर्भ

यह पेपर 38 संबंधित संदर्भों का हवाला देता है, जो ग्राफ तंत्रिका नेटवर्क, ग्राफ पूर्व-प्रशिक्षण, प्रॉम्प्ट शिक्षा, ग्राफ मोटे करण और अन्य संबंधित क्षेत्रों के महत्वपूर्ण कार्यों को कवर करते हैं, अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है।

समग्र मूल्यांकन: यह ग्राफ तंत्रिका नेटवर्क प्रॉम्प्ट शिक्षा का एक उच्च-गुणवत्ता वाला पेपर है, जो मौजूदा विधियों की एकल-दानेदारपन सीमा समस्या को नवीनतापूर्वक हल करता है। विधि डिजाइन तर्कसंगत है, प्रयोग सत्यापन व्यापक है, सैद्धांतिक योगदान और व्यावहारिक मूल्य दोनों में महत्वपूर्ण है। यद्यपि सैद्धांतिक विश्लेषण में अभी भी सुधार की गुंजाइश है, लेकिन समग्र रूप से ग्राफ प्रॉम्प्ट शिक्षा क्षेत्र में महत्वपूर्ण योगदान देता है।