2025-11-12T11:07:10.260891

Event-Aware Prompt Learning for Dynamic Graphs

Yu, Liang, Zhang et al.

Real-world graph typically evolve via a series of events, modeling dynamic interactions between objects across various domains. For dynamic graph learning, dynamic graph neural networks (DGNNs) have emerged as popular solutions. Recently, prompt learning methods have been explored on dynamic graphs. However, existing methods generally focus on capturing the relationship between nodes and time, while overlooking the impact of historical events. In this paper, we propose EVP, an event-aware dynamic graph prompt learning framework that can serve as a plug-in to existing methods, enhancing their ability to leverage historical events knowledge. First, we extract a series of historical events for each node and introduce an event adaptation mechanism to align the fine-grained characteristics of these events with downstream tasks. Second, we propose an event aggregation mechanism to effectively integrate historical knowledge into node representations. Finally, we conduct extensive experiments on four public datasets to evaluate and analyze EVP.

academic

गतिशील ग्राफ़ के लिए घटना-जागरूक प्रॉम्प्ट लर्निंग

बुनियादी जानकारी

पेपर ID: 2510.11339
शीर्षक: Event-Aware Prompt Learning for Dynamic Graphs
लेखक: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
संस्थान: ¹सिंगापुर प्रबंधन विश्वविद्यालय, ²चीन विज्ञान और प्रौद्योगिकी विश्वविद्यालय
वर्गीकरण: cs.LG cs.AI
प्रकाशन तिथि: 13 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.11339

सारांश

वास्तविक दुनिया के ग्राफ़ आमतौर पर घटनाओं की एक श्रृंखला के माध्यम से विकसित होते हैं, जो विभिन्न डोमेन में वस्तुओं के बीच गतिशील इंटरैक्शन को मॉडल करते हैं। गतिशील ग्राफ़ लर्निंग में, गतिशील ग्राफ़ न्यूरल नेटवर्क (DGNNs) मुख्य समाधान बन गए हैं। हाल ही में, प्रॉम्प्ट लर्निंग विधियों को गतिशील ग्राफ़ पर खोजा गया है। हालांकि, मौजूदा विधियां मुख्य रूप से नोड्स और समय के संबंध को कैप्चर करने पर ध्यान केंद्रित करती हैं, जबकि ऐतिहासिक घटनाओं के प्रभाव को नजरअंदाज करती हैं। यह पेपर EVP प्रस्तावित करता है, एक घटना-जागरूक गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग फ्रेमवर्क, जो मौजूदा विधियों को ऐतिहासिक घटनाओं के ज्ञान का उपयोग करने की क्षमता को बढ़ाने के लिए एक प्लग-इन के रूप में कार्य कर सकता है। सबसे पहले, प्रत्येक नोड के लिए ऐतिहासिक घटनाओं की एक श्रृंखला निकाली जाती है, और इन घटनाओं की सूक्ष्म-दानेदार विशेषताओं को डाउनस्ट्रीम कार्यों के साथ संरेखित करने के लिए एक घटना अनुकूलन तंत्र पेश किया जाता है। दूसरा, नोड प्रतिनिधित्व में ऐतिहासिक ज्ञान को प्रभावी ढंग से एकीकृत करने के लिए एक घटना एकत्रीकरण तंत्र प्रस्तावित किया जाता है। अंत में, EVP का मूल्यांकन और विश्लेषण करने के लिए चार सार्वजनिक डेटासेट पर व्यापक प्रयोग किए जाते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान जो मुख्य समस्या हल करता है: गतिशील ग्राफ़ लर्निंग में डाउनस्ट्रीम कार्य के प्रदर्शन को बढ़ाने के लिए ऐतिहासिक घटनाओं के ज्ञान का प्रभावी ढंग से उपयोग कैसे करें। विशेष रूप से शामिल हैं:

पूर्व-प्रशिक्षण और डाउनस्ट्रीम कार्य उद्देश्य असंगति: पारंपरिक DGNNs आमतौर पर लिंक भविष्यवाणी कार्यों पर प्रशिक्षित होते हैं, लेकिन डाउनस्ट्रीम कार्य नोड वर्गीकरण हो सकता है, जिससे उद्देश्य में अंतर होता है
ऐतिहासिक घटनाओं के प्रभाव को नजरअंदाज करना: मौजूदा गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग विधियां मुख्य रूप से नोड-समय संबंधों पर ध्यान केंद्रित करती हैं, ग्राफ़ विकास प्रक्रिया में ऐतिहासिक घटनाओं के ज्ञान को नजरअंदाज करती हैं

महत्व

वास्तविक दुनिया का महत्व: वास्तविक दुनिया के ग्राफ़ संरचना घटनाओं की श्रृंखला के माध्यम से विकसित होती है, जैसे Reddit पर उपयोगकर्ता पोस्टिंग, Wikipedia पर पृष्ठ बनाना आदि
प्रदर्शन में सुधार: ऐतिहासिक घटनाओं में मूल्यवान ज्ञान होता है, जो भविष्य की घटनाओं की भविष्यवाणी कर सकता है और नोड अस्थायी प्रतिनिधित्व लर्निंग को बढ़ा सकता है
पैरामीटर दक्षता: प्रॉम्प्ट लर्निंग को केवल हल्के वजन वाले प्रॉम्प्ट को समायोजित करने की आवश्यकता है, कम संसाधन परिदृश्यों में विशेष रूप से प्रभावी है

मौजूदा विधियों की सीमाएं

पारंपरिक DGNNs: पूर्व-प्रशिक्षण और डाउनस्ट्रीम कार्य उद्देश्य असंगति समस्या का सामना करते हैं
गतिशील ग्राफ़ पूर्व-प्रशिक्षण विधियां: समान रूप से उद्देश्य असंगति के कारण ज्ञान स्थानांतरण में कठिनाई का सामना करती हैं
मौजूदा गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग: DyGPrompt, TIGPrompt आदि जैसे केवल नोड-समय इंटरैक्शन पर विचार करते हैं, ऐतिहासिक घटनाओं की संरचनात्मक विकास जानकारी को नजरअंदाज करते हैं

मुख्य योगदान

EVP फ्रेमवर्क प्रस्तावित करना: पहली घटना-जागरूक गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग फ्रेमवर्क, जो मौजूदा गतिशील ग्राफ़ लर्निंग विधियों को प्लग-इन के रूप में बढ़ा सकता है
घटना अनुकूलन तंत्र: ऐतिहासिक घटनाओं की सूक्ष्म-दानेदार विशेषताओं को कैप्चर करने के लिए घटना प्रॉम्प्ट डिजाइन करना, डाउनस्ट्रीम कार्य आवश्यकताओं के अनुकूल
घटना एकत्रीकरण तंत्र: गतिशील प्रॉम्प्ट और अस्थायी क्षय फ़ंक्शन को जोड़कर, ऐतिहासिक घटना ज्ञान को प्रभावी ढंग से एकीकृत करना
व्यापक प्रयोग सत्यापन: चार बेंचमार्क डेटासेट पर EVP की प्रभावशीलता और प्लग-इन के रूप में सामान्यता को सत्यापित करना

विधि विवरण

कार्य परिभाषा

इनपुट: गतिशील ग्राफ़ G = (V, E, T), जहां V नोड्स का सेट है, E किनारों का सेट है, T समय अक्ष है
घटना परिभाषा: प्रत्येक किनारा (vi, vj, t) ∈ E समय t पर नोड vi से vj के लिए एक इंटरैक्शन घटना का प्रतिनिधित्व करता है
उद्देश्य: अस्थायी लिंक भविष्यवाणी और नोड वर्गीकरण कार्यों के प्रदर्शन को बढ़ाने के लिए ऐतिहासिक घटना ज्ञान का उपयोग करना

मॉडल आर्किटेक्चर

1. घटना निष्कर्षण (Event Extraction)

समय t पर नोड v के लिए, K ऐतिहासिक घटनाएं निकाली जाती हैं:

Ev,t = {E¹v,t, E²v,t, ..., EᴷV,t}

प्रत्येक घटना को इस रूप में दर्शाया जाता है:

Eᵏv,t = (v, uᵏv,t, zᵏv,t)

जहां zᵏv,t k-वीं घटना के घटित होने का समय है, uᵏv,t इंटरैक्शन का ऑब्जेक्ट नोड है।

2. घटना अनुकूलन तंत्र (Event Adaptation)

सबसे पहले घटना एम्बेडिंग की गणना करें:

eᵏv,t = FUSE(hv, huᵏv,t)

फिर घटना प्रॉम्प्ट के माध्यम से अनुकूलन:

êᵏv,t = pe ⊙ eᵏv,t

जहां pe एक सीखने योग्य घटना प्रॉम्प्ट वेक्टर है, ⊙ तत्व-वार गुणन को दर्शाता है।

3. घटना एकत्रीकरण तंत्र (Event Aggregation)

अस्थायी क्षय फ़ंक्शन और गतिशील प्रॉम्प्ट को जोड़ना:

ẽv,t = Σᵏ₌₁ᴷ pᵏdy · êᵏv,t

जहां pdy ∈ Rᴷ गतिशील प्रॉम्प्ट है, pᵏdy इसका k-वां आयाम है।

साथ ही अस्थायी क्षय पर विचार करें:

êv,t = Σᵏ₌₁ᴷ exp(t - zᵏv,t) · êᵏv,t

4. प्रॉम्प्ट ट्यूनिंग (Prompt Tuning)

ऐतिहासिक घटना एम्बेडिंग को नोड एम्बेडिंग के साथ एकीकृत करें:

ĥv,t = hv,t + ẽv,t

तकनीकी नवाचार बिंदु

पहली बार घटना-जागरूकता का परिचय: मौजूदा विधियों के विपरीत, EVP स्पष्ट रूप से ऐतिहासिक घटनाओं के वर्तमान व्यवहार पर प्रभाव को मॉडल करता है
दोहरी-स्तरीय एकत्रीकरण रणनीति: अस्थायी क्षय (अस्थायी निकटता को प्रतिबिंबित करता है) और गतिशील प्रॉम्प्ट (पैटर्न समानता को कैप्चर करता है) को जोड़ना
प्लग-इन डिजाइन: DGNNs, पूर्व-प्रशिक्षण विधियों और प्रॉम्प्ट लर्निंग विधियों में निर्बाध रूप से एकीकृत हो सकता है
सूक्ष्म-दानेदार घटना मॉडलिंग: घटना प्रॉम्प्ट के माध्यम से विभिन्न घटना विशेषताओं को विशिष्ट डाउनस्ट्रीम कार्यों के अनुकूल करना

प्रयोग सेटअप

डेटासेट

चार बेंचमार्क डेटासेट का उपयोग करें:

डेटासेट	नोड्स की संख्या	किनारों की संख्या	नोड विशेषता आयाम	समय अवधि
Wikipedia	9,227	157,474	172	30 दिन
Reddit	11,000	672,447	172	30 दिन
MOOC	7,144	411,749	172	30 दिन
Genre	1,505	17,858,395	86	1,500 दिन

मूल्यांकन मेट्रिक्स

लिंक भविष्यवाणी: AUC-ROC
नोड वर्गीकरण: AUC-ROC
ट्रांसडक्टिव और इंडक्टिव दोनों सेटिंग्स का समर्थन करता है

तुलनात्मक विधियां

चार प्रकार की बेसलाइन विधियां शामिल हैं:

पारंपरिक DGNNs: ROLAND, TGAT, TGN, TREND, GraphMixer
गतिशील ग्राफ़ पूर्व-प्रशिक्षण: DDGCL, CPDG
स्थिर ग्राफ़ प्रॉम्प्ट लर्निंग: GraphPrompt, ProG
गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग: TIGPrompt, DyGPrompt

कार्यान्वयन विवरण

डेटा विभाजन: 80% पूर्व-प्रशिक्षण, 20% डाउनस्ट्रीम कार्य (1%/1%/18% प्रशिक्षण/सत्यापन/परीक्षण के लिए उपयोग किया जाता है)
कम संसाधन सेटिंग: डाउनस्ट्रीम ट्यूनिंग के लिए केवल 30 घटनाओं का उपयोग करें
विभिन्न कार्यों का निर्माण करने के लिए 100 बार नमूनाकरण दोहराएं, प्रत्येक कार्य को 5 बार चलाएं और औसत लें

प्रयोग परिणाम

मुख्य परिणाम

सभी कार्यों पर EVP ने सर्वोत्तम प्रदर्शन प्राप्त किया:

अस्थायी लिंक भविष्यवाणी (ट्रांसडक्टिव):

Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

नोड वर्गीकरण:

Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

प्लग-इन प्रभाव सत्यापन

EVP एक प्लग-इन के रूप में 7 विभिन्न विधियों के प्रदर्शन को महत्वपूर्ण रूप से बढ़ा सकता है:

TGAT के उदाहरण के रूप में:

ट्रांसडक्टिव लिंक भविष्यवाणी: 55.78% से 76.50% तक (Wikipedia)
इंडक्टिव लिंक भविष्यवाणी: 48.21% से 76.65% तक (Wikipedia)
नोड वर्गीकरण: 67.00% से 79.03% तक (Wikipedia)

विलोपन प्रयोग

EVP के तीन वेरिएंट की तुलना:

EVP-EP: केवल घटना प्रॉम्प्ट का उपयोग करें, सीधे योग एकत्रीकरण
EVP-DP: केवल गतिशील प्रॉम्प्ट का उपयोग करें, कोई अस्थायी क्षय नहीं
EVP-TD: केवल अस्थायी क्षय का उपयोग करें, कोई गतिशील प्रॉम्प्ट नहीं

परिणाम दर्शाते हैं कि पूर्ण EVP सभी सेटिंग्स में वेरिएंट से बेहतर है, प्रत्येक घटक की आवश्यकता को साबित करता है।

हाइपरपैरामीटर संवेदनशीलता विश्लेषण

ऐतिहासिक घटनाओं की संख्या K के विश्लेषण से पता चलता है:

लिंक भविष्यवाणी: K=9 पर सर्वोत्तम प्रदर्शन प्राप्त होता है
नोड वर्गीकरण: K=3 पर सर्वोत्तम प्रदर्शन प्राप्त होता है
बहुत अधिक ऐतिहासिक घटनाएं शोर का परिचय दे सकती हैं, प्रदर्शन को कम कर सकती हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

ऐतिहासिक घटना ज्ञान महत्वपूर्ण है: EVP ने ऐतिहासिक घटनाओं का उपयोग करके गतिशील ग्राफ़ लर्निंग प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया है
मजबूत सामान्यता: प्लग-इन के रूप में कई मौजूदा विधियों को बढ़ा सकता है
उचित डिजाइन: घटना अनुकूलन और एकत्रीकरण तंत्र दोनों प्रदर्शन सुधार में महत्वपूर्ण योगदान देते हैं

सीमाएं

कम्प्यूटेशनल जटिलता: प्रत्येक नोड के लिए K ऐतिहासिक घटनाओं को निकालने और संसाधित करने की आवश्यकता है
हाइपरपैरामीटर संवेदनशीलता: K मान को विभिन्न कार्यों के लिए ट्यून करने की आवश्यकता है
घटना परिभाषा सीमाएं: वर्तमान में केवल नोड्स के बीच इंटरैक्शन घटनाओं पर विचार करता है
व्याख्यात्मकता अपर्याप्त: सीखी गई घटना पैटर्न के गहन विश्लेषण की कमी है

भविष्य की दिशाएं

अधिक जटिल घटना मॉडलिंग: घटना प्रकार, तीव्रता आदि गुणों पर विचार करना
स्व-अनुकूली घटना चयन: प्रत्येक नोड के लिए इष्टतम ऐतिहासिक घटनाओं की संख्या को गतिशील रूप से निर्धारित करना
सैद्धांतिक विश्लेषण: EVP प्रभावशीलता के लिए सैद्धांतिक गारंटी प्रदान करना
बड़े पैमाने पर अनुप्रयोग: बड़े पैमाने की वास्तविक दुनिया की गतिशील ग्राफ़ पर सत्यापन करना

गहन मूल्यांकन

फायदे

मजबूत नवाचार: गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग में पहली बार घटना-जागरूकता का परिचय, महत्वपूर्ण खाली स्थान को भरना
चतुर डिजाइन: घटना अनुकूलन और एकत्रीकरण तंत्र डिजाइन उचित है, अस्थायीता और पैटर्न दोनों को संतुलित करता है
पर्याप्त प्रयोग: कई डेटासेट और कार्यों पर सत्यापन, विस्तृत विलोपन प्रयोग और प्लग-इन प्रभाव विश्लेषण सहित
उच्च व्यावहारिक मूल्य: प्लग-इन डिजाइन इसे मौजूदा विधियों में लागू करना आसान बनाता है
महत्वपूर्ण प्रदर्शन सुधार: सभी परीक्षण परिदृश्यों में महत्वपूर्ण प्रदर्शन सुधार प्राप्त किया

कमियां

कमजोर सैद्धांतिक आधार: यह समझाने के लिए कि ऐतिहासिक घटनाएं प्रभावी क्यों हैं, सैद्धांतिक विश्लेषण की कमी है
कम्प्यूटेशनल ओवरहेड विश्लेषण अपर्याप्त: अतिरिक्त कम्प्यूटेशन और स्टोरेज ओवरहेड का विस्तृत विश्लेषण नहीं किया गया है
सरलीकृत घटना मॉडलिंग: घटना को नोड जोड़ी इंटरैक्शन के रूप में सरलता से मॉडल करना, महत्वपूर्ण जानकारी खो सकता है
डेटासेट सीमाएं: मुख्य रूप से अपेक्षाकृत छोटे डेटासेट पर सत्यापन, बड़े पैमाने पर सत्यापन की कमी है
व्याख्यात्मकता अपर्याप्त: सीखी गई ऐतिहासिक घटना पैटर्न के विश्लेषण और दृश्य प्रदान नहीं किया गया है

प्रभाव

शैक्षणिक योगदान: गतिशील ग्राफ़ लर्निंग क्षेत्र के लिए नई अनुसंधान दिशा और विचार प्रदान करता है
व्यावहारिक मूल्य: प्लग-इन विशेषता इसे समुदाय द्वारा आसानी से अपनाया जा सकता है
प्रेरणादायक: ग्राफ़ विकास प्रक्रिया में घटना मॉडलिंग पर अधिक अनुसंधान को प्रेरित कर सकता है
पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और हाइपरपैरामीटर सेटिंग प्रदान करता है

लागू परिदृश्य

सामाजिक नेटवर्क विश्लेषण: उपयोगकर्ता व्यवहार भविष्यवाणी, समुदाय विकास विश्लेषण
सिफारिश प्रणाली: ऐतिहासिक इंटरैक्शन पर आधारित गतिशील सिफारिश
ज्ञान ग्राफ़: इकाई संबंध का अस्थायी विकास मॉडलिंग
जैव सूचना विज्ञान: प्रोटीन इंटरैक्शन नेटवर्क का गतिशील विश्लेषण
वित्तीय जोखिम नियंत्रण: लेनदेन नेटवर्क में विसंगति पहचान

संदर्भ

पेपर ने गतिशील ग्राफ़ लर्निंग, ग्राफ़ न्यूरल नेटवर्क, प्रॉम्प्ट लर्निंग आदि संबंधित क्षेत्रों के महत्वपूर्ण कार्यों को उद्धृत किया है, पाठकों को व्यापक पृष्ठभूमि ज्ञान प्रदान करता है। मुख्य संदर्भ TGN, TGAT जैसी शास्त्रीय गतिशील ग्राफ़ विधियां, साथ ही GraphPrompt, DyGPrompt जैसी प्रॉम्प्ट लर्निंग विधियां शामिल हैं।

समग्र मूल्यांकन: यह गतिशील ग्राफ़ प्रॉम्प्ट लर्निंग क्षेत्र में एक उच्च गुणवत्ता वाला अनुसंधान पेपर है जो महत्वपूर्ण योगदान देता है। EVP फ्रेमवर्क उचित डिजाइन है, प्रयोग पर्याप्त सत्यापन है, और इसमें बहुत अच्छा व्यावहारिक मूल्य और शैक्षणिक महत्व है। हालांकि सैद्धांतिक और प्रायोगिक पहलुओं में कुछ कमियां हैं, लेकिन समग्र रूप से यह क्षेत्र में महत्वपूर्ण प्रगति है।