2025-11-13T10:52:11.188844

What Do Temporal Graph Learning Models Learn?

Hayes, Schumacher, Strohmaier
Learning on temporal graphs has become a central topic in graph representation learning, with numerous benchmarks indicating the strong performance of state-of-the-art models. However, recent work has raised concerns about the reliability of benchmark results, noting issues with commonly used evaluation protocols and the surprising competitiveness of simple heuristics. This contrast raises the question of which properties of the underlying graphs temporal graph learning models actually use to form their predictions. We address this by systematically evaluating seven models on their ability to capture eight fundamental attributes related to the link structure of temporal graphs. These include structural characteristics such as density, temporal patterns such as recency, and edge formation mechanisms such as homophily. Using both synthetic and real-world datasets, we analyze how well models learn these attributes. Our findings reveal a mixed picture: models capture some attributes well but fail to reproduce others. With this, we expose important limitations. Overall, we believe that our results provide practical insights for the application of temporal graph learning models, and motivate more interpretability-driven evaluations in temporal graph learning research.
academic

अस्थायी ग्राफ लर्निंग मॉडल क्या सीखते हैं?

मूल जानकारी

  • पेपर ID: 2510.09416
  • शीर्षक: What Do Temporal Graph Learning Models Learn?
  • लेखक: Abigail J. Hayes, Tobias Schumacher, Markus Strohmaier
  • वर्गीकरण: cs.LG cs.SI
  • प्रकाशन तिथि: 25 अक्टूबर 10 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.09416

सारांश

अस्थायी ग्राफ लर्निंग ग्राफ प्रतिनिधित्व लर्निंग का एक मुख्य विषय बन गया है, जहाँ कई बेंचमार्क अत्याधुनिक मॉडलों के मजबूत प्रदर्शन को दर्शाते हैं। हालांकि, हाल के शोध ने बेंचमार्क परिणामों की विश्वसनीयता पर संदेह व्यक्त किया है, सामान्य रूप से उपयोग किए जाने वाले मूल्यांकन प्रोटोकॉल की समस्याओं और सरल अनुमानी विधियों की आश्चर्यजनक प्रतिस्पर्धात्मकता को इंगित किया है। यह विरोधाभास एक महत्वपूर्ण प्रश्न उठाता है: अस्थायी ग्राफ लर्निंग मॉडल वास्तव में अंतर्निहित ग्राफ के कौन से गुणों का उपयोग पूर्वानुमान बनाने के लिए करते हैं? यह पेपर सात मॉडलों के अस्थायी ग्राफ लिंक संरचना से संबंधित आठ मौलिक गुणों को कैप्चर करने की क्षमता का व्यवस्थित मूल्यांकन करके इस प्रश्न का समाधान करता है। ये गुणें घनत्व जैसी संरचनात्मक विशेषताएं, समकालीनता जैसे अस्थायी पैटर्न, और समरूपता जैसी किनारे निर्माण तंत्र शामिल हैं। कृत्रिम और वास्तविक विश्व डेटासेट का उपयोग करके, मॉडल इन गुणों को सीखने की प्रभावशीलता का विश्लेषण किया गया है। अनुसंधान निष्कर्ष एक मिश्रित चित्र प्रस्तुत करते हैं: मॉडल कुछ गुणों को अच्छी तरह से कैप्चर कर सकते हैं, लेकिन अन्य गुणों को पुनः उत्पन्न नहीं कर सकते, जिससे महत्वपूर्ण सीमाएं उजागर होती हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या पृष्ठभूमि

  1. बेंचमार्क मूल्यांकन की विश्वसनीयता समस्या: हालांकि अस्थायी ग्राफ लर्निंग मॉडल विभिन्न बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन करते हैं, लेकिन हाल के शोध ने मूल्यांकन प्रोटोकॉल में खामियों की खोज की है, जिसमें परीक्षण सेट और मूल्यांकन मेट्रिक्स की समस्याएं अवास्तविक परिणाम देती हैं।
  2. सरल अनुमानी विधियों की प्रतिस्पर्धात्मकता: आश्चर्यजनक रूप से, हाल ही में सक्रिय और वैश्विक स्तर पर लोकप्रिय नोड्स से जुड़े किनारों की भविष्यवाणी करने वाली सरल अनुमानी विधियां, कई अत्याधुनिक मॉडलों के समान प्रदर्शन करती हैं।
  3. मॉडल व्याख्या क्षमता की कमी: भले ही एक विशेष मॉडल दिए गए बेंचमार्क डेटासेट पर अच्छा प्रदर्शन करे, यह स्पष्ट नहीं है कि कौन से कारक इस प्रदर्शन में योगदान देते हैं, अधिक विशेष रूप से, मॉडल पूर्वानुमान बनाने के लिए कौन से ग्राफ गुणों का उपयोग करते हैं।

अनुसंधान प्रेरणा

यह अनुसंधान लोकप्रिय ग्राफ लर्निंग मॉडलों द्वारा सीखी गई सरल, व्याख्यात्मक अस्थायी नेटवर्क गुणों की क्षमता का मूल्यांकन करने के लिए एक कदम पीछे लेने का लक्ष्य रखता है, अस्थायी ग्राफ लर्निंग मॉडलों के व्यावहारिक अनुप्रयोग के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है, और अधिक व्याख्या क्षमता पर केंद्रित मूल्यांकन को बढ़ावा देता है।

मुख्य योगदान

  1. नई मूल्यांकन रूपरेखा का प्रस्ताव: अस्थायी ग्राफ लर्निंग मॉडलों द्वारा सहज अस्थायी नेटवर्क गुणों को कैप्चर करने की क्षमता का व्यवस्थित मूल्यांकन
  2. मौजूदा मॉडलों की सीमाओं की पहचान: किनारों की दिशा में अंतर करने, चक्रीय पैटर्न का पता लगाने, या हाल ही में देखे गए ग्राफ गतिशीलता पर जोर देने में मॉडलों की सीमाओं की खोज
  3. व्यावहारिक मार्गदर्शन प्रदान: गहन ग्राफ लर्निंग मॉडलों के व्यावहारिक अनुप्रयोग के लिए अंतर्दृष्टि
  4. व्याख्या क्षमता बेंचमार्क की स्थापना: अस्थायी ग्राफ लर्निंग मॉडलों के अधिक व्याख्या क्षमता-केंद्रित मूल्यांकन के लिए बेंचमार्क, जो मौजूदा प्रदर्शन-केंद्रित बेंचमार्क को पूरक करता है

विधि विवरण

कार्य परिभाषा

यह पेपर सात अत्याधुनिक अस्थायी ग्राफ लर्निंग मॉडलों द्वारा आठ मौलिक ग्राफ गुणों को सीखने की क्षमता का मूल्यांकन करता है:

  • सामान्य ग्राफ विशेषताएं: अस्थायी दानेदारपन, किनारे दिशा, घनत्व
  • अस्थायी पैटर्न: दृढ़ता, आवधिकता, समकालीनता
  • किनारे निर्माण तंत्र: समरूपता, वरीयता संलग्नता

मूल्यांकन रूपरेखा

मॉडल चयन

सात प्रतिनिधि मॉडलों का मूल्यांकन किया गया:

  • DyGFormer: ट्रांसफॉर्मर-आधारित गतिशील ग्राफ मॉडल
  • GraphMixer: सरलीकृत आर्किटेक्चर की अस्थायी नेटवर्क मॉडल
  • DyRep: पुनरावर्ती तंत्रिका नेटवर्क-आधारित प्रतिनिधित्व लर्निंग
  • JODIE: संयुक्त गतिशील उपयोगकर्ता और आइटम एम्बेडिंग
  • TGN: अस्थायी ग्राफ नेटवर्क
  • TCL: विपरीत लर्निंग-आधारित ट्रांसफॉर्मर गतिशील ग्राफ मॉडलिंग
  • TGAT: आगमनात्मक अस्थायी ग्राफ प्रतिनिधित्व लर्निंग

डेटासेट डिजाइन

  1. वास्तविक डेटासेट: Enron ईमेल नेटवर्क, UCI संदेश नेटवर्क, Wikipedia संपादन नेटवर्क
  2. कृत्रिम डेटासेट: विशिष्ट गुणों के लिए डिज़ाइन किए गए कृत्रिम ग्राफ, जैसे समरूपता परीक्षण के लिए यादृच्छिक ब्लॉक मॉडल (SBM), वरीयता संलग्नता परीक्षण के लिए Barabási-Albert मॉडल

मूल्यांकन विधि

प्रत्येक गुण के लिए विशेष प्रयोग डिज़ाइन किए गए:

  • कृत्रिम और वास्तविक डेटासेट के संयोजन का उपयोग
  • विशिष्ट गुणों के प्रभाव को अलग करने के लिए चर को नियंत्रित करना
  • संभाव्यता स्कोर, सटीकता आदि मेट्रिक्स के माध्यम से मॉडल प्रदर्शन का मूल्यांकन

तकनीकी नवाचार बिंदु

  1. व्यवस्थित मूल्यांकन विधि: पहली बार अस्थायी ग्राफ मॉडलों द्वारा मौलिक ग्राफ गुणों को सीखने की क्षमता का व्यवस्थित मूल्यांकन
  2. बहु-आयामी गुण विश्लेषण: संरचनात्मक, अस्थायी और तंत्र तीन आयामों के गुणों को शामिल करना
  3. कृत्रिम डेटा सत्यापन: सावधानीपूर्वक डिज़ाइन किए गए कृत्रिम डेटासेट के माध्यम से विशिष्ट गुणों को सीखने की क्षमता का सत्यापन
  4. व्याख्या क्षमता-निर्देशित: शुद्ध प्रदर्शन के बजाय व्याख्या क्षमता के दृष्टिकोण से मॉडलों का मूल्यांकन

प्रायोगिक सेटअप

डेटासेट विवरण

डेटासेटनोड्ससतत किनारेअसतत किनारेअद्वितीय किनारेअसतत समय चरण
Enron184125,23510,4723,12545 (माह)
UCI1,89959,83526,62820,29629 (सप्ताह)
Wikipedia9,277157,47465,08518,257745 (घंटा)

मूल्यांकन मेट्रिक्स

  • ROC-AUC: लिंक पूर्वानुमान प्रदर्शन मूल्यांकन के लिए
  • संतुलित सटीकता: वर्गीकरण कार्यों के लिए
  • संभाव्यता स्कोर वितरण: मॉडल पूर्वानुमान व्यवहार के विश्लेषण के लिए
  • किनारे समूहीकरण आंकड़े: विशिष्ट गुणों के मात्रात्मक विश्लेषण के लिए

कार्यान्वयन विवरण

  • सीखने की दर: 1e-4
  • बैच आकार: 200
  • हानि फलन: BCELoss
  • अनुकूलक: Adam
  • अधिकतम प्रशिक्षण चक्र: 300
  • प्रारंभिक रोकने की सहनशीलता: 1e-6
  • अस्थायी विशेषता आयाम: 100

प्रायोगिक परिणाम

मुख्य निष्कर्ष सारांश

ग्राफ गुणDyGFormerDyRepJODIEGraphMixerTCLTGATTGN
अस्थायी दानेदारपन∼✓✓✓∼∼✓
दिशा✗✗✗✗✗✗✗
घनत्व✗✗✗✗✗✗✗
दृढ़ता✓✗✗∼∼✓✗
आवधिकता✗✗✗✓✓∼∼
समकालीनता✗✗✗✗✗✗✗
समरूपता✓∼✗∼✓∼∼
वरीयता संलग्नता✓✓✓✓✓✓✓

विस्तृत परिणाम विश्लेषण

1. अस्थायी दानेदारपन

  • समतल समय मुहर प्रदर्शन को गंभीर रूप से नुकसान पहुंचाता है, जो दर्शाता है कि मॉडल वास्तव में अस्थायी जानकारी का उपयोग करते हैं
  • GraphMixer और DyRep समय मुहर असतत होने पर सबसे अधिक प्रदर्शन में गिरावट दिखाते हैं
  • TGAT असतत समय चरणों पर बेहतर प्रदर्शन करता है

2. किनारे दिशा

  • मुख्य खोज: सभी मॉडल किनारों की दिशा को प्रभावी ढंग से अलग नहीं कर सकते
  • लगभग 50% किनारों के लिए, आगे की दिशा और पिछली दिशा के किनारों की पूर्वानुमान संभावना में 0.02 से कम अंतर है
  • यहां तक कि द्विदिशात्मक प्रशिक्षण में भी, अधिकांश मॉडल लगभग सममित पूर्वानुमान उत्पन्न करते हैं

3. घनत्व

  • महत्वपूर्ण सीमा: सभी मॉडल ग्राफ के घनत्व को सीख नहीं सकते
  • पूर्वानुमानित घनत्व आमतौर पर वास्तविक घनत्व से कई परिमाण कम होता है
  • मॉडल सभी किनारों को नकारात्मक के रूप में पूर्वानुमान देते हैं, जब बड़ी संख्या में नकारात्मक नमूने देखते हैं

4. दृढ़ता

  • DyGFormer और TGAT दृढ़ ग्राफ को सीखने में सक्षम हैं
  • JODIE और TGN इस सरल कार्य पर खराब प्रदर्शन करते हैं

5. आवधिकता

  • GraphMixer और TCL विषम और सम समय चरणों को अच्छी तरह से अलग कर सकते हैं
  • DyGFormer समय चरणों को अलग नहीं कर सकता, EdgeBank आधारभूत के समान व्यवहार

6. समकालीनता

  • आश्चर्यजनक परिणाम: सभी मॉडल हाल ही में देखे गए किनारों पर जोर नहीं देते
  • किनारे की औसत संभाव्यता स्कोर अंतिम अवलोकन समय के कारण नहीं बदलता है
  • यह हाल ही में सक्रिय नोड्स पर आधारित अनुमानी विधियों की सफलता के साथ विरोधाभास करता है

7. समरूपता

  • DyGFormer और TCL समूह के भीतर लिंक को संतुलित रूप से पूर्वानुमान दे सकते हैं
  • JODIE समूह 0 की ओर अत्यधिक पूर्वाग्रहित है
  • अधिकांश मॉडल समूह 1 के भीतर लिंक की भविष्यवाणी करने के लिए अधिक इच्छुक हैं

8. वरीयता संलग्नता

  • सामान्य सफलता: सभी मॉडलों ने वरीयता संलग्नता सीखी है
  • उच्च-डिग्री नोड्स के किनारों को उच्च औसत संभाव्यता मिलती है
  • शक्ति-कानून डिग्री वितरण पैटर्न का पालन करता है

संबंधित कार्य

गतिशील ग्राफ लर्निंग बेंचमार्क

  • Temporal Graph Benchmark (TGB): अस्थायी ग्राफ तंत्रिका नेटवर्क की गुणवत्ता का मूल्यांकन
  • BenchTemp: अस्थायी ग्राफ डेटा पर केंद्रित बेंचमार्क
  • एकीकृत रूपरेखा: असतत अस्थायी और सतत अस्थायी मॉडलों को जोड़ना

अस्थायी लिंक पूर्वानुमान मॉडलों की सीमाएं

  • EdgeBank आधारभूत: सरल आधारभूत अत्याधुनिक विधियों के समान प्रदर्शन
  • अस्थायी पैटर्न लर्निंग सीमाएं: समय मुहर विक्षोभ का प्रदर्शन पर कम प्रभाव
  • अनुमानी विधियों की सफलता: लोकप्रियता और हाल ही में सक्रियता पर आधारित अनुमानी जटिल मॉडलों को पार करते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. मिश्रित प्रदर्शन: मॉडल कुछ गुणों पर अच्छा प्रदर्शन करते हैं (जैसे वरीयता संलग्नता), लेकिन अन्य पहलुओं में गंभीर सीमाएं हैं (जैसे दिशा भेद, घनत्व पूर्वानुमान)
  2. सामान्य सीमाएं: सभी मॉडल किनारों की दिशा को अलग नहीं कर सकते, समकालीनता पर जोर नहीं देते, घनत्व को सटीक रूप से पूर्वानुमान नहीं दे सकते
  3. मॉडल अंतर: विभिन्न मॉडल विशिष्ट गुणों को सीखने में महत्वपूर्ण अंतर दिखाते हैं, व्यावहारिक अनुप्रयोगों में मॉडल चयन के लिए मार्गदर्शन प्रदान करते हैं

सीमाएं

  1. डेटासेट सीमा: प्रयोग की व्यापकता के कारण, उपयोग किए गए डेटासेट की संख्या सीमित है, जो सभी नेटवर्क-संबंधित ग्राफ डेटासेट का प्रतिनिधित्व नहीं कर सकते
  2. गुण चयन: मूल्यांकन किए गए आठ गुण विस्तृत नहीं हैं, अन्य महत्वपूर्ण ग्राफ गुण विचार के योग्य हैं
  3. मॉडल श्रेणी: केवल सतत अस्थायी मॉडल शामिल हैं, असतत अस्थायी सेटिंग के मॉडलों को शामिल नहीं किया गया है

भविष्य की दिशाएं

  1. मॉडल सुधार: खोजी गई सीमाओं (घनत्व, दिशा, समकालीनता) के लिए नए मॉडल डिज़ाइन करना
  2. रूपरेखा विस्तार:
    • अधिक ग्राफ गुण मूल्यांकन जोड़ना
    • असतत अस्थायी मॉडल शामिल करना
    • विषमांगी नेटवर्क पर विचार करना
  3. अनुप्रयोग मार्गदर्शन: गुण लर्निंग क्षमता के आधार पर विभिन्न अनुप्रयोग परिदृश्यों के लिए उपयुक्त मॉडलों की सिफारिश करना

गहन मूल्यांकन

शक्तियां

  1. मजबूत व्यवस्थितता: पहली बार व्याख्या क्षमता के दृष्टिकोण से अस्थायी ग्राफ लर्निंग मॉडलों का व्यवस्थित मूल्यांकन, एक महत्वपूर्ण अंतराल को भरता है
  2. कठोर विधि: कृत्रिम और वास्तविक डेटासेट के संयोजन के माध्यम से, चर नियंत्रण के साथ प्रायोगिक डिजाइन परिणामों की विश्वसनीयता सुनिश्चित करता है
  3. महत्वपूर्ण खोजें: मजबूत प्रतीत होने वाले मॉडलों में मौलिक गुण लर्निंग में गंभीर सीमाओं को उजागर करता है, महत्वपूर्ण व्यावहारिक मूल्य रखता है
  4. अनुप्रयोग-निर्देशित: मॉडल चयन और अनुप्रयोग के लिए व्यावहारिक मार्गदर्शन प्रदान करता है, केवल बेंचमार्क प्रदर्शन पर ध्यान केंद्रित नहीं करता

कमियां

  1. अपर्याप्त सैद्धांतिक विश्लेषण: कुछ मॉडलों के विशिष्ट गुणों पर विफल होने के कारणों का गहन सैद्धांतिक विश्लेषण नहीं
  2. सुधार समाधान की कमी: मुख्य रूप से समस्याओं को इंगित करता है लेकिन विशिष्ट सुधार सुझाव या विधियां प्रदान नहीं करता
  3. मूल्यांकन मेट्रिक्स की एकरूपता: कुछ प्रयोगों को मॉडल क्षमता का व्यापक मूल्यांकन करने के लिए अधिक विविध मूल्यांकन मेट्रिक्स की आवश्यकता हो सकती है

प्रभाव

  1. शैक्षणिक मूल्य: अस्थायी ग्राफ लर्निंग क्षेत्र में मूल्यांकन के लिए एक नया दृष्टिकोण पेश करता है, भविष्य के मॉडल डिजाइन और मूल्यांकन मानकों को प्रभावित कर सकता है
  2. व्यावहारिक मूल्य: व्यावहारिकों को उपयुक्त मॉडल चुनने के लिए महत्वपूर्ण संदर्भ प्रदान करता है, बेंचमार्क प्रदर्शन का अंधानुसरण करने से बचाता है
  3. अनुसंधान प्रेरणा: उजागर की गई सीमाएं भविष्य के शोध के लिए स्पष्ट सुधार दिशाएं प्रदान करती हैं

लागू परिदृश्य

  1. मॉडल चयन: विशिष्ट अनुप्रयोगों में किनारे दिशा, घनत्व पूर्वानुमान जैसे गुणों पर विचार करते समय मॉडल चयन मार्गदर्शन
  2. बेंचमार्क डिजाइन: अधिक व्यापक अस्थायी ग्राफ लर्निंग बेंचमार्क डिजाइन करने के लिए संदर्भ
  3. मॉडल विकास: नए अस्थायी ग्राफ लर्निंग मॉडल विकसित करने के लिए सुधार लक्ष्य और मूल्यांकन मानदंड

संदर्भ

पेपर व्यापक संबंधित कार्यों का हवाला देता है, जिसमें शामिल हैं:

  • अस्थायी ग्राफ बेंचमार्क परीक्षण संबंधित कार्य (TGB, BenchTemp आदि)
  • अस्थायी ग्राफ लर्निंग मॉडलों की सीमा अनुसंधान
  • ग्राफ लर्निंग मूल्यांकन विधियों की आलोचनात्मक अनुसंधान
  • शास्त्रीय ग्राफ मॉडल (यादृच्छिक ब्लॉक मॉडल, Barabási-Albert मॉडल आदि)

समग्र मूल्यांकन: यह एक महत्वपूर्ण मूल्य का अनुसंधान कार्य है, जो व्यवस्थित व्याख्या क्षमता मूल्यांकन के माध्यम से अस्थायी ग्राफ लर्निंग मॉडलों की महत्वपूर्ण सीमाओं को उजागर करता है। अनुसंधान विधि कठोर है, निष्कर्ष व्यावहारिक महत्व रखते हैं, और क्षेत्र के विकास के लिए नया दृष्टिकोण और सुधार दिशाएं प्रदान करते हैं। हालांकि सैद्धांतिक विश्लेषण और समाधान पहलुओं में सुधार की गुंजाइश है, लेकिन इसका योगदान क्षेत्र को अधिक व्याख्या क्षमता और व्यावहारिकता पर केंद्रित दिशा में विकसित करने के लिए पर्याप्त है।