2025-11-12T11:07:10.260891

Event-Aware Prompt Learning for Dynamic Graphs

Yu, Liang, Zhang et al.
Real-world graph typically evolve via a series of events, modeling dynamic interactions between objects across various domains. For dynamic graph learning, dynamic graph neural networks (DGNNs) have emerged as popular solutions. Recently, prompt learning methods have been explored on dynamic graphs. However, existing methods generally focus on capturing the relationship between nodes and time, while overlooking the impact of historical events. In this paper, we propose EVP, an event-aware dynamic graph prompt learning framework that can serve as a plug-in to existing methods, enhancing their ability to leverage historical events knowledge. First, we extract a series of historical events for each node and introduce an event adaptation mechanism to align the fine-grained characteristics of these events with downstream tasks. Second, we propose an event aggregation mechanism to effectively integrate historical knowledge into node representations. Finally, we conduct extensive experiments on four public datasets to evaluate and analyze EVP.
academic

Event-Aware Prompt Learning for Dynamic Graphs

Grundlegende Informationen

  • Papier-ID: 2510.11339
  • Titel: Event-Aware Prompt Learning for Dynamic Graphs
  • Autoren: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
  • Institutionen: ¹Singapore Management University, ²University of Science and Technology of China
  • Klassifizierung: cs.LG cs.AI
  • Veröffentlichungsdatum: 13. Oktober 2025 (arXiv Preprint)
  • Papierlink: https://arxiv.org/abs/2510.11339

Zusammenfassung

Graphen in der realen Welt entwickeln sich typischerweise durch eine Reihe von Ereignissen und modellieren dynamische Interaktionen zwischen Objekten in verschiedenen Bereichen. Bei der Lernaufgabe auf dynamischen Graphen sind dynamische Graphenneuronale Netze (DGNNs) zur Standardlösung geworden. Kürzlich wurden Prompt-Learning-Methoden auf dynamischen Graphen erforscht. Allerdings konzentrieren sich bestehende Methoden hauptsächlich auf die Erfassung der Beziehung zwischen Knoten und Zeit und vernachlässigen den Einfluss historischer Ereignisse. Dieses Papier präsentiert EVP, ein ereignisgesteuertes Prompt-Learning-Framework für dynamische Graphen, das als Plug-in zur Verbesserung bestehender Methoden bei der Nutzung von Wissen über historische Ereignisse dienen kann. Zunächst wird eine Reihe historischer Ereignisse für jeden Knoten extrahiert und ein ereignisadaptiver Mechanismus eingeführt, um die feingranularen Merkmale dieser Ereignisse an die nachgelagerte Aufgabe anzupassen. Zweitens wird ein Ereignisaggregationsmechanismus vorgeschlagen, um historisches Wissen effektiv in die Knotendarstellung zu integrieren. Abschließend werden umfangreiche Experimente auf vier öffentlichen Datensätzen durchgeführt, um EVP zu bewerten und zu analysieren.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Forschung ist: Wie kann man historisches Ereigniswissen bei der Lernaufgabe auf dynamischen Graphen effektiv nutzen, um die Leistung nachgelagerter Aufgaben zu verbessern. Dies umfasst konkret:

  1. Inkonsistenz zwischen Vortraining und nachgelagerter Aufgabe: Traditionelle DGNNs werden typischerweise auf Link-Vorhersage-Aufgaben trainiert, aber nachgelagerte Aufgaben könnten Knotenklassifizierung sein, was zu Zielabweichungen führt
  2. Vernachlässigung des Einflusses historischer Ereignisse: Bestehende Prompt-Learning-Methoden für dynamische Graphen konzentrieren sich hauptsächlich auf Knoten-Zeit-Beziehungen und vernachlässigen das Wissen über historische Ereignisse im Graphenentwicklungsprozess

Bedeutung

  1. Praktische Relevanz: Reale Graphstrukturen entwickeln sich durch Ereignissequenzen, wie z.B. Benutzer, die auf Reddit posten, oder Seiten auf Wikipedia erstellen
  2. Leistungsverbesserung: Historische Ereignisse enthalten wertvolles Wissen, das zukünftige Ereignisse vorhersagen und die Lernaufgabe der zeitlichen Knotendarstellung verbessern kann
  3. Parametereffizienz: Prompt-Learning erfordert nur die Anpassung leichtgewichtiger Prompts, was in ressourcenbeschränkten Szenarien besonders wirksam ist

Einschränkungen bestehender Methoden

  1. Traditionelle DGNNs: Leiden unter Inkonsistenzen zwischen Vortraining und nachgelagerter Aufgabe
  2. Vortrainingsmethoden für dynamische Graphen: Stehen vor ähnlichen Herausforderungen bei der Wissensübertragung aufgrund von Zielinkonsistenzen
  3. Bestehende Prompt-Learning-Methoden für dynamische Graphen: Wie DyGPrompt und TIGPrompt berücksichtigen nur Knoten-Zeit-Interaktionen und vernachlässigen Strukturentwicklungsinformationen historischer Ereignisse

Kernbeiträge

  1. Vorschlag des EVP-Frameworks: Das erste ereignisgesteuerte Prompt-Learning-Framework für dynamische Graphen, das als Plug-in zur Verbesserung bestehender Methoden zum Lernen auf dynamischen Graphen dienen kann
  2. Ereignisadaptiver Mechanismus: Entwurf von Ereignis-Prompts zur Erfassung feingranularer Merkmale historischer Ereignisse, angepasst an die Anforderungen nachgelagerter Aufgaben
  3. Ereignisaggregationsmechanismus: Kombination dynamischer Prompts und zeitlicher Zerfallsfunktionen zur effektiven Integration von Wissen über historische Ereignisse
  4. Umfangreiche experimentelle Validierung: Validierung der Effektivität von EVP und seiner Universalität als Plug-in auf vier Benchmark-Datensätzen

Methodische Details

Aufgabendefinition

  • Eingabe: Dynamischer Graph G = (V, E, T), wobei V die Knotenmenge ist, E die Kantenmenge und T die Zeitachse
  • Ereignisdefinition: Jede Kante (vᵢ, vⱼ, t) ∈ E stellt ein Interaktionsereignis des Knotens vᵢ mit vⱼ zum Zeitpunkt t dar
  • Ziel: Nutzung von Wissen über historische Ereignisse zur Verbesserung der Leistung bei zeitlichen Link-Vorhersage- und Knotenklassifizierungsaufgaben

Modellarchitektur

1. Ereignisextraktion (Event Extraction)

Für Knoten v zum Zeitpunkt t werden K historische Ereignisse extrahiert:

Ev,t = {E¹v,t, E²v,t, ..., EᴷV,t}

Jedes Ereignis wird dargestellt als:

Eᵏv,t = (v, uᵏv,t, zᵏv,t)

wobei zᵏv,t der Zeitpunkt des k-ten Ereignisses ist und uᵏv,t der Zielknoten der Interaktion.

2. Ereignisadaptiver Mechanismus (Event Adaptation)

Zunächst wird die Ereigniseinbettung berechnet:

eᵏv,t = FUSE(hv, huᵏv,t)

Dann erfolgt die Anpassung durch Ereignis-Prompts:

êᵏv,t = pe ⊙ eᵏv,t

wobei pe ein trainierbarer Ereignis-Prompt-Vektor ist und ⊙ elementweise Multiplikation darstellt.

3. Ereignisaggregationsmechanismus (Event Aggregation)

Kombination von zeitlicher Zerfallsfunktion und dynamischem Prompt:

ẽv,t = Σᵏ₌₁ᴷ pᵏdy · êᵏv,t

wobei pdy ∈ Rᴷ der dynamische Prompt ist und pᵏdy seine k-te Dimension.

Gleichzeitig wird zeitlicher Zerfall berücksichtigt:

êv,t = Σᵏ₌₁ᴷ exp(t - zᵏv,t) · êᵏv,t

4. Prompt-Tuning (Prompt Tuning)

Integration der Ereigniseinbettung mit der Knoteneinbettung:

ĥv,t = hv,t + ẽv,t

Technische Innovationen

  1. Erstmalige Einführung ereignisgesteuerter Mechanismen: Im Gegensatz zu bestehenden Methoden modelliert EVP explizit den Einfluss historischer Ereignisse auf aktuelles Verhalten
  2. Zweischichtige Aggregationsstrategie: Kombination von zeitlichem Zerfall (Reflexion zeitlicher Nähe) und dynamischem Prompt (Erfassung von Mustähnlichkeit)
  3. Plug-in-Design: Nahtlose Integration in DGNNs, Vortrainingsmethoden und Prompt-Learning-Methoden
  4. Feingranulare Ereignismodellierung: Anpassung feingranularer Ereignismerkmale an spezifische nachgelagerte Aufgaben durch Ereignis-Prompts

Experimentelle Einrichtung

Datensätze

Vier Benchmark-Datensätze werden verwendet:

DatensatzKnotenzahlKantenzahlKnotenmerkmaldimensionZeitspanne
Wikipedia9.227157.47417230 Tage
Reddit11.000672.44717230 Tage
MOOC7.144411.74917230 Tage
Genre1.50517.858.395861.500 Tage

Bewertungsmetriken

  • Link-Vorhersage: AUC-ROC
  • Knotenklassifizierung: AUC-ROC
  • Unterstützung für transduktive und induktive Einstellungen

Vergleichsmethoden

Umfasst vier Kategorien von Baseline-Methoden:

  1. Traditionelle DGNNs: ROLAND, TGAT, TGN, TREND, GraphMixer
  2. Vortrainingsmethoden für dynamische Graphen: DDGCL, CPDG
  3. Statische Graph-Prompt-Learning: GraphPrompt, ProG
  4. Dynamische Graph-Prompt-Learning: TIGPrompt, DyGPrompt

Implementierungsdetails

  • Datenteilung: 80% Vortraining, 20% nachgelagerte Aufgaben (1%/1%/18% für Training/Validierung/Test)
  • Ressourcenbeschränkte Einstellung: Nur 30 Ereignisse für nachgelagerte Optimierung
  • 100-fache Stichprobenziehung zur Konstruktion verschiedener Aufgaben, jede Aufgabe 5-fach durchgeführt und gemittelt

Experimentelle Ergebnisse

Hauptergebnisse

EVP erreicht optimale Leistung bei allen Aufgaben:

Zeitliche Link-Vorhersage (Transduktiv):

  • Wikipedia: 98,47±0,80% (vs. DyGPrompt 94,33±0,12%)
  • Reddit: 99,85±0,14% (vs. DyGPrompt 96,82±0,06%)
  • MOOC: 98,16±0,54% (vs. DyGPrompt 70,17±0,75%)
  • Genre: 99,90±0,02% (vs. DyGPrompt 87,02±1,63%)

Knotenklassifizierung:

  • Wikipedia: 87,18±3,21% (vs. DyGPrompt 82,09±6,43%)
  • Reddit: 76,77±7,93% (vs. DyGPrompt 74,00±3,10%)
  • MOOC: 78,78±4,04% (vs. DyGPrompt 77,78±5,08%)

Plug-in-Effekt-Validierung

EVP als Plug-in kann die Leistung von 7 verschiedenen Methoden signifikant verbessern:

Am Beispiel von TGAT:

  • Transduktive Link-Vorhersage: Verbesserung von 55,78% auf 76,50% (Wikipedia)
  • Induktive Link-Vorhersage: Verbesserung von 48,21% auf 76,65% (Wikipedia)
  • Knotenklassifizierung: Verbesserung von 67,00% auf 79,03% (Wikipedia)

Ablationsstudie

Vergleich von drei EVP-Varianten:

  • EVP-EP: Nur Ereignis-Prompts, direkte Summenaggregation
  • EVP-DP: Nur dynamische Prompts, kein zeitlicher Zerfall
  • EVP-TD: Nur zeitlicher Zerfall, keine dynamischen Prompts

Die Ergebnisse zeigen, dass das vollständige EVP in allen Einstellungen den Varianten überlegen ist und die Notwendigkeit jeder Komponente nachweist.

Sensitivitätsanalyse der Hyperparameter

Die Analyse der Anzahl historischer Ereignisse K zeigt:

  • Link-Vorhersage: Optimale Leistung bei K=9
  • Knotenklassifizierung: Optimale Leistung bei K=3
  • Zu viele historische Ereignisse können Rauschen einführen und die Leistung verringern

Verwandte Arbeiten

Lernen auf dynamischen Graphen

  1. DGNNs: Dynamische Aggregation von Nachbarinformationen unter Berücksichtigung zeitlicher Faktoren zur Aktualisierung von Knoteneinbettungen
  2. Vortrainingsmethoden für dynamische Graphen: Anwendung des "Vortraining-Feinabstimmung"-Paradigmas, aber mit Zielinkonsistenzproblemen
  3. Zeitliche Darstellungslernaufgaben: Entwurf verschiedener Strategien zur Erfassung von Graphenstrukturänderungen

Prompt-Learning für dynamische Graphen

Bestehende Methoden wie DyGPrompt und TIGPrompt entwerfen zeitbewusste und knotenbewusste Prompts, vernachlässigen aber den Einfluss historischer Ereignisse. EVP füllt diese Lücke.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Historisches Ereigniswissen ist entscheidend: EVP verbessert die Leistung des Lernens auf dynamischen Graphen erheblich durch die Nutzung historischer Ereignisse
  2. Starke Universalität: Als Plug-in kann es verschiedene bestehende Methoden verbessern
  3. Angemessenes Design: Sowohl der ereignisadaptive als auch der Aggregationsmechanismus tragen wesentlich zur Leistungsverbesserung bei

Einschränkungen

  1. Rechenkomplexität: Erfordert Extraktion und Verarbeitung von K historischen Ereignissen für jeden Knoten
  2. Hyperparameter-Empfindlichkeit: Der K-Wert muss für verschiedene Aufgaben optimiert werden
  3. Begrenzte Ereignisdefinition: Berücksichtigt derzeit nur Interaktionsereignisse zwischen Knoten
  4. Unzureichende Interpretierbarkeit: Mangel an tiefgehender Analyse erlernter Ereignismuster

Zukünftige Richtungen

  1. Komplexere Ereignismodellierung: Berücksichtigung von Ereignistypen, Intensität und anderen Attributen
  2. Adaptive Ereignisauswahl: Dynamische Bestimmung der optimalen Anzahl historischer Ereignisse für jeden Knoten
  3. Theoretische Analyse: Bereitstellung theoretischer Garantien für die Effektivität von EVP
  4. Großflächige Anwendungen: Validierung auf größeren realen dynamischen Graphen

Tiefgehende Bewertung

Stärken

  1. Starke Innovativität: Erstmalige Einführung ereignisgesteuerter Mechanismen beim Prompt-Learning für dynamische Graphen, füllt wichtige Lücke
  2. Geschickter Entwurf: Ereignisadaptive und Aggregationsmechanismen sind angemessen konzipiert und berücksichtigen sowohl zeitliche als auch Mustereigenschaften
  3. Umfangreiche Experimente: Validierung auf mehreren Datensätzen und Aufgaben mit detaillierten Ablationsstudien und Plug-in-Effektanalysen
  4. Hoher praktischer Wert: Das Plug-in-Design ermöglicht einfache Anwendung auf bestehende Methoden
  5. Signifikante Leistungsverbesserungen: Erreicht bemerkenswerte Leistungsverbesserungen in allen Testszenarien

Schwächen

  1. Schwache theoretische Grundlagen: Mangel an theoretischer Analyse, warum historische Ereignisse wirksam sind
  2. Unzureichende Analyse des Rechenaufwands: Fehlende detaillierte Analyse der zusätzlichen Rechen- und Speicherkosten
  3. Vereinfachte Ereignismodellierung: Modellierung von Ereignissen als einfache Knotenpaare-Interaktionen kann wichtige Informationen verlieren
  4. Datensatz-Einschränkungen: Hauptsächlich Validierung auf relativ kleinen Datensätzen, mangelnde großflächige Validierung
  5. Unzureichende Interpretierbarkeit: Keine Analyse und Visualisierung erlernter historischer Ereignismuster

Einfluss

  1. Akademischer Beitrag: Bietet neue Forschungsrichtungen und Ideen für das Lernfeld auf dynamischen Graphen
  2. Praktischer Wert: Die Plug-in-Eigenschaft ermöglicht einfache Übernahme durch die Gemeinschaft
  3. Inspirationskraft: Kann weitere Forschung zur Ereignismodellierung bei der Graphenentwicklung inspirieren
  4. Reproduzierbarkeit: Bietet detaillierte Implementierungsdetails und Hyperparameter-Einstellungen

Anwendungsszenarien

  1. Analyse sozialer Netzwerke: Benutzerverhaltensprognose, Analyse der Gemeinschaftsentwicklung
  2. Empfehlungssysteme: Dynamische Empfehlungen basierend auf historischen Interaktionen
  3. Wissensgrafen: Zeitliche Entwicklungsmodellierung von Entitätsbeziehungen
  4. Bioinformatik: Dynamische Analyse von Proteininteraktionsnetzwerken
  5. Finanzielle Risikokontrolle: Anomalieerkennung in Transaktionsnetzwerken

Literaturverzeichnis

Das Papier zitiert wichtige Arbeiten aus den Bereichen Lernen auf dynamischen Graphen, Graphenneuronale Netze und Prompt-Learning und bietet Lesern umfassendes Hintergrundwissen. Wichtige Referenzen umfassen klassische Methoden für dynamische Graphen wie TGN und TGAT sowie Prompt-Learning-Methoden wie GraphPrompt und DyGPrompt.

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das einen wichtigen Beitrag zum Bereich des Prompt-Learning für dynamische Graphen leistet. Das EVP-Framework ist angemessen konzipiert, die experimentelle Validierung ist umfassend und es hat hohen praktischen Wert und akademische Bedeutung. Trotz einiger theoretischer und experimenteller Mängel stellt es insgesamt einen wichtigen Fortschritt in diesem Bereich dar.