Apprentissage par Invite Sensible aux Événements pour les Graphes Dynamiques

Informations Fondamentales

• ID de l'article: 2510.11339
• Titre: Event-Aware Prompt Learning for Dynamic Graphs
• Auteurs: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
• Institutions: ¹Université de Gestion de Singapour, ²Université des Sciences et Technologies de Chine
• Classification: cs.LG cs.AI
• Date de publication: 13 octobre 2025 (prépublication arXiv)
• Lien de l'article: https://arxiv.org/abs/2510.11339

Résumé

Les graphes du monde réel évoluent généralement à travers une série d'événements, modélisant les interactions dynamiques entre objets dans différents domaines. Dans l'apprentissage sur graphes dynamiques, les réseaux de neurones sur graphes dynamiques (DGNNs) sont devenus la solution dominante. Récemment, les méthodes d'apprentissage par invite ont été explorées sur les graphes dynamiques. Cependant, les méthodes existantes se concentrent principalement sur la capture de la relation entre nœuds et temps, en ignorant l'influence des événements historiques. Cet article propose EVP, un cadre d'apprentissage par invite pour graphes dynamiques sensible aux événements, qui peut servir de module complémentaire pour améliorer la capacité des méthodes existantes à exploiter les connaissances d'événements historiques. Premièrement, nous extrayons une série d'événements historiques pour chaque nœud et introduisons un mécanisme d'adaptation aux événements pour aligner les caractéristiques granulaires de ces événements avec les tâches en aval. Deuxièmement, nous proposons un mécanisme d'agrégation d'événements pour intégrer efficacement les connaissances historiques dans les représentations de nœuds. Enfin, nous menons des expériences approfondies sur quatre ensembles de données publics pour évaluer et analyser EVP.

Contexte de Recherche et Motivation

Définition du Problème

Le problème central que cette recherche vise à résoudre est : comment exploiter efficacement les connaissances d'événements historiques dans l'apprentissage sur graphes dynamiques pour améliorer les performances des tâches en aval. Cela comprend spécifiquement :

1. Incohérence entre préentraînement et objectifs des tâches en aval : Les DGNNs traditionnels sont généralement entraînés sur des tâches de prédiction de liens, mais les tâches en aval peuvent être la classification de nœuds, créant une divergence d'objectifs
2. Négligence de l'influence des événements historiques : Les méthodes existantes d'apprentissage par invite pour graphes dynamiques se concentrent principalement sur les relations nœud-temps, en ignorant les connaissances d'événements historiques dans le processus d'évolution du graphe

Importance

1. Pertinence pratique : Les structures de graphes du monde réel évoluent à travers des séquences d'événements, tels que les publications d'utilisateurs sur Reddit, la création de pages sur Wikipedia, etc.
2. Amélioration des performances : Les événements historiques contiennent des connaissances précieuses qui peuvent prédire les événements futurs et améliorer l'apprentissage de représentations temporelles de nœuds
3. Efficacité des paramètres : L'apprentissage par invite ne nécessite que l'ajustement d'invites légères, particulièrement efficace dans les scénarios à faibles ressources

Limitations des Méthodes Existantes

1. DGNNs traditionnels : Souffrent du problème d'incohérence entre préentraînement et objectifs des tâches en aval
2. Méthodes de préentraînement sur graphes dynamiques : Font face aux mêmes difficultés de transfert de connaissances dues à l'incohérence d'objectifs
3. Apprentissage par invite existant pour graphes dynamiques : Des méthodes comme DyGPrompt et TIGPrompt ne considèrent que les interactions nœud-temps, ignorant les informations d'évolution structurelle des événements historiques

Contributions Principales

1. Proposition du cadre EVP : Premier cadre d'apprentissage par invite pour graphes dynamiques sensible aux événements, pouvant servir de module complémentaire pour améliorer les méthodes existantes d'apprentissage sur graphes dynamiques
2. Mécanisme d'adaptation aux événements : Conception d'invites d'événements pour capturer les caractéristiques granulaires des événements historiques, adaptées aux besoins des tâches en aval
3. Mécanisme d'agrégation d'événements : Combinaison d'invites dynamiques et de fonctions d'amortissement temporel pour intégrer efficacement les connaissances d'événements historiques
4. Vérification expérimentale approfondie : Validation de l'efficacité d'EVP et de son universalité en tant que module complémentaire sur quatre ensembles de données de référence

Explication Détaillée de la Méthode

Définition de la Tâche

• Entrée : Graphe dynamique G = (V, E, T), où V est l'ensemble des nœuds, E est l'ensemble des arêtes, T est l'axe temporel
• Définition d'événement : Chaque arête (vᵢ, vⱼ, t) ∈ E représente un événement d'interaction du nœud vᵢ au nœud vⱼ au temps t
• Objectif : Exploiter les connaissances d'événements historiques pour améliorer les performances des tâches de prédiction de liens temporels et de classification de nœuds

Architecture du Modèle

1. Extraction d'Événements (Event Extraction)

Pour le nœud v au temps t, nous extrayons K événements historiques :

Eᵥ,ₜ = {E¹ᵥ,ₜ, E²ᵥ,ₜ, ..., Eᴷᵥ,ₜ}

Chaque événement est représenté comme :

Eᵏᵥ,ₜ = (v, uᵏᵥ,ₜ, zᵏᵥ,ₜ)

où zᵏᵥ,ₜ est le temps d'occurrence du k-ième événement, et uᵏᵥ,ₜ est le nœud objet de l'interaction.

2. Mécanisme d'Adaptation aux Événements (Event Adaptation)

Nous calculons d'abord l'intégration d'événement :

eᵏᵥ,ₜ = FUSE(hᵥ, huᵏᵥ,ₜ)

Ensuite, nous effectuons l'adaptation via l'invite d'événement :

êᵏᵥ,ₜ = pₑ ⊙ eᵏᵥ,ₜ

où pₑ est un vecteur d'invite d'événement apprenable, et ⊙ représente la multiplication élément par élément.

3. Mécanisme d'Agrégation d'Événements (Event Aggregation)

Combinaison de la fonction d'amortissement temporel et de l'invite dynamique :

ẽᵥ,ₜ = Σᵏ₌₁ᴷ pᵏₐᵧ · êᵏᵥ,ₜ

où pₐᵧ ∈ ℝᴷ est l'invite dynamique, et pᵏₐᵧ est sa k-ième dimension.

Nous considérons également l'amortissement temporel :

êᵥ,ₜ = Σᵏ₌₁ᴷ exp(t - zᵏᵥ,ₜ) · êᵏᵥ,ₜ

4. Ajustement d'Invite (Prompt Tuning)

Intégration de l'intégration d'événements historiques avec l'intégration de nœud :

ĥᵥ,ₜ = hᵥ,ₜ + ẽᵥ,ₜ

Points d'Innovation Technique

1. Introduction pour la première fois de la sensibilité aux événements : Contrairement aux méthodes existantes, EVP modélise explicitement l'influence des événements historiques sur le comportement actuel
2. Stratégie d'agrégation à deux niveaux : Combinaison de l'amortissement temporel (reflétant la proximité temporelle) et de l'invite dynamique (capturant la similarité de motifs)
3. Conception enfichable : Peut s'intégrer de manière transparente dans les DGNNs, les méthodes de préentraînement et les méthodes d'apprentissage par invite
4. Modélisation d'événements granulaire : Adaptation des caractéristiques d'événements granulaires à des tâches en aval spécifiques via des invites d'événements

Configuration Expérimentale

Ensembles de Données

Utilisation de quatre ensembles de données de référence :

Métriques d'Évaluation

• Prédiction de liens : AUC-ROC
• Classification de nœuds : AUC-ROC
• Support des paramètres transductif et inductif

Méthodes de Comparaison

Incluant quatre catégories de méthodes de base :

1. DGNNs traditionnels : ROLAND, TGAT, TGN, TREND, GraphMixer
2. Préentraînement sur graphes dynamiques : DDGCL, CPDG
3. Apprentissage par invite sur graphes statiques : GraphPrompt, ProG
4. Apprentissage par invite sur graphes dynamiques : TIGPrompt, DyGPrompt

Détails d'Implémentation

• Division des données : 80% préentraînement, 20% tâches en aval (1%/1%/18% pour entraînement/validation/test)
• Configuration à faibles ressources : Utilisation de seulement 30 événements pour l'ajustement en aval
• Construction de 100 tâches différentes par échantillonnage répété, chaque tâche exécutée 5 fois avec moyenne

Résultats Expérimentaux

Résultats Principaux

EVP a atteint les meilleures performances sur toutes les tâches :

Prédiction de Liens Temporels (Transductif) :

• Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
• Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
• MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
• Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

Classification de Nœuds :

• Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
• Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
• MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

Vérification de l'Effet de Module Complémentaire

EVP en tant que module complémentaire peut améliorer significativement les performances de 7 méthodes différentes :

Exemple avec TGAT :

• Prédiction de liens transductif : Amélioration de 55.78% à 76.50% (Wikipedia)
• Prédiction de liens inductif : Amélioration de 48.21% à 76.65% (Wikipedia)
• Classification de nœuds : Amélioration de 67.00% à 79.03% (Wikipedia)

Étude d'Ablation

Comparaison de trois variantes d'EVP :

• EVP-EP : Utilisation uniquement de l'invite d'événement, agrégation par somme directe
• EVP-DP : Utilisation uniquement de l'invite dynamique, sans amortissement temporel
• EVP-TD : Utilisation uniquement de l'amortissement temporel, sans invite dynamique

Les résultats montrent que l'EVP complet surpasse les variantes dans tous les paramètres, prouvant la nécessité de chaque composant.

Analyse de Sensibilité aux Hyperparamètres

L'analyse du nombre d'événements historiques K montre :

• Prédiction de liens : Performance optimale à K=9
• Classification de nœuds : Performance optimale à K=3
• Un trop grand nombre d'événements historiques peut introduire du bruit, réduisant les performances

Travaux Connexes

Apprentissage sur Graphes Dynamiques

1. DGNNs : Agrégation dynamique des informations de voisinage en tenant compte des facteurs temporels pour mettre à jour les intégrations de nœuds
2. Préentraînement sur graphes dynamiques : Adoption du paradigme « préentraînement-affinage », mais souffrant du problème d'incohérence d'objectifs
3. Apprentissage de représentations temporelles : Conception de différentes stratégies pour capturer les changements de structure de graphe

Apprentissage par Invite pour Graphes Dynamiques

Les méthodes existantes comme DyGPrompt et TIGPrompt conçoivent des invites sensibles au temps et aux nœuds, mais ignorent l'influence des événements historiques. EVP comble cette lacune.

Conclusion et Discussion

Conclusions Principales

1. Les connaissances d'événements historiques sont cruciales : EVP améliore significativement les performances de l'apprentissage sur graphes dynamiques en exploitant les événements historiques
2. Forte universalité : En tant que module complémentaire, il peut améliorer plusieurs méthodes existantes
3. Conception rationnelle : Les mécanismes d'adaptation et d'agrégation d'événements contribuent tous de manière importante à l'amélioration des performances

Limitations

1. Complexité computationnelle : Nécessite l'extraction et le traitement de K événements historiques pour chaque nœud
2. Sensibilité aux hyperparamètres : La valeur de K nécessite un ajustement pour différentes tâches
3. Limitations de la définition d'événement : Considère actuellement uniquement les événements d'interaction entre nœuds
4. Manque d'interprétabilité : Absence d'analyse approfondie des motifs d'événements appris

Directions Futures

1. Modélisation d'événements plus complexe : Considération des attributs d'événements tels que le type et l'intensité
2. Sélection d'événements adaptative : Détermination dynamique du nombre optimal d'événements historiques pour chaque nœud
3. Analyse théorique : Fourniture de garanties théoriques pour l'efficacité d'EVP
4. Applications à grande échelle : Validation sur des graphes dynamiques du monde réel plus volumineux

Évaluation Approfondie

Points Forts

1. Forte innovativité : Introduction pour la première fois de la sensibilité aux événements dans l'apprentissage par invite pour graphes dynamiques, comblant une lacune importante
2. Conception ingénieuse : Les mécanismes d'adaptation et d'agrégation d'événements sont bien conçus, équilibrant temporalité et similarité de motifs
3. Expérimentation approfondie : Validation sur plusieurs ensembles de données et tâches, incluant des études d'ablation détaillées et une analyse des effets de module complémentaire
4. Valeur pratique élevée : La conception enfichable la rend facile à appliquer aux méthodes existantes
5. Amélioration significative des performances : Amélioration notable des performances dans tous les scénarios testés

Insuffisances

1. Fondations théoriques faibles : Manque d'analyse théorique sur pourquoi les événements historiques sont efficaces
2. Analyse insuffisante des frais généraux computationnels : Pas d'analyse détaillée des surcharges de calcul et de stockage ajoutées
3. Modélisation d'événements simplifiée : Modélisation des événements simplement comme interactions entre paires de nœuds, pouvant perdre des informations importantes
4. Limitations des ensembles de données : Validation principalement sur des ensembles de données relativement petits, manquant de validation à grande échelle
5. Manque d'interprétabilité : Absence d'analyse et de visualisation des motifs d'événements historiques appris

Impact

1. Contribution académique : Fournit une nouvelle direction et perspective de recherche au domaine de l'apprentissage sur graphes dynamiques
2. Valeur pratique : La caractéristique enfichable la rend facile à adopter par la communauté
3. Caractère inspirant : Peut inspirer davantage de recherches sur la modélisation d'événements dans l'évolution de graphes
4. Reproductibilité : Fournit des détails d'implémentation détaillés et des paramètres

Scénarios d'Application

1. Analyse de réseaux sociaux : Prédiction du comportement des utilisateurs, analyse de l'évolution des communautés
2. Systèmes de recommandation : Recommandation dynamique basée sur les interactions historiques
3. Graphes de connaissances : Modélisation de l'évolution temporelle des relations d'entités
4. Bioinformatique : Analyse dynamique des réseaux d'interactions protéiques
5. Gestion des risques financiers : Détection d'anomalies dans les réseaux de transactions

Références

L'article cite des travaux importants dans les domaines de l'apprentissage sur graphes dynamiques, des réseaux de neurones sur graphes et de l'apprentissage par invite, fournissant aux lecteurs des connaissances contextuelles complètes. Les références principales incluent des méthodes classiques de graphes dynamiques comme TGN et TGAT, ainsi que des méthodes d'apprentissage par invite comme GraphPrompt et DyGPrompt.

Évaluation Globale : Ceci est un article de recherche de haute qualité qui apporte une contribution importante au domaine de l'apprentissage par invite pour graphes dynamiques. Le cadre EVP est bien conçu, la vérification expérimentale est approfondie et il possède une excellente valeur pratique et une importance académique. Malgré certaines insuffisances sur le plan théorique et expérimental, c'est globalement un progrès important dans ce domaine.