Apprendimento di Prompt Consapevole degli Eventi per Grafi Dinamici

Informazioni Fondamentali

• ID Articolo: 2510.11339
• Titolo: Event-Aware Prompt Learning for Dynamic Graphs
• Autori: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
• Istituzioni: ¹Singapore Management University, ²University of Science and Technology of China
• Classificazione: cs.LG cs.AI
• Data di Pubblicazione: 13 ottobre 2025 (preprint arXiv)
• Link dell'Articolo: https://arxiv.org/abs/2510.11339

Riassunto

I grafi nel mondo reale si evolvono tipicamente attraverso una serie di eventi, modellando interazioni dinamiche tra oggetti in diversi domini. Nell'apprendimento su grafi dinamici, le reti neurali su grafi dinamici (DGNNs) sono diventate la soluzione prevalente. Recentemente, i metodi di apprendimento di prompt sono stati esplorati su grafi dinamici. Tuttavia, i metodi esistenti si concentrano principalmente sulla cattura della relazione tra nodi e tempo, trascurando l'influenza degli eventi storici. Questo articolo propone EVP, un framework di apprendimento di prompt per grafi dinamici consapevole degli eventi, che può fungere da plugin per migliorare la capacità dei metodi esistenti di sfruttare la conoscenza degli eventi storici. In primo luogo, estraiamo una serie di eventi storici per ogni nodo e introduciamo un meccanismo di adattamento degli eventi per allineare le caratteristiche a grana fine di questi eventi con il compito a valle. In secondo luogo, proponiamo un meccanismo di aggregazione degli eventi per integrare efficacemente la conoscenza storica nella rappresentazione dei nodi. Infine, conduciamo esperimenti estesi su quattro dataset pubblici per valutare e analizzare EVP.

Contesto di Ricerca e Motivazione

Definizione del Problema

Il problema centrale affrontato da questa ricerca è: come sfruttare efficacemente la conoscenza degli eventi storici nell'apprendimento su grafi dinamici per migliorare le prestazioni dei compiti a valle. Ciò include specificamente:

1. Incoerenza tra preaddestramento e compiti a valle: I DGNNs tradizionali sono solitamente addestrati su compiti di predizione di link, ma i compiti a valle potrebbero essere classificazione di nodi, causando una divergenza di obiettivi
2. Trascuramento dell'influenza degli eventi storici: I metodi esistenti di apprendimento di prompt per grafi dinamici si concentrano principalmente sulla relazione nodo-tempo, trascurando la conoscenza degli eventi storici nel processo di evoluzione del grafo

Importanza

1. Significato Pratico: Le strutture di grafi reali si evolvono attraverso sequenze di eventi, come utenti che pubblicano su Reddit, creano pagine su Wikipedia, ecc.
2. Miglioramento delle Prestazioni: Gli eventi storici contengono conoscenza preziosa che può predire eventi futuri e migliorare l'apprendimento di rappresentazioni temporali dei nodi
3. Efficienza dei Parametri: L'apprendimento di prompt richiede solo l'aggiustamento di prompt leggeri, particolarmente efficace in scenari a basse risorse

Limitazioni dei Metodi Esistenti

1. DGNNs Tradizionali: Soffrono del problema di incoerenza tra preaddestramento e compiti a valle
2. Metodi di Preaddestramento su Grafi Dinamici: Affrontano analogamente difficoltà nel trasferimento di conoscenza dovute all'incoerenza di obiettivi
3. Apprendimento di Prompt Esistente per Grafi Dinamici: Metodi come DyGPrompt e TIGPrompt considerano solo interazioni nodo-tempo, trascurando le informazioni di evoluzione strutturale degli eventi storici

Contributi Fondamentali

1. Proposta del Framework EVP: Il primo framework di apprendimento di prompt per grafi dinamici consapevole degli eventi, che può fungere da plugin per migliorare i metodi esistenti di apprendimento su grafi dinamici
2. Meccanismo di Adattamento degli Eventi: Progettazione di prompt di eventi per catturare caratteristiche a grana fine degli eventi storici, adattandosi alle esigenze dei compiti a valle
3. Meccanismo di Aggregazione degli Eventi: Combinazione di prompt dinamici e funzioni di decadimento temporale per integrare efficacemente la conoscenza degli eventi storici
4. Verifica Sperimentale Estesa: Validazione dell'efficacia di EVP e della sua generalità come plugin su quattro dataset di benchmark

Spiegazione Dettagliata del Metodo

Definizione del Compito

• Input: Grafo dinamico G = (V, E, T), dove V è l'insieme dei nodi, E è l'insieme degli archi, T è l'asse temporale
• Definizione dell'Evento: Ogni arco (vᵢ, vⱼ, t) ∈ E rappresenta un evento di interazione dal nodo vᵢ al nodo vⱼ al tempo t
• Obiettivo: Sfruttare la conoscenza degli eventi storici per migliorare le prestazioni nei compiti di predizione di link temporali e classificazione di nodi

Architettura del Modello

1. Estrazione degli Eventi (Event Extraction)

Per il nodo v al tempo t, estraiamo K eventi storici:

Eᵥ,ₜ = {E¹ᵥ,ₜ, E²ᵥ,ₜ, ..., Eᴷᵥ,ₜ}

Ogni evento è rappresentato come:

Eᵏᵥ,ₜ = (v, uᵏᵥ,ₜ, zᵏᵥ,ₜ)

dove zᵏᵥ,ₜ è il tempo in cui si è verificato il k-esimo evento, e uᵏᵥ,ₜ è il nodo dell'oggetto interagente.

2. Meccanismo di Adattamento degli Eventi (Event Adaptation)

Innanzitutto, calcoliamo l'embedding dell'evento:

eᵏᵥ,ₜ = FUSE(hᵥ, huᵏᵥ,ₜ)

Quindi adattiamo attraverso il prompt dell'evento:

êᵏᵥ,ₜ = pₑ ⊙ eᵏᵥ,ₜ

dove pₑ è un vettore di prompt dell'evento apprendibile, e ⊙ denota la moltiplicazione elemento per elemento.

3. Meccanismo di Aggregazione degli Eventi (Event Aggregation)

Combinazione di funzione di decadimento temporale e prompt dinamico:

ẽᵥ,ₜ = Σᵏ₌₁ᴷ pᵏ_dy · êᵏᵥ,ₜ

dove p_dy ∈ ℝᴷ è il prompt dinamico, e pᵏ_dy è la sua k-esima dimensione.

Considerando contemporaneamente il decadimento temporale:

êᵥ,ₜ = Σᵏ₌₁ᴷ exp(t - zᵏᵥ,ₜ) · êᵏᵥ,ₜ

4. Ottimizzazione del Prompt (Prompt Tuning)

Integrazione dell'embedding degli eventi storici con l'embedding del nodo:

ĥᵥ,ₜ = hᵥ,ₜ + ẽᵥ,ₜ

Punti di Innovazione Tecnica

1. Introduzione della Consapevolezza degli Eventi: Diversamente dai metodi esistenti, EVP modella esplicitamente l'influenza degli eventi storici sul comportamento attuale
2. Strategia di Aggregazione Doppia: Combinazione di decadimento temporale (che riflette la prossimità temporale) e prompt dinamico (che cattura la similarità di pattern)
3. Progettazione Plug-and-Play: Può integrarsi senza soluzione di continuità in DGNNs, metodi di preaddestramento e metodi di apprendimento di prompt
4. Modellazione degli Eventi a Grana Fine: Adattamento delle caratteristiche degli eventi attraverso prompt di eventi a compiti a valle specifici

Configurazione Sperimentale

Dataset

Utilizziamo quattro dataset di benchmark:

Metriche di Valutazione

• Predizione di Link: AUC-ROC
• Classificazione di Nodi: AUC-ROC
• Supporto sia per impostazioni transduttive che induttive

Metodi di Confronto

Includono quattro categorie di metodi baseline:

1. DGNNs Tradizionali: ROLAND, TGAT, TGN, TREND, GraphMixer
2. Preaddestramento su Grafi Dinamici: DDGCL, CPDG
3. Apprendimento di Prompt su Grafi Statici: GraphPrompt, ProG
4. Apprendimento di Prompt su Grafi Dinamici: TIGPrompt, DyGPrompt

Dettagli di Implementazione

• Divisione dei dati: 80% preaddestramento, 20% compiti a valle (1%/1%/18% per addestramento/validazione/test)
• Impostazione a basse risorse: utilizzo di soli 30 eventi per l'ottimizzazione a valle
• Campionamento ripetuto 100 volte per costruire diversi compiti, ogni compito eseguito 5 volte per la media

Risultati Sperimentali

Risultati Principali

EVP ha raggiunto le migliori prestazioni su tutti i compiti:

Predizione di Link Temporale (Transduttiva):

• Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
• Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
• MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
• Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

Classificazione di Nodi:

• Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
• Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
• MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

Verifica dell'Effetto Plug-and-Play

EVP come plugin ha significativamente migliorato le prestazioni di 7 diversi metodi:

Usando TGAT come esempio:

• Predizione di link transduttiva: miglioramento da 55.78% a 76.50% (Wikipedia)
• Predizione di link induttiva: miglioramento da 48.21% a 76.65% (Wikipedia)
• Classificazione di nodi: miglioramento da 67.00% a 79.03% (Wikipedia)

Esperimenti di Ablazione

Confronto di tre varianti di EVP:

• EVP-EP: Utilizzo solo del prompt dell'evento, aggregazione diretta per somma
• EVP-DP: Utilizzo solo del prompt dinamico, senza decadimento temporale
• EVP-TD: Utilizzo solo del decadimento temporale, senza prompt dinamico

I risultati mostrano che l'EVP completo supera le varianti in tutte le impostazioni, provando la necessità di ogni componente.

Analisi di Sensibilità degli Iperparametri

L'analisi del numero di eventi storici K mostra:

• Predizione di Link: Prestazioni ottimali con K=9
• Classificazione di Nodi: Prestazioni ottimali con K=3
• Un numero eccessivo di eventi storici può introdurre rumore, riducendo le prestazioni

Lavori Correlati

Apprendimento su Grafi Dinamici

1. DGNNs: Aggregazione dinamica delle informazioni dei vicini attraverso fattori temporali per aggiornare gli embedding dei nodi
2. Preaddestramento su Grafi Dinamici: Adozione del paradigma "preaddestramento-fine-tuning", ma con problemi di incoerenza di obiettivi
3. Apprendimento di Rappresentazioni Temporali: Progettazione di diverse strategie per catturare i cambiamenti della struttura del grafo

Apprendimento di Prompt per Grafi Dinamici

Metodi esistenti come DyGPrompt e TIGPrompt progettano prompt consapevoli del tempo e dei nodi, ma trascurano l'influenza degli eventi storici. EVP colma questa lacuna.

Conclusioni e Discussione

Conclusioni Principali

1. La Conoscenza degli Eventi Storici è Cruciale: EVP ha significativamente migliorato le prestazioni dell'apprendimento su grafi dinamici sfruttando gli eventi storici
2. Forte Generalità: Come plugin può migliorare diversi metodi esistenti
3. Progettazione Razionale: Sia il meccanismo di adattamento degli eventi che quello di aggregazione contribuiscono significativamente al miglioramento delle prestazioni

Limitazioni

1. Complessità Computazionale: Richiede l'estrazione e l'elaborazione di K eventi storici per ogni nodo
2. Sensibilità agli Iperparametri: Il valore di K necessita di ottimizzazione per diversi compiti
3. Limitazioni nella Definizione degli Eventi: Attualmente considera solo eventi di interazione tra nodi
4. Insufficiente Interpretabilità: Manca un'analisi approfondita dei pattern di eventi appresi

Direzioni Future

1. Modellazione degli Eventi più Complessa: Considerazione di attributi degli eventi come tipo e intensità
2. Selezione Adattiva degli Eventi: Determinazione dinamica del numero ottimale di eventi storici per ogni nodo
3. Analisi Teorica: Fornitura di garanzie teoriche per l'efficacia di EVP
4. Applicazioni su Larga Scala: Validazione su grafi dinamici reali di maggiore dimensione

Valutazione Approfondita

Punti di Forza

1. Forte Innovatività: Prima introduzione della consapevolezza degli eventi nell'apprendimento di prompt per grafi dinamici, colmando un'importante lacuna
2. Progettazione Ingegnosa: I meccanismi di adattamento e aggregazione degli eventi sono progettati razionalmente, bilanciando temporalità e pattern
3. Esperimenti Completi: Validazione su più dataset e compiti, con dettagliati esperimenti di ablazione e analisi dell'effetto plug-and-play
4. Elevato Valore Pratico: La progettazione plug-and-play la rende facile da applicare ai metodi esistenti
5. Miglioramenti Significativi delle Prestazioni: Raggiungimento di miglioramenti notevoli in tutti gli scenari di test

Insufficienze

1. Fondamenti Teorici Deboli: Manca l'analisi teorica del perché gli eventi storici siano efficaci
2. Analisi Insufficiente dei Costi Computazionali: Mancanza di analisi dettagliata dei costi computazionali e di archiviazione aggiunti
3. Modellazione Semplificata degli Eventi: La modellazione degli eventi come semplici interazioni tra coppie di nodi potrebbe perdere informazioni importanti
4. Limitazioni dei Dataset: Validazione principalmente su dataset relativamente piccoli, mancanza di validazione su larga scala
5. Insufficiente Interpretabilità: Mancanza di analisi e visualizzazione dei pattern di eventi storici appresi

Impatto

1. Contributo Accademico: Fornisce una nuova direzione di ricerca e prospettive al campo dell'apprendimento su grafi dinamici
2. Valore Pratico: La caratteristica plug-and-play la rende facilmente adottabile dalla comunità
3. Capacità Ispirativa: Potrebbe ispirare ulteriori ricerche sulla modellazione degli eventi nell'evoluzione dei grafi
4. Riproducibilità: Fornisce dettagli di implementazione e impostazioni di iperparametri dettagliati

Scenari Applicabili

1. Analisi di Reti Sociali: Predizione del comportamento degli utenti, analisi dell'evoluzione delle comunità
2. Sistemi di Raccomandazione: Raccomandazione dinamica basata su interazioni storiche
3. Grafi di Conoscenza: Modellazione dell'evoluzione temporale delle relazioni tra entità
4. Bioinformatica: Analisi dinamica delle reti di interazione proteica
5. Gestione del Rischio Finanziario: Rilevamento di anomalie nelle reti di transazioni

Bibliografia

L'articolo cita lavori importanti nei campi dell'apprendimento su grafi dinamici, reti neurali su grafi e apprendimento di prompt, fornendo ai lettori una conoscenza di base completa. Le principali referenze includono metodi classici di grafi dinamici come TGN e TGAT, nonché metodi di apprendimento di prompt come GraphPrompt e DyGPrompt.

Valutazione Complessiva: Questo è un articolo di ricerca di alta qualità che fornisce contributi importanti nel campo dell'apprendimento di prompt per grafi dinamici. Il framework EVP è progettato razionalmente, la verifica sperimentale è completa e ha un elevato valore pratico e significato accademico. Nonostante alcune insufficienze negli aspetti teorici e sperimentali, rappresenta nel complesso un importante progresso in questo campo.