Aprendizaje de Indicaciones Conscientes de Eventos para Grafos Dinámicos

Información Básica

• ID del Artículo: 2510.11339
• Título: Event-Aware Prompt Learning for Dynamic Graphs
• Autores: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
• Instituciones: ¹Universidad de Gestión de Singapur, ²Universidad de Ciencia y Tecnología de China
• Clasificación: cs.LG cs.AI
• Fecha de Publicación: 13 de octubre de 2025 (preimpresión en arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.11339

Resumen

Los grafos del mundo real evolucionan típicamente a través de una serie de eventos, modelando interacciones dinámicas entre objetos en diferentes dominios. En el aprendizaje de grafos dinámicos, las redes neuronales de grafos dinámicos (DGNNs) se han convertido en la solución predominante. Recientemente, se han explorado métodos de aprendizaje de indicaciones en grafos dinámicos. Sin embargo, los métodos existentes se centran principalmente en capturar la relación entre nodos y tiempo, ignorando el impacto de eventos históricos. Este artículo propone EVP, un marco de aprendizaje de indicaciones para grafos dinámicos consciente de eventos, que puede funcionar como complemento para mejorar la capacidad de los métodos existentes de utilizar conocimiento de eventos históricos. En primer lugar, se extrae una serie de eventos históricos para cada nodo y se introduce un mecanismo de adaptación de eventos para alinear características de grano fino de estos eventos con tareas posteriores. En segundo lugar, se propone un mecanismo de agregación de eventos para integrar efectivamente el conocimiento histórico en las representaciones de nodos. Finalmente, se realizan experimentos extensos en cuatro conjuntos de datos públicos para evaluar y analizar EVP.

Contexto de Investigación y Motivación

Definición del Problema

El problema central que aborda esta investigación es: ¿cómo utilizar efectivamente el conocimiento de eventos históricos en el aprendizaje de grafos dinámicos para mejorar el rendimiento de tareas posteriores? Esto incluye específicamente:

1. Inconsistencia entre objetivos de preentrenamiento y tareas posteriores: Los DGNNs tradicionales se entrenan típicamente en tareas de predicción de enlaces, pero las tareas posteriores pueden ser clasificación de nodos, lo que causa una divergencia de objetivos
2. Ignorancia del impacto de eventos históricos: Los métodos existentes de aprendizaje de indicaciones para grafos dinámicos se centran principalmente en relaciones nodo-tiempo, ignorando el conocimiento de eventos históricos en el proceso de evolución del grafo

Importancia

1. Significado Práctico: Las estructuras de grafos del mundo real evolucionan a través de secuencias de eventos, como publicaciones de usuarios en Reddit o creación de páginas en Wikipedia
2. Mejora de Rendimiento: Los eventos históricos contienen conocimiento valioso que puede predecir eventos futuros y mejorar el aprendizaje de representaciones temporales de nodos
3. Eficiencia de Parámetros: El aprendizaje de indicaciones solo requiere ajustar indicaciones ligeras, siendo especialmente efectivo en escenarios de bajos recursos

Limitaciones de Métodos Existentes

1. DGNNs Tradicionales: Sufren del problema de inconsistencia entre objetivos de preentrenamiento y tareas posteriores
2. Métodos de Preentrenamiento de Grafos Dinámicos: Enfrentan la misma dificultad de transferencia de conocimiento causada por inconsistencia de objetivos
3. Aprendizaje de Indicaciones Existente para Grafos Dinámicos: Métodos como DyGPrompt y TIGPrompt solo consideran interacciones nodo-tiempo, ignorando la información de evolución estructural de eventos históricos

Contribuciones Principales

1. Propuesta del Marco EVP: El primer marco de aprendizaje de indicaciones para grafos dinámicos consciente de eventos, que puede funcionar como complemento para mejorar métodos existentes de aprendizaje de grafos dinámicos
2. Mecanismo de Adaptación de Eventos: Diseño de indicaciones de eventos para capturar características de grano fino de eventos históricos, adaptándose a requisitos de tareas posteriores
3. Mecanismo de Agregación de Eventos: Combinación de indicaciones dinámicas y funciones de decaimiento temporal para integrar efectivamente conocimiento de eventos históricos
4. Validación Experimental Extensiva: Verificación de la efectividad de EVP y su generalidad como complemento en cuatro conjuntos de datos de referencia

Explicación Detallada del Método

Definición de Tareas

• Entrada: Grafo dinámico G = (V, E, T), donde V es el conjunto de nodos, E es el conjunto de aristas, T es el eje temporal
• Definición de Evento: Cada arista (vᵢ, vⱼ, t) ∈ E representa un evento de interacción del nodo vᵢ al nodo vⱼ en el tiempo t
• Objetivo: Utilizar conocimiento de eventos históricos para mejorar el rendimiento en tareas de predicción de enlaces temporales y clasificación de nodos

Arquitectura del Modelo

1. Extracción de Eventos (Event Extraction)

Para el nodo v en el tiempo t, se extraen K eventos históricos:

Eᵥ,ₜ = {E¹ᵥ,ₜ, E²ᵥ,ₜ, ..., Eᴷᵥ,ₜ}

Cada evento se representa como:

Eᵏᵥ,ₜ = (v, uᵏᵥ,ₜ, zᵏᵥ,ₜ)

donde zᵏᵥ,ₜ es el tiempo en que ocurrió el k-ésimo evento, y uᵏᵥ,ₜ es el nodo objeto de la interacción.

2. Mecanismo de Adaptación de Eventos (Event Adaptation)

Primero se calcula la incrustación del evento:

eᵏᵥ,ₜ = FUSE(hᵥ, huᵏᵥ,ₜ)

Luego se adapta a través de la indicación de evento:

êᵏᵥ,ₜ = pₑ ⊙ eᵏᵥ,ₜ

donde pₑ es un vector de indicación de evento aprendible, y ⊙ denota multiplicación elemento a elemento.

3. Mecanismo de Agregación de Eventos (Event Aggregation)

Se combinan la función de decaimiento temporal y la indicación dinámica:

ẽᵥ,ₜ = Σᵏ₌₁ᴷ pᵏ_dy · êᵏᵥ,ₜ

donde p_dy ∈ Rᴷ es la indicación dinámica, y pᵏ_dy es su k-ésima dimensión.

Simultáneamente se considera el decaimiento temporal:

êᵥ,ₜ = Σᵏ₌₁ᴷ exp(t - zᵏᵥ,ₜ) · êᵏᵥ,ₜ

4. Ajuste de Indicaciones (Prompt Tuning)

Se integra la incrustación de eventos históricos con la incrustación de nodos:

ĥᵥ,ₜ = hᵥ,ₜ + ẽᵥ,ₜ

Puntos de Innovación Técnica

1. Introducción Inaugural de Conciencia de Eventos: A diferencia de métodos existentes, EVP modela explícitamente el impacto de eventos históricos en el comportamiento actual
2. Estrategia de Agregación Dual: Combina decaimiento temporal (reflejando proximidad temporal) e indicaciones dinámicas (capturando similitud de patrones)
3. Diseño Plug-and-Play: Se integra sin problemas en DGNNs, métodos de preentrenamiento y métodos de aprendizaje de indicaciones
4. Modelado de Eventos de Grano Fino: Adapta características de eventos específicos a través de indicaciones de eventos para tareas posteriores concretas

Configuración Experimental

Conjuntos de Datos

Se utilizan cuatro conjuntos de datos de referencia:

Métricas de Evaluación

• Predicción de Enlaces: AUC-ROC
• Clasificación de Nodos: AUC-ROC
• Soporta configuraciones tanto transductivas como inductivas

Métodos de Comparación

Incluye cuatro categorías de métodos de referencia:

1. DGNNs Tradicionales: ROLAND, TGAT, TGN, TREND, GraphMixer
2. Preentrenamiento de Grafos Dinámicos: DDGCL, CPDG
3. Aprendizaje de Indicaciones para Grafos Estáticos: GraphPrompt, ProG
4. Aprendizaje de Indicaciones para Grafos Dinámicos: TIGPrompt, DyGPrompt

Detalles de Implementación

• División de datos: 80% preentrenamiento, 20% tareas posteriores (1%/1%/18% para entrenamiento/validación/prueba)
• Configuración de bajos recursos: Solo 30 eventos utilizados para ajuste posterior
• 100 muestreos repetidos para construir diferentes tareas, cada tarea ejecutada 5 veces para promediar

Resultados Experimentales

Resultados Principales

EVP logra el mejor rendimiento en todas las tareas:

Predicción de Enlaces Temporales (Transductiva):

• Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
• Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
• MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
• Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

Clasificación de Nodos:

• Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
• Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
• MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

Verificación del Efecto Plug-and-Play

EVP como complemento puede mejorar significativamente el rendimiento de 7 métodos diferentes:

Tomando TGAT como ejemplo:

• Predicción de enlaces transductiva: Mejora de 55.78% a 76.50% (Wikipedia)
• Predicción de enlaces inductiva: Mejora de 48.21% a 76.65% (Wikipedia)
• Clasificación de nodos: Mejora de 67.00% a 79.03% (Wikipedia)

Experimentos de Ablación

Comparación de tres variantes de EVP:

• EVP-EP: Solo utiliza indicaciones de eventos, agregación por suma directa
• EVP-DP: Solo utiliza indicaciones dinámicas, sin decaimiento temporal
• EVP-TD: Solo utiliza decaimiento temporal, sin indicaciones dinámicas

Los resultados muestran que EVP completo supera a las variantes en todas las configuraciones, demostrando la necesidad de cada componente.

Análisis de Sensibilidad de Hiperparámetros

El análisis del número de eventos históricos K muestra:

• Predicción de Enlaces: Mejor rendimiento con K=9
• Clasificación de Nodos: Mejor rendimiento con K=3
• Demasiados eventos históricos pueden introducir ruido, reduciendo el rendimiento

Trabajo Relacionado

Aprendizaje de Grafos Dinámicos

1. DGNNs: Agregan dinámicamente información de vecinos a través de factores temporales para actualizar incrustaciones de nodos
2. Preentrenamiento de Grafos Dinámicos: Adoptan el paradigma "preentrenamiento-ajuste fino", pero sufren del problema de inconsistencia de objetivos
3. Aprendizaje de Representaciones Temporales: Diseñan diferentes estrategias para capturar cambios en la estructura del grafo

Aprendizaje de Indicaciones para Grafos Dinámicos

Métodos existentes como DyGPrompt y TIGPrompt diseñan indicaciones conscientes del tiempo y conscientes de nodos, pero ignoran el impacto de eventos históricos. EVP llena este vacío.

Conclusiones y Discusión

Conclusiones Principales

1. El Conocimiento de Eventos Históricos es Crítico: EVP mejora significativamente el rendimiento del aprendizaje de grafos dinámicos al utilizar eventos históricos
2. Gran Generalidad: Como complemento puede mejorar múltiples métodos existentes
3. Diseño Razonable: Tanto el mecanismo de adaptación como el de agregación de eventos contribuyen significativamente a la mejora de rendimiento

Limitaciones

1. Complejidad Computacional: Requiere extraer y procesar K eventos históricos para cada nodo
2. Sensibilidad a Hiperparámetros: El valor de K necesita ser optimizado para diferentes tareas
3. Limitaciones en la Definición de Eventos: Actualmente solo considera eventos de interacción entre nodos
4. Insuficiencia de Interpretabilidad: Carece de análisis profundo de los patrones de eventos aprendidos

Direcciones Futuras

1. Modelado de Eventos Más Complejo: Considerar atributos de eventos como tipo e intensidad
2. Selección Adaptativa de Eventos: Determinar dinámicamente la cantidad óptima de eventos históricos para cada nodo
3. Análisis Teórico: Proporcionar garantías teóricas sobre la efectividad de EVP
4. Aplicaciones a Gran Escala: Validar en grafos dinámicos del mundo real más grandes

Evaluación Profunda

Fortalezas

1. Fuerte Innovación: Primera introducción de conciencia de eventos en aprendizaje de indicaciones para grafos dinámicos, llenando un vacío importante
2. Diseño Ingenioso: Los mecanismos de adaptación y agregación de eventos están bien diseñados, equilibrando temporalidad y patrones
3. Experimentación Exhaustiva: Validación en múltiples conjuntos de datos y tareas, incluyendo experimentos de ablación detallados y análisis de efectos plug-and-play
4. Alto Valor Práctico: El diseño plug-and-play facilita la aplicación a métodos existentes
5. Mejora de Rendimiento Significativa: Logra mejoras de rendimiento significativas en todos los escenarios de prueba

Deficiencias

1. Fundamento Teórico Débil: Carece de análisis teórico sobre por qué los eventos históricos son efectivos
2. Análisis Insuficiente de Sobrecarga Computacional: No analiza detalladamente los costos computacionales y de almacenamiento adicionales
3. Modelado de Eventos Simplificado: Modela eventos simplemente como interacciones de pares de nodos, posiblemente perdiendo información importante
4. Limitaciones de Conjuntos de Datos: Validación principalmente en conjuntos de datos relativamente pequeños, carece de validación a gran escala
5. Insuficiencia de Interpretabilidad: No proporciona análisis y visualización de patrones de eventos históricos aprendidos

Impacto

1. Contribución Académica: Proporciona nuevas direcciones de investigación y perspectivas para el campo del aprendizaje de grafos dinámicos
2. Valor Práctico: La característica plug-and-play facilita su adopción por la comunidad
3. Inspiración: Puede inspirar más investigación sobre modelado de eventos en procesos de evolución de grafos
4. Reproducibilidad: Proporciona detalles de implementación detallados y configuraciones de hiperparámetros

Escenarios Aplicables

1. Análisis de Redes Sociales: Predicción de comportamiento de usuarios, análisis de evolución de comunidades
2. Sistemas de Recomendación: Recomendación dinámica basada en interacciones históricas
3. Grafos de Conocimiento: Modelado de evolución temporal de relaciones de entidades
4. Bioinformática: Análisis dinámico de redes de interacción de proteínas
5. Gestión de Riesgos Financieros: Detección de anomalías en redes de transacciones

Referencias

El artículo cita trabajos importantes en aprendizaje de grafos dinámicos, redes neuronales de grafos y aprendizaje de indicaciones, proporcionando a los lectores conocimiento de contexto integral. Las referencias principales incluyen métodos clásicos de grafos dinámicos como TGN y TGAT, así como métodos de aprendizaje de indicaciones como GraphPrompt y DyGPrompt.

Evaluación General: Este es un artículo de investigación de alta calidad que realiza contribuciones importantes al campo del aprendizaje de indicaciones para grafos dinámicos. El marco EVP está bien diseñado, la validación experimental es exhaustiva y tiene excelente valor práctico y significado académico. Aunque existen algunas deficiencias en aspectos teóricos y experimentales, en general representa un progreso importante en el campo.