2025-11-12T11:07:10.260891

Event-Aware Prompt Learning for Dynamic Graphs

Yu, Liang, Zhang et al.
Real-world graph typically evolve via a series of events, modeling dynamic interactions between objects across various domains. For dynamic graph learning, dynamic graph neural networks (DGNNs) have emerged as popular solutions. Recently, prompt learning methods have been explored on dynamic graphs. However, existing methods generally focus on capturing the relationship between nodes and time, while overlooking the impact of historical events. In this paper, we propose EVP, an event-aware dynamic graph prompt learning framework that can serve as a plug-in to existing methods, enhancing their ability to leverage historical events knowledge. First, we extract a series of historical events for each node and introduce an event adaptation mechanism to align the fine-grained characteristics of these events with downstream tasks. Second, we propose an event aggregation mechanism to effectively integrate historical knowledge into node representations. Finally, we conduct extensive experiments on four public datasets to evaluate and analyze EVP.
academic

イベント認識型動的グラフのためのプロンプト学習

基本情報

  • 論文ID: 2510.11339
  • タイトル: Event-Aware Prompt Learning for Dynamic Graphs
  • 著者: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
  • 所属機関: ¹シンガポール経営大学、²中国科学技術大学
  • 分類: cs.LG cs.AI
  • 発表日: 2025年10月13日 (arXiv プレプリント)
  • 論文リンク: https://arxiv.org/abs/2510.11339

要約

現実世界のグラフは通常、一連のイベントを通じて進化し、様々な領域におけるオブジェクト間の動的相互作用をモデル化しています。動的グラフ学習において、動的グラフニューラルネットワーク(DGNN)は主流なソリューションとなっています。最近、プロンプト学習手法が動的グラフ上で探索されています。しかし、既存の手法は主にノードと時間の関係の捉え方に焦点を当てており、履歴イベントの影響を無視しています。本論文ではEVPを提案します。これは既存の手法が履歴イベント知識を活用する能力を強化するプラグインとして機能するイベント認識型動的グラフプロンプト学習フレームワークです。まず、各ノードに対して一連の履歴イベントを抽出し、これらのイベントの細粒度特徴を下流タスクに適応させるイベント適応機構を導入します。次に、履歴知識をノード表現に効果的に統合するイベント集約機構を提案します。最後に、4つの公開データセット上で広範な実験を実施してEVPを評価・分析します。

研究背景と動機

問題定義

本研究が解決する核心的な問題は、動的グラフ学習において履歴イベント知識を効果的に活用して下流タスクの性能を向上させる方法です。具体的には以下を含みます:

  1. 事前学習と下流タスク目標の不一致: 従来のDGNNは通常リンク予測タスク上で学習されますが、下流タスクはノード分類である可能性があり、目標の相違が生じます
  2. 履歴イベント影響の無視: 既存の動的グラフプロンプト学習手法は主にノード-時間関係に焦点を当てており、グラフ進化過程における履歴イベント知識を無視しています

重要性

  1. 現実的意義: 実世界のグラフ構造はイベント列を通じて進化します。例えば、Redditでのユーザー投稿、Wikipediaでのページ作成など
  2. 性能向上: 履歴イベントは価値のある知識を含み、将来のイベント予測とノード時系列表現学習の強化が可能です
  3. パラメータ効率: プロンプト学習は軽量なプロンプトの調整のみが必要であり、低リソース環境で特に有効です

既存手法の限界

  1. 従来のDGNN: 事前学習と下流タスク目標の不一致問題が存在します
  2. 動的グラフ事前学習手法: 同様に目標の不一致による知識移転の困難に直面しています
  3. 既存の動的グラフプロンプト学習: DyGPrompt、TIGPromptなどはノード-時間相互作用のみを考慮し、グラフ構造進化における履歴イベント情報を無視しています

核心的貢献

  1. EVPフレームワークの提案: 既存の動的グラフ学習手法を強化するプラグインとして機能する初のイベント認識型動的グラフプロンプト学習フレームワーク
  2. イベント適応機構: 履歴イベントの細粒度特徴を捉え、下流タスク要件に適応するイベントプロンプトの設計
  3. イベント集約機構: 動的プロンプトと時間減衰関数を組み合わせ、履歴イベント知識を効果的に統合
  4. 広範な実験検証: 4つのベンチマークデータセット上でEVPの有効性とプラグインとしての汎用性を検証

手法の詳細説明

タスク定義

  • 入力: 動的グラフG = (V, E, T)。ここでVはノード集合、Eはエッジ集合、Tは時間軸
  • イベント定義: 各エッジ(vi, vj, t) ∈ Eは時刻tにおけるノードviからvjへの相互作用イベントを表します
  • 目標: 履歴イベント知識を活用して時系列リンク予測とノード分類タスクの性能を向上させる

モデルアーキテクチャ

1. イベント抽出 (Event Extraction)

時刻tのノードvに対して、K個の履歴イベントを抽出します:

Ev,t = {E¹v,t, E²v,t, ..., EᴷV,t}

各イベントは以下のように表現されます:

Eᵏv,t = (v, uᵏv,t, zᵏv,t)

ここでzᵏv,tは第kイベントが発生した時刻、uᵏv,tは相互作用の対象ノードです。

2. イベント適応機構 (Event Adaptation)

まずイベント埋め込みを計算します:

eᵏv,t = FUSE(hv, huᵏv,t)

次にイベントプロンプトを通じて適応させます:

êᵏv,t = pe ⊙ eᵏv,t

ここでpeは学習可能なイベントプロンプトベクトル、⊙は要素ごとの乗算を表します。

3. イベント集約機構 (Event Aggregation)

時間減衰関数と動的プロンプトを組み合わせます:

ẽv,t = Σᵏ₌₁ᴷ pᵏdy · êᵏv,t

ここでpdy ∈ Rᴷは動的プロンプト、pᵏdyはその第k次元です。

同時に時間減衰を考慮します:

êv,t = Σᵏ₌₁ᴷ exp(t - zᵏv,t) · êᵏv,t

4. プロンプト調整 (Prompt Tuning)

履歴イベント埋め込みをノード埋め込みと統合します:

ĥv,t = hv,t + ẽv,t

技術的革新点

  1. 初のイベント認識導入: 既存手法と異なり、EVPは履歴イベントが現在の行動に与える影響を明示的にモデル化します
  2. 二層集約戦略: 時間近接性を反映する時間減衰とパターン類似性を捉える動的プロンプトを組み合わせます
  3. プラグインアンドプレイ設計: DGNNs、事前学習手法、プロンプト学習手法にシームレスに統合可能です
  4. 細粒度イベントモデリング: イベントプロンプトを通じて異なるイベント特徴を具体的な下流タスクに適応させます

実験設定

データセット

4つのベンチマークデータセットを使用します:

データセットノード数エッジ数ノード特徴次元時間スパン
Wikipedia9,227157,47417230日
Reddit11,000672,44717230日
MOOC7,144411,74917230日
Genre1,50517,858,395861,500日

評価指標

  • リンク予測: AUC-ROC
  • ノード分類: AUC-ROC
  • 帰納的および転導的の両設定をサポート

比較手法

4つのカテゴリーのベースライン手法を含みます:

  1. 従来のDGNN: ROLAND、TGAT、TGN、TREND、GraphMixer
  2. 動的グラフ事前学習: DDGCL、CPDG
  3. 静的グラフプロンプト学習: GraphPrompt、ProG
  4. 動的グラフプロンプト学習: TIGPrompt、DyGPrompt

実装詳細

  • データ分割: 80%事前学習、20%下流タスク(訓練/検証/テストに1%/1%/18%)
  • 低リソース設定: 下流調整に30個のイベントのみを使用
  • 100回のサンプリングで異なるタスクを構築し、各タスクを5回実行して平均を取得

実験結果

主要結果

すべてのタスクでEVPは最高性能を達成しました:

時系列リンク予測(転導的):

  • Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
  • Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
  • MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
  • Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

ノード分類:

  • Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
  • Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
  • MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

プラグイン効果の検証

EVPはプラグインとして7つの異なる手法の性能を大幅に向上させることができます:

TGATの例:

  • 転導的リンク予測: 55.78%から76.50%へ向上(Wikipedia)
  • 帰納的リンク予測: 48.21%から76.65%へ向上(Wikipedia)
  • ノード分類: 67.00%から79.03%へ向上(Wikipedia)

アブレーション実験

EVPの3つの変種を比較します:

  • EVP-EP: イベントプロンプトのみを使用、直接合計集約
  • EVP-DP: 動的プロンプトのみを使用、時間減衰なし
  • EVP-TD: 時間減衰のみを使用、動的プロンプトなし

結果は完全なEVPがすべての設定で変種より優れていることを示し、各コンポーネントの必要性を証明しています。

ハイパーパラメータ感度分析

履歴イベント数Kの分析は以下を示しています:

  • リンク予測: K=9で最高性能を達成
  • ノード分類: K=3で最高性能を達成
  • 過度に多くの履歴イベントはノイズを導入し、性能を低下させる可能性があります

関連研究

動的グラフ学習

  1. DGNN: 時間要因を通じて動的に近傍情報を集約しノード埋め込みを更新
  2. 動的グラフ事前学習: 「事前学習-微調整」パラダイムを採用しますが、目標不一致問題が存在
  3. 時系列表現学習: グラフ構造変化を捉えるための異なる戦略を設計

動的グラフプロンプト学習

DyGPrompt、TIGPromptなどの既存手法は時間認識およびノード認識プロンプトを設計しますが、履歴イベント影響を無視しています。EVPはこのギャップを埋めます。

結論と考察

主要な結論

  1. 履歴イベント知識の重要性: EVPは履歴イベントを活用することで動的グラフ学習性能を大幅に向上させました
  2. 強い汎用性: プラグインとして複数の既存手法を強化できます
  3. 合理的な設計: イベント適応および集約機構は性能向上に重要な貢献をしています

限界

  1. 計算複雑性: 各ノードに対してK個の履歴イベントを抽出・処理する必要があります
  2. ハイパーパラメータ感度: K値は異なるタスクに対して調整が必要です
  3. イベント定義の限界: 現在はノード間の相互作用イベントのみを考慮しています
  4. 解釈可能性の不足: 学習されたイベントパターンの深い分析が不足しています

今後の方向性

  1. より複雑なイベントモデリング: イベントタイプ、強度などの属性を考慮
  2. 適応的イベント選択: 各ノードの最適な履歴イベント数を動的に決定
  3. 理論的分析: EVPの有効性に対する理論的保証を提供
  4. 大規模応用: より大規模な実世界の動的グラフ上での検証

深い評価

利点

  1. 革新性が高い: 動的グラフプロンプト学習にイベント認識を初めて導入し、重要なギャップを埋めます
  2. 設計が巧妙: イベント適応および集約機構の設計は合理的で、時間性とパターン性の両方を考慮しています
  3. 実験が充分: 複数のデータセットとタスク上で検証され、詳細なアブレーション実験とプラグイン効果分析を含みます
  4. 実用価値が高い: プラグインアンドプレイ設計により既存手法への適用が容易です
  5. 性能向上が顕著: すべてのテストシナリオで著しい性能向上を達成しています

不足点

  1. 理論的基礎が弱い: 履歴イベントが有効である理由に対する理論的分析が不足しています
  2. 計算オーバーヘッド分析の不足: 追加された計算および記憶オーバーヘッドの詳細分析がありません
  3. イベントモデリングの簡略化: イベントをノード対相互作用として単純にモデル化し、重要な情報を失う可能性があります
  4. データセットの限界: 比較的小規模なデータセット上での検証が主であり、大規模検証が不足しています
  5. 解釈可能性の不足: 学習された履歴イベントパターンの分析と可視化が提供されていません

影響力

  1. 学術的貢献: 動的グラフ学習分野に新しい研究方向と思考を提供します
  2. 実用価値: プラグインアンドプレイの特性により、コミュニティでの採用が容易です
  3. 啓発性: グラフ進化過程におけるイベントモデリングに関するより多くの研究を刺激する可能性があります
  4. 再現性: 詳細な実装詳細とハイパーパラメータ設定が提供されています

適用シーン

  1. ソーシャルネットワーク分析: ユーザー行動予測、コミュニティ進化分析
  2. 推奨システム: 履歴相互作用に基づく動的推奨
  3. 知識グラフ: エンティティ関係の時系列進化モデリング
  4. バイオインフォマティクス: タンパク質相互作用ネットワークの動的分析
  5. 金融リスク管理: 取引ネットワークにおける異常検知

参考文献

論文は動的グラフ学習、グラフニューラルネットワーク、プロンプト学習などの関連分野の重要な研究を引用し、読者に包括的な背景知識を提供しています。主要な参考文献にはTGN、TGATなどの古典的な動的グラフ手法、およびGraphPrompt、DyGPromptなどのプロンプト学習手法が含まれます。

総合評価: これは動的グラフプロンプト学習分野における重要な貢献をした高品質の研究論文です。EVPフレームワークは合理的に設計され、実験検証が充分であり、高い実用価値と学術的意義を有しています。理論的および実験的側面でいくつかの不足がありますが、全体的には当該分野の重要な進展です。