2025-11-13T10:52:11.188844

What Do Temporal Graph Learning Models Learn?

Hayes, Schumacher, Strohmaier

Learning on temporal graphs has become a central topic in graph representation learning, with numerous benchmarks indicating the strong performance of state-of-the-art models. However, recent work has raised concerns about the reliability of benchmark results, noting issues with commonly used evaluation protocols and the surprising competitiveness of simple heuristics. This contrast raises the question of which properties of the underlying graphs temporal graph learning models actually use to form their predictions. We address this by systematically evaluating seven models on their ability to capture eight fundamental attributes related to the link structure of temporal graphs. These include structural characteristics such as density, temporal patterns such as recency, and edge formation mechanisms such as homophily. Using both synthetic and real-world datasets, we analyze how well models learn these attributes. Our findings reveal a mixed picture: models capture some attributes well but fail to reproduce others. With this, we expose important limitations. Overall, we believe that our results provide practical insights for the application of temporal graph learning models, and motivate more interpretability-driven evaluations in temporal graph learning research.

academic

時間グラフ学習モデルは何を学習するのか？

基本情報

論文ID: 2510.09416
タイトル: What Do Temporal Graph Learning Models Learn?
著者: Abigail J. Hayes, Tobias Schumacher, Markus Strohmaier
分類: cs.LG cs.SI
発表日: 2025年10月10日（arXiv プレプリント）
論文リンク: https://arxiv.org/abs/2510.09416

要約

時間グラフ学習はグラフ表現学習の中核的なテーマとなっており、多くのベンチマークが最先端モデルの強力な性能を示しています。しかし、最近の研究はベンチマーク結果の信頼性に懸念を提起し、一般的な評価プロトコルの問題と、単純なヒューリスティック手法の驚くべき競争力を指摘しています。このコントラストは、時間グラフ学習モデルが実際に基礎となるグラフのどのような属性を利用して予測を形成しているのかという疑問を生じさせます。本論文は、7つのモデルが時間グラフのリンク構造に関連する8つの基本属性を捉える能力を体系的に評価することで、この問題に対処しています。これらの属性には、密度などの構造的特性、近期性などの時間的パターン、および同質性などのエッジ形成メカニズムが含まれます。合成および実世界データセットを使用して、モデルがこれらの属性を学習する効果を分析します。研究結果は複雑な状況を呈しており、モデルが特定の属性をよく捉える一方で、他の属性を再現できず、重要な制限を露呈しています。

研究背景と動機

問題背景

ベンチマーク評価の信頼性の問題：時間グラフ学習モデルが様々なベンチマークで優れた性能を示しているにもかかわらず、最近の研究は評価プロトコルに欠陥があることを発見しており、テストセットと評価指標の問題が非現実的な結果をもたらしています。
単純なヒューリスティックの競争力：驚くべきことに、最近活動的なノードとグローバルに人気のあるノード間のエッジを予測するなどの単純なヒューリスティック手法は、多くの最先端モデルと同等の性能を示しています。
モデル解釈可能性の欠如：特定のモデルが与えられたベンチマークデータセットで優れた性能を示していても、どの要因がこの性能に寄与しているのか、より具体的には、モデルが予測を形成するためにどのグラフ属性を利用しているのかは不明確です。

研究動機

本研究は、一歩引いて、人気のあるグラフ学習モデルが時間グラフの単純で解釈可能な属性を学習する能力を評価し、時間グラフ学習モデルの実践的応用に対する実用的な洞察を提供し、解釈可能性に焦点を当てた評価を推進することを目指しています。

核心的貢献

新規な評価フレームワークの提案：時間グラフ学習モデルが直感的な時間ネットワーク属性を捉える能力を体系的に評価する
既存モデルの制限の特定：モデルがエッジの方向を区別する、周期的パターンを検出する、または最近観察されたグラフダイナミクスを強調する際の制限を発見
実践的ガイダンスの提供：深層グラフ学習モデルの実践的応用に対する洞察を提供
解釈可能性ベンチマークの確立：時間グラフ学習モデルのより解釈可能性に焦点を当てた評価のためのベンチマークを提供し、既存のパフォーマンス指向ベンチマークを補完

方法論の詳細

タスク定義

本論文は、7つの最先端時間グラフ学習モデルが8つの基本的なグラフ属性を学習する能力を評価しています：

一般的なグラフ特性：時間粒度、エッジ方向、密度
時間的パターン：永続性、周期性、近期性
エッジ形成メカニズム：同質性、優先的接続

評価フレームワーク

モデル選択

7つの代表的なモデルを評価しました：

DyGFormer：Transformerベースの動的グラフモデル
GraphMixer：簡略化されたアーキテクチャの時間ネットワークモデル
DyRep：リカレントニューラルネットワークベースの表現学習
JODIE：結合動的ユーザーおよびアイテム埋め込み
TGN：時間グラフネットワーク
TCL：対比学習ベースのTransformer動的グラフモデリング
TGAT：帰納的時間グラフ表現学習

データセット設計

実世界データセット：Enronメールネットワーク、UCIメッセージネットワーク、Wikipedia編集ネットワーク
合成データセット：同質性テスト用のランダムブロックモデル（SBM）、優先的接続テスト用のBarabási-Albertモデルなど、特定の属性用に設計された人工グラフ

評価方法

各属性に対して専門的な実験を設計：

合成および実世界データセットの組み合わせを使用
変数を制御して特定の属性の影響を分離
確率スコア、精度などの指標を通じてモデルパフォーマンスを評価

技術的革新点

体系的な評価方法：時間グラフモデルの基本的なグラフ属性の学習能力を初めて体系的に評価
多次元属性分析：構造、時間、メカニズムの3つの次元にわたる属性をカバー
合成データ検証：特定の属性に対するモデルの学習能力を検証するために慎重に設計された合成データセットを使用
解釈可能性指向：純粋なパフォーマンスではなく解釈可能性の観点からモデルを評価

実験設定

データセット詳細

データセット	ノード数	連続エッジ数	離散エッジ数	ユニークエッジ数	離散時間ステップ
Enron	184	125,235	10,472	3,125	45（月）
UCI	1,899	59,835	26,628	20,296	29（週）
Wikipedia	9,277	157,474	65,085	18,257	745（時間）

評価指標

ROC-AUC：リンク予測パフォーマンス評価用
バランス精度：分類タスク用
確率スコア分布：モデル予測動作の分析用
エッジグループ統計：特定の属性の定量的分析用

実装詳細

学習率：1e-4
バッチサイズ：200
損失関数：BCELoss
オプティマイザー：Adam
最大トレーニングエポック：300
早期停止許容度：1e-6
時間特性次元：100

実験結果

主要な発見の要約

グラフ属性	DyGFormer	DyRep	JODIE	GraphMixer	TCL	TGAT	TGN
時間粒度	∼	✓	✓	✓	∼	∼	✓
方向	✗	✗	✗	✗	✗	✗	✗
密度	✗	✗	✗	✗	✗	✗	✗
永続性	✓	✗	✗	∼	∼	✓	✗
周期性	✗	✗	✗	✓	✓	∼	∼
近期性	✗	✗	✗	✗	✗	✗	✗
同質性	✓	∼	✗	∼	✓	∼	∼
優先的接続	✓	✓	✓	✓	✓	✓	✓

詳細な結果分析

1. 時間粒度

タイムスタンプのフラット化はパフォーマンスに深刻な悪影響を及ぼし、モデルが実際に時間情報を利用していることを示しています
GraphMixerとDyRepはタイムスタンプの離散化時に最大のパフォーマンス低下を示しました
TGATは離散時間ステップでより良いパフォーマンスを示しました

2. エッジ方向

重要な発見：すべてのモデルがエッジの方向を効果的に区別できません
約50%のエッジについて、正方向エッジと逆方向エッジの予測確率の差は0.02未満です
双方向トレーニングでも、ほとんどのモデルはほぼ対称的な予測を生成します

3. 密度

重要な制限：すべてのモデルがグラフの密度を学習できません
予測密度は通常、実際の密度より数桁低くなります
モデルは多くの負のサンプルを見ると、すべてのエッジを負として予測する傾向があります

4. 永続性

DyGFormerとTGATは永続的なグラフを学習できます
JODIEとTGNはこの単純なタスクで不十分なパフォーマンスを示しました

5. 周期性

GraphMixerとTCLは奇数と偶数の時間ステップをよく区別できます
DyGFormerは時間ステップを区別できず、EdgeBankベースラインと同様の動作を示します

6. 近期性

驚くべき結果：すべてのモデルが最近観察されたエッジを強調していません
エッジの平均確率スコアは最後の観察時刻によって変わりません
これは最近活動的なノードに基づくヒューリスティック手法の成功と対照的です

7. 同質性

DyGFormerとTCLはグループ内リンクをバランスよく予測できます
JODIEはグループ0に極度に偏っています
ほとんどのモデルはグループ1内のリンクを予測する傾向があります

8. 優先的接続

一貫した成功：すべてのモデルが優先的接続を学習しました
高度なノードのエッジはより高い平均確率を取得します
べき乗則度分布パターンに従います

結論と考察

主要な結論

混合的なパフォーマンス：モデルは特定の属性（優先的接続など）で優れたパフォーマンスを示しますが、他の側面（方向区別、密度予測）で深刻な制限があります
一貫した制限：すべてのモデルがエッジの方向を区別できず、近期性を強調せず、密度を正確に予測できません
モデル間の差異：異なるモデルは特定の属性の学習において顕著な差異を示し、実践的応用でのモデル選択に指針を提供します

制限事項

データセット制限：実験の広範性のため、使用されたデータセットの数は限定的であり、すべてのネットワーク関連のグラフデータセットを代表していない可能性があります
属性選択：評価された8つの属性は網羅的ではなく、考慮する価値のある他の重要なグラフ属性があります
モデル範囲：連続時間モデルのみを含み、離散時間設定のモデルをカバーしていません

今後の方向性

モデル改善：発見された制限（密度、方向、近期性）に対処するための新しいモデルの設計
フレームワーク拡張：
- より多くのグラフ属性評価の追加
- 離散時間モデルの包含
- 異質ネットワークの考慮
応用ガイダンス：属性学習能力に基づいて、異なるアプリケーションシナリオに適切なモデルを推奨

深い評価

長所

体系性が強い：解釈可能性の観点から時間グラフ学習モデルを初めて体系的に評価し、重要なギャップを埋めます
方法論が厳密：合成および実世界データセットの組み合わせ、変数制御の実験設計により、結果の信頼性を確保しています
発見が重要：一見強力なモデルが基本的な属性学習において深刻な制限を持つことを明らかにし、重要な実践的価値があります
応用指向：ベンチマークパフォーマンスのみに焦点を当てるのではなく、モデル選択と応用に対する実用的なガイダンスを提供します

不足点

理論分析の不足：特定の属性で特定のモデルが失敗する理由についての深い理論的分析が不足しています
改善案の欠如：主に問題を指摘していますが、具体的な改善提案や方法を提供していません
評価指標の単一性：一部の実験では、モデル能力を包括的に評価するためにより多様な評価指標が必要な場合があります

影響力

学術的価値：時間グラフ学習分野に新しい評価視点をもたらし、将来のモデル設計と評価基準に影響を与える可能性があります
実用的価値：実務者が適切なモデルを選択する際の重要な参考資料を提供し、ベンチマークパフォーマンスの盲目的な追求を回避します
研究への刺激：露呈した制限は、将来の研究に明確な改善方向を提供します

適用可能なシナリオ

モデル選択：特定のアプリケーションでエッジ方向、密度予測などの属性を考慮する必要がある場合のモデル選択ガイダンス
ベンチマーク設計：より包括的な時間グラフ学習ベンチマークを設計するための参考資料
モデル開発：新しい時間グラフ学習モデルを開発するための改善目標と評価基準

参考文献

論文は広範な関連研究を引用しており、以下を含みます：

時間グラフベンチマーク関連研究（TGB、BenchTempなど）
時間グラフ学習モデルの制限に関する研究
グラフ学習評価方法の批判的研究
古典的グラフモデル（ランダムブロックモデル、Barabási-Albertモデルなど）

総合評価：これは時間グラフ学習モデルの重要な制限を体系的な解釈可能性評価を通じて明らかにする、重要な価値を持つ研究成果です。研究方法論は厳密であり、発見は実践的意義を持ち、分野の発展に新しい視点と改善方向を提供しています。理論分析と解決策の側面ではまだ改善の余地がありますが、その貢献は分野をより解釈可能性と実用性に焦点を当てた方向へ推進するのに十分です。