2025-11-17T15:28:12.912033

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

Huang, Zhao, He et al.
Graph Prompt Learning (GPL) has emerged as a promising paradigm that bridges graph pretraining models and downstream scenarios, mitigating label dependency and the misalignment between upstream pretraining and downstream tasks. Although existing GPL studies explore various prompt strategies, their effectiveness and underlying principles remain unclear. We identify two critical limitations: (1) Lack of consensus on underlying mechanisms: Despite current GPLs have advanced the field, there is no consensus on how prompts interact with pretrained models, as different strategies intervene at varying spaces within the model, i.e., input-level, layer-wise, and representation-level prompts. (2) Limited scenario adaptability: Most methods fail to generalize across diverse downstream scenarios, especially under data distribution shifts (e.g., homophilic-to-heterophilic graphs). To address these issues, we theoretically analyze existing GPL approaches and reveal that representation-level prompts essentially function as fine-tuning a simple downstream classifier, proposing that graph prompt learning should focus on unleashing the capability of pretrained models, and the classifier should adapt to downstream scenarios. Based on our findings, we propose UniPrompt, a novel GPL method that adapts any pretrained models, unleashing the capability of pretrained models while preserving the input graph. Extensive experiments demonstrate that our method can effectively integrate with various pretrained models and achieve strong performance across in-domain and cross-domain scenarios.
academic

万能プロンプト：事前学習済みモデルのための普遍的グラフ適応

基本情報

  • 論文ID: 2509.22416
  • タイトル: One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
  • 著者: Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng
  • 分類: cs.LG
  • 発表会議: NeurIPS 2025
  • 論文リンク: https://arxiv.org/abs/2509.22416

要約

グラフプロンプト学習（Graph Prompt Learning, GPL）は、グラフ事前学習モデルと下流タスクを結びつける有効なパラダイムとして、ラベル依存性と上流・下流タスクの不一致問題を緩和できます。既存のGPL研究は多様なプロンプト戦略を探索していますが、その有効性と潜在的メカニズムは依然として不明確です。本論文は2つの重要な制限を特定しています：（1）潜在的メカニズムに関するコンセンサスの欠如：異なる戦略がモデルの異なる空間（入力レベル、層レベル、表現レベル）に介入する；（2）シーン適応性の制限：ほとんどの方法はデータ分布シフト時に一般化が困難である。本論文は理論分析を通じて、表現レベルのプロンプトが本質的に単純な下流分類器の微調整と等価であることを明らかにし、グラフプロンプト学習は事前学習済みモデルの能力を解放することに焦点を当て、分類器が下流シーンに適応すべきであることを提案しています。この発見に基づいて、任意の事前学習済みモデルに適応でき、ドメイン内外のシーンで優れた性能を達成するUniPromptメソッドを提案しています。

研究背景と動機

核心的問題

グラフプロンプト学習は、グラフ事前学習モデルと下流タスク間の不一致問題を解決することを目的としていますが、既存の方法には2つの重要な課題があります：

  1. メカニズム理解の不明確性：既存のGPL方法には入力レベル、層レベル、表現レベルの3つの異なるプロンプト戦略が含まれていますが、これらの異なるメカニズムの動作原理を説明する統一的な理論的理解フレームワークが不足しています。
  2. 適応性の不足：ほとんどの方法は、データ分布シフト（例えば、同質グラフから異質グラフへ）に直面した場合、性能が大幅に低下し、異なる下流シーンに効果的に一般化できません。

研究の重要性

  • 理論的意義：グラフプロンプト学習に統一的な理論フレームワークを提供し、異なるプロンプトメカニズムの本質を明確にする
  • 実用的価値：少数ショット学習とクロスドメイン転移における事前学習済みグラフモデルの効果を向上させる
  • 技術的進展：グラフ基盤モデルの発展を促進し、モデルの汎用性と適応性を向上させる

既存方法の制限

動機付け実験を通じて、既存の表現レベルのプロンプト方法（GPPT、GraphPromptなど）は、事前学習済みモデルを切り替える際に不安定な性能を示し、単純な線形プローブ方法よりも劣ることさえあることが発見されました。これは既存の方法が「疑似適応」の罠に陥っている可能性を示唆しています。

核心的貢献

  1. 理論的貢献：表現レベルのプロンプトが本質的に線形分類器の微調整と等価であることを理論的に初めて証明し、「プロンプトが事前学習済み能力を解放し、分類器が下流シーンに適応する」という新しい視点を提案しています
  2. 方法の革新：UniPromptを提案しています。これは入力レベルのグラフプロンプト方法で、トポロジープロンプトグラフを学習しながら元のグラフ構造を保持します
  3. 実験的検証：同質および異質グラフデータセット上で広範な実験を実施し、ドメイン内外のシーンでの方法の有効性を証明しています
  4. 設計原則：グラフプロンプト学習の設計原則を確立し、将来の研究に指針を提供しています

方法の詳細

タスク定義

グラフ G=(V,E,X,Y)G = (V, E, X, Y) が与えられます。ここで VV はノード集合、EE はエッジ集合、X∈RN×FX \in \mathbb{R}^{N \times F} は特徴行列、YY はラベル集合です。目標は、事前学習済みエンコーダ fθf_\theta を凍結した状態で、学習可能なプロンプトパラメータ Ψ\Psi を通じて予測関数を最適化することです：

max⁡Ψ1∣D∣∑(A,X,y)∈D∑i=1Nlog⁡P(yi∣PredictΨ(A,X,vi;fθ))\max_\Psi \frac{1}{|D|} \sum_{(A,X,y) \in D} \sum_{i=1}^N \log P(y_i | \text{Predict}_\Psi(A,X,v_i; f_\theta))

理論分析

表現レベルプロンプト等価性定理

定理4.1：線形プロンプト関数 T(h)=WTh+bTT(h) = W_T h + b_T と分類器 C(h)=WCThC(h) = W_C^T h が与えられた場合、(C∘T)(h)=C′(h)(C \circ T)(h) = C'(h) となる等価な線形分類器 C′(h)=WC′Th+bC′C'(h) = W_{C'}^T h + b_{C'} が存在します。

この理論的結果は、表現レベルのプロンプトが関数空間と最適化目標の両方で線形プローブと等価であることを示しており、したがって入力レベルのプロンプトに焦点を当てるべきです。

UniPromptアーキテクチャ

1. プロンプト初期化

kNNを使用して初期プロンプトグラフを構築します：

S_{ij}, & \text{if } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{otherwise} \end{cases}$$ ここで相似度は以下のように計算されます：$S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$ #### 2. パラメータ化メカニズム 各エッジに学習可能な重み $w_{ij}$ を導入し、ゲート機構を使用します： $$\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$$ #### 3. ブートストラップ式アンサンブル モデル崩壊を避けるための反復更新戦略を採用します： $$\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$$ ここで $\hat{A}^{(0)} = A$、$\tau \in [0,1]$ は元のグラフとプロンプトグラフのバランスを制御します。 #### 4. 最適化目標 プロンプトパラメータと分類器を共同で最適化します： $$\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$$ ## 実験設定 ### データセット 9つのノード分類データセットを使用します： - **同質グラフ**：Cora、CiteSeer、PubMed - **異質グラフ**：Cornell、Texas、Wisconsin、Chameleon、Actor、Squirrel ### 評価指標 - **精度**：ノード分類精度 - **少数ショット設定**：1-shot、3-shot、5-shot学習 ### 比較方法 - **ベースライン方法**：Fine-tune、Linear-probe - **GPL方法**：GPPT、GraphPrompt、All-in-one、GPF/GPF+、EdgePrompt/EdgePrompt+ - **事前学習済みモデル**：DGI、GRACE、GraphMAE ### 実装詳細 - 骨格ネットワークとして2層GCN/GATを使用 - 2000エポック訓練、早期停止patience=20 - 5つのランダムシード×20回の反復実験 ## 実験結果 ### 主要結果 #### 1-shotドメイン内ノード分類 Cornell、Texas、Wisconsinなどの異質グラフで顕著な改善を達成： - Cornell：DGI上で最良ベースラインの34.56%から51.13%に改善 - Texas：最良ベースラインの37.50%から48.21%に改善 - Wisconsin：最良ベースラインの33.91%から58.75%に改善 #### クロスドメインノード分類 1-shotクロスドメイン設定下で： - PubMed：46.84%から55.01%に改善 - Cornell：40.77%から51.58%に改善 ### アブレーション実験 重要なコンポーネントを置換実験で検証： - **Random_Topo**：kNNをランダムトポロジーで置換、性能低下 - **Simple_Add**：ブートストラップ戦略を単純加算で置換、過学習につながる - **Discard_Topo**：元のグラフを完全に破棄、同質グラフで性能が大幅に低下 ### ハイパーパラメータ分析 - **τパラメータ**：異質グラフは小さいτ値（0.999-0.9999）が必要、同質グラフはτ≥0.9999で安定 - **kパラメータ**：スパースな異質グラフが最大の利益を得る、密集グラフと同質グラフは比較的安定 ### 計算オーバーヘッド - 前処理時間：約1.3秒 - 各訓練ラウンドの時間増加は適度 - GPU メモリ使用量は許容範囲内 ## 関連研究 ### グラフ事前学習 - **対比学習方法**：DGI、GRACE、GraphCLなど相互情報を最大化して表現を学習 - **生成的方法**：GraphMAEなどマスク再構成を通じて表現を学習 ### グラフプロンプト学習 - **入力レベルプロンプト**：GPFシリーズ方法は特徴空間にプロンプトベクトルを追加 - **表現レベルプロンプト**：GPPT、GraphPromptなど出力層にプロンプトを追加 - **層レベルプロンプト**：GNNの各層にプロンプト情報を統合 ### グラフ基盤モデル 最近のグラフ基盤モデルの発展はGPLに新しい応用シーンと課題をもたらしています。 ## 結論と考察 ### 主要な結論 1. **理論的洞察**：表現レベルのプロンプトは線形分類器と等価であり、入力レベルのプロンプトに焦点を当てるべき 2. **設計原則**：プロンプトは事前学習済みモデルの能力を解放すべきであり、分類器は下流タスクへの適応を担当する 3. **実用的方法**：UniPromptは自適応トポロジープロンプトを通じて普遍的なモデル適応を実現 ### 制限事項 1. **LLM統合の制限**：大規模言語モデルとの統合は未探索 2. **ハイパーパラメータ依存性**：τとkパラメータは異なるデータセットタイプに対して最適化が必要 3. **タスクカバレッジの制限**：主にノード分類を評価、他のグラフタスクは検証待ち 4. **ノイズ感度**：特徴ノイズに対して比較的敏感 ### 将来の方向 1. グラフ分類、リンク予測などのタスクへの拡張 2. LLMとの組み合わせによるより強力なグラフ基盤モデルの構築 3. ノイズと分布シフトに対するロバスト性の向上 4. 自動ハイパーパラメータ選択メカニズムの探索 ## 深い評価 ### 利点 1. **理論的貢献が顕著**：異なるプロンプトメカニズムを理論的観点から統一的に理解し、重要な洞察を提供 2. **方法設計が巧妙**：ブートストラップ式アンサンブル戦略はモデル崩壊を効果的に回避し、kNN初期化は特徴相似性を合理的に活用 3. **実験が包括的**：複数の事前学習済みモデル、データセットタイプ、評価設定をカバー 4. **実用的価値が高い**：方法は単純で効果的、実装と展開が容易 ### 不足 1. **理論分析の制限**：主に線形の場合を対象、非線形プロンプトの分析は十分でない 2. **計算オーバーヘッド**：kNN構築と反復更新は計算コストを増加させる 3. **パラメータ感度**：重要なハイパーパラメータは慎重な調整が必要、自動化程度が低い 4. **ノイズロバスト性**：特徴ノイズ下で性能が大幅に低下 ### 影響力 1. **学術的価値**：グラフプロンプト学習に重要な理論基礎と設計原則を提供 2. **実用的意義**：事前学習済みグラフモデルの適応性と一般化能力を向上 3. **研究への示唆**：後続研究に方向を示す、特に入力レベルプロンプトの重要性 ### 適用シーン 1. **少数ショット学習**：注釈データが稀少なグラフ学習タスク 2. **クロスドメイン転移**：事前学習と下流タスクの分布が異なるシーン 3. **異質グラフ処理**：従来の同質性仮定が成立しないグラフデータ 4. **迅速な適応**：事前学習済みモデルの迅速な展開が必要なアプリケーション ## 参考文献 論文は91篇の関連文献を引用しており、グラフニューラルネットワーク、グラフ自己教師あり学習、グラフプロンプト学習など複数の分野の重要な研究をカバーしており、研究に堅実な理論基礎を提供しています。 --- **要約**：本論文は深い理論分析と広範な実験検証を通じて、グラフプロンプト学習分野に重要な理論的洞察と実用的方法を提供しています。UniPromptメソッドは単純で効果的であり、良好な汎用性と適応性を備えており、グラフ基盤モデルの発展に価値ある貢献をしています。