2025-11-23T22:46:17.287043

Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph

Zheng, Yang, Guan et al.
The "pre-train, prompt'' paradigm, designed to bridge the gap between pre-training tasks and downstream objectives, has been extended from the NLP domain to the graph domain and has achieved remarkable progress. Current mainstream graph prompt-tuning methods modify input or output features using learnable prompt vectors. However, existing approaches are confined to single-granularity (e.g., node-level or subgraph-level) during prompt generation, overlooking the inherently multi-scale structural information in graph data, which limits the diversity of prompt semantics. To address this issue, we pioneer the integration of multi-scale information into graph prompt and propose a Multi-Scale Graph Chain-of-Thought (MSGCOT) prompting framework. Specifically, we design a lightweight, low-rank coarsening network to efficiently capture multi-scale structural features as hierarchical basis vectors for prompt generation. Subsequently, mimicking human cognition from coarse-to-fine granularity, we dynamically integrate multi-scale information at each reasoning step, forming a progressive coarse-to-fine prompt chain. Extensive experiments on eight benchmark datasets demonstrate that MSGCOT outperforms the state-of-the-art single-granularity graph prompt-tuning method, particularly in few-shot scenarios, showcasing superior performance.
academic

グラフに対する単一粒度プロンプトを超えた：マルチスケール思考の連鎖プロンプト学習

基本情報

  • 論文ID: 2510.09394
  • タイトル: マルチレイヤープロンプトの高次相互作用（単一粒度プロンプトを超えた：グラフに対するマルチスケール思考の連鎖プロンプト学習）
  • 著者: Ziyu Zheng、Yaming Yang、Ziyu Guan、Wei Zhao、Xinyan Huang、Weigang Lu
  • 分類: cs.CL、cs.AI
  • 発表時期/会議: Conference acronym 'XX、2018年6月3日～5日、Woodstock、NY（掲載予定）
  • 論文リンク: https://arxiv.org/abs/2510.09394

要約

「事前学習-プロンプト」パラダイムは、事前学習タスクと下流目標間のギャップを埋めることを目的とし、NLP領域からグラフ領域へ拡張され、顕著な進展を遂げています。現在の主流なグラフプロンプト微調整手法は、学習可能なプロンプトベクトルを使用して入力または出力特徴を修正しています。しかし、既存手法はプロンプト生成プロセスにおいて単一粒度（ノード級またはサブグラフ級など）に限定され、グラフデータに内在するマルチスケール構造情報を無視しており、これがプロンプト意味論の多様性を制限しています。この問題に対処するため、本論文は初めてマルチスケール情報をグラフプロンプトに統合し、マルチスケールグラフ思考の連鎖（MSGCOT）プロンプトフレームワークを提案しています。具体的には、軽量な低ランク粗化ネットワークを設計して、プロンプト生成の階層的基底ベクトルとしてマルチスケール構造特徴を効率的に捉えています。その後、人間が粗粒度から細粒度への認知プロセスをシミュレートし、各推論ステップでマルチスケール情報を動的に統合して、段階的な粗から細へのプロンプト連鎖を形成します。8つのベンチマークデータセットでの広範な実験により、MSGCOTは最先端の単粒度グラフプロンプト微調整手法を上回り、特に少数ショット設定で優れた性能を示しています。

研究背景と動機

問題定義

本研究が解決する核心的な問題は、既存のグラフニューラルネットワークプロンプト学習手法がプロンプト生成プロセスにおいて持つ単一粒度の制限です。具体的には以下のように表現されます：

  1. 単粒度制限：既存手法（GPF+、GCOTなど）は単一レベルの情報（ノード級、エッジ級またはサブグラフ級）のみに焦点を当て、グラフデータ内のノードから階層的サブグラフへのマルチスケール共存情報を無視しています
  2. 意味論的多様性の不足：単一粒度のプロンプト生成はプロンプトの表現能力と意味論的豊かさを制限しています
  3. 構造情報の利用不十分：グラフデータに内在する階層化構造特徴を十分に活用していません

重要性分析

この問題の重要性は以下の点に体現されています：

  1. 実用的応用需要：実世界のグラフデータ（ソーシャルネットワーク、分子グラフ、推奨システムなど）は本質的に多層的な構造情報を含んでいます
  2. 性能向上の余地：マルチスケール情報の効果的な利用は、少数ショット学習シナリオにおけるモデルの汎化能力を大幅に向上させることができます
  3. 理論的完全性：グラフプロンプト学習理論フレームワークにおける多粒度情報モデリングのギャップを埋めます

既存手法の制限

  1. GCOT：複数ステップのプロンプト生成を採用していますが、各ステップは依然としてノード級粒度に限定されています
  2. 単一ステッププロンプト手法（GPF+、EdgePromptなど）：完全なプロンプトを直接生成し、段階的最適化メカニズムが不足しています
  3. 事前学習依存手法：特定の事前学習戦略が必要であり、汎用性が限定的です

核心的貢献

  1. マルチスケールグラフ思考の連鎖フレームワークの創出：多粒度情報を統合する初のグラフ思考の連鎖プロンプト学習フレームワークを提案し、既存手法の単粒度制限を突破しています
  2. 革新的な認知シミュレーションメカニズム：低ランク粗化ネットワークを設計してマルチスケール特徴抽出を実行し、回溯的プロンプトメカニズムを提案して段階的プロンプト生成を実現し、人間の粗から細への認知プロセスをシミュレートしています
  3. 軽量で効率的な設計：低ランク分解を通じてパラメータ量を大幅に削減（GCOTと比較して47.1%-85.7%削減）しながら、優れた性能を維持しています
  4. 包括的な実験検証：8つのベンチマークデータセットのノード分類およびグラフ分類タスクで最適な性能を達成し、特に少数ショットシナリオで明らかな利点を示しています

手法の詳細説明

タスク定義

入力：グラフ G=(V,E)G = (V, E)、ここで VV はノード集合、EE はエッジ集合、ノード特徴行列 X∈RN×FX \in \mathbb{R}^{N \times F}、隣接行列 A∈RN×NA \in \mathbb{R}^{N \times N}

出力：下流タスク（ノード分類/グラフ分類）に対する最適化表現

制約：事前学習モデルパラメータは固定され、軽量なプロンプトパラメータのみが更新されます

モデルアーキテクチャ

1. 全体フレームワーク

MSGCOTフレームワークは3つの核心モジュールで構成されています：

  • ノード級プロンプト生成：タスク固有のノードプロンプトベクトルを生成
  • マルチスケール思考構築：粗化ネットワークを通じて階層的表現を構築
  • 粗から細への回溯プロンプト：段階的マルチスケールプロンプト統合

2. ノード級プロンプト生成

Px=CONDNET(H)P_x = \text{CONDNET}(H) H^=GNN(X⊙Px,A)\hat{H} = \text{GNN}(X \odot P_x, A)

ここで HH は事前学習埋め込み、PxP_x はノード級プロンプト、H^\hat{H} はプロンプト後の埋め込みです。

3. マルチスケール思考構築

軽量粗化ネットワークを設計するために低ランク分解を採用：

Sl=Softmax(Wupl(σ(WdownlTTl−1)))S^l = \text{Softmax}(W_{up}^l(\sigma(W_{down}^{lT} T^{l-1}))) Tl=SlTTl−1T^l = S^{lT} T^{l-1}

ここで Wdown∈Rd×rW_{down} \in \mathbb{R}^{d \times r}、Wup∈Rr×ClW_{up} \in \mathbb{R}^{r \times C_l}（r≪dr \ll d）、TlT^l は第 ll 層の粗化表現です。

4. 粗から細への回溯プロンプトメカニズム

pil+1=∑j=1Clαijl+1tjlp_i^{l+1} = \sum_{j=1}^{C_l} \alpha_{ij}^{l+1} t_j^l αijl+1=exp⁡(tjlh^il)∑kexp⁡(tklh^il)\alpha_{ij}^{l+1} = \frac{\exp(t_j^l \hat{h}_i^l)}{\sum_k \exp(t_k^l \hat{h}_i^l)} h^il+1=h^il+pil+1\hat{h}_i^{l+1} = \hat{h}_i^l + p_i^{l+1}

技術的革新点

1. 低ランク粗化ネットワーク設計

  • パラメータ効率：低ランク分解を通じてパラメータ量を O(d×Cl)O(d \times C_l) から O(d×r+r×Cl)O(d \times r + r \times C_l) に削減
  • マルチスケール捕捉：段階的粗化により異なる粒度の構造表現を生成
  • タスク適応性：学習可能な割り当て行列が異なる下流タスクに適応

2. 認知に着想を得たプロンプト連鎖

  • 人間認知のシミュレーション：グローバルトポロジーからローカル詳細への段階的理解
  • 構造化思考：階層的粗化表現をテキストテンプレートの代わりとなる「構造化思考」として使用
  • 動的統合：各ステップでマルチスケール情報を動的に選択および統合

3. 制約メカニズム

ノード情報損失を防ぐためにコサイン再構成損失を導入：

Lr=1N(1−h^i⋅hi∣∣h^i∣∣⋅∣∣hi∣∣)γL_r = \frac{1}{N}(1 - \frac{\hat{h}_i \cdot h_i}{||\hat{h}_i|| \cdot ||h_i||})^\gamma

実験設定

データセット

ノード分類：

  • Cora（2,708ノード、7クラス）
  • Citeseer（3,327ノード、6クラス）
  • Pubmed（19,717ノード、3クラス）
  • Photo（7,650ノード、8クラス）

グラフ分類：

  • MUTAG（188グラフ、分子化合物）
  • COX2（467グラフ、シクロオキシゲナーゼ阻害剤）
  • BZR（405グラフ、ベンゾジアゼピン受容体リガンド）
  • PROTEINS（1,113グラフ、タンパク質構造）

評価指標

  • 精度（Accuracy）：分類タスクの標準評価指標
  • 統計的有意性：100回のランダムサンプリングの平均と分散

比較手法

  1. 教師あり学習：GCN、GAT
  2. 事前学習+微調整：LP、GraphCL、DGI/InfoGraph
  3. 事前学習+プロンプト：
    • 単一ステップ：All-in-One、GPF+、SUPT、GraphPrompt、EdgePrompt+、DAGPrompT
    • 複数ステップ：GCOT

実装詳細

  • バックボーンネットワーク：GCN（隠れ層256次元）
  • 粗化層数：2層
  • 粗化比率：{0.01、0.1、0.2、0.3}
  • 低ランク次元：ノードタスクr=8、グラフタスクr=1
  • 制約重み：ノード分類α=1、グラフ分類α=0

実験結果

主要結果

単一サンプル分類性能

8つのデータセット全体で、MSGCOTは最適な性能を達成しています：

ノード分類：

  • Cora: 62.13%（GCOT 59.54%と比較して、+4.35%）
  • Citeseer: 49.05%（GCOT 48.13%と比較して、+1.91%）
  • Pubmed: 64.67%（GCOT 63.38%と比較して、+2.04%）
  • Photo: 68.01%（GCOT 66.98%と比較して、+1.54%）

グラフ分類：

  • MUTAG: 63.54%（GCOT 60.34%と比較して、+5.30%）
  • COX2: 73.62%（DAGPrompt 55.00%と比較して、+33.85%）
  • BZR: 69.85%（DAGPrompt 55.49%と比較して、+25.87%）
  • PROTEINS: 57.83%（DAGPrompt 56.22%と比較して、+2.86%）

少数ショット学習性能

1～3サンプル設定では、MSGCOTは平均してベースライン手法を5～8%上回り、優れた少数ショット汎化能力を示しています。

アブレーション実験

各コンポーネントの貢献を検証する体系的なアブレーション実験：

  1. マルチスケールプロンプト（MSP）：削除後、ノードタスクで平均5.52%低下、グラフタスクで17.7%低下
  2. 再構成損失（RE）：ノード分類に顕著な影響、グラフ分類はグローバル情報に焦点
  3. 回溯メカニズム（TB）：グラフ分類に特に重要、単方向プロンプトは12～15%の性能低下を招く
  4. 増分更新（IU）：段階的更新により2～5%の性能向上をもたらす

パラメータ効率分析

GCOTと比較してパラメータ量を大幅に削減：

  • ノード分類：47.1%-68.3%のパラメータ削減
  • グラフ分類：29.1%-85.7%のパラメータ削減
  • 時間効率：グラフ分類タスクの平均トレーニング時間は1ラウンドあたり34.8%削減

ハイパーパラメータ感度

  1. 粗化率：ノードタスクの最適範囲は0.1～0.3、グラフタスクは0.05～0.3範囲で安定
  2. 粗化層数：ノードタスクは2層で最適、グラフタスクはより深い層をサポート可能
  3. 隠れ次元：r=8でノードタスクが最適、グラフタスクはr=1で既に優れた性能

関連研究

グラフ事前学習

  • 対比学習：GraphCL、DGIなどは正負サンプルペアを通じて表現を学習
  • 生成学習：ノード特徴またはグラフ構造の再構成を通じて事前学習
  • 制限：事前学習目標と下流タスク間のギャップが性能を制限

グラフプロンプト学習

  • 事前学習依存手法：GPPT、GraphPrompt、All-in-One
  • 事前学習非依存手法：GPF+、SUPT、EdgePrompt
  • 複数ステップ提示：GCOTは思考の連鎖概念を導入しますが、単粒度に限定

グラフ粗化技術

  • 従来手法：スペクトラルクラスタリング、非負行列分解
  • 学習可能な手法：DiffPoolなどは学習可能な割り当て行列を通じて階層的表現を実現
  • 本論文の貢献：グラフ粗化とプロンプト学習を組み合わせ、マルチスケールプロンプト生成を実現

結論と考察

主要な結論

  1. マルチスケール情報の重要性：実験はマルチスケール構造情報がグラフプロンプト学習に不可欠であることを証明しています
  2. 認知に着想を得た設計の有効性：人間の粗から細への認知プロセスをシミュレートすることで性能が大幅に向上します
  3. パラメータ効率と性能のバランス：低ランク設計はパラメータを大幅に削減しながら優れた性能を維持します
  4. 少数ショット学習の利点：マルチスケールプロンプトはデータが稀少なシナリオで特に優れた性能を示します

制限事項

  1. 計算複雑性：複数ステップの推論は一定の計算オーバーヘッドを追加します
  2. ハイパーパラメータ感度：粗化率と層数は異なるタスクタイプに対して調整が必要です
  3. 理論分析の不足：マルチスケールプロンプトの有効性に対する理論的保証が不足しています

今後の方向性

  1. 適応的粗化戦略：タスク適応的な粗化メカニズムの研究
  2. 理論分析：マルチスケールプロンプト学習の理論的フレームワークの構築
  3. 応用拡張：より多くのグラフ学習タスクへの応用可能性の探索

深い評価

利点

  1. 革新性が強い：マルチスケール情報をグラフプロンプト学習に体系的に統合する初の試み
  2. 設計が合理的：低ランク粗化ネットワークと回溯メカニズムの設計は巧妙で、効率と効果のバランスが取れています
  3. 実験が充分：8つのデータセット、複数の比較手法、詳細なアブレーション実験
  4. 実用価値が高い：少数ショットシナリオで明らかな利点があり、実際の応用需要に合致しています

不足

  1. 理論的基礎が弱い：手法の有効性に対する理論分析と保証が不足しています
  2. 計算オーバーヘッド分析が不十分：複雑性分析は提供されていますが、実際の実行時間の比較が限定的です
  3. 適用性の検討が不十分：異なるタイプのグラフデータへの適用性分析が不十分です

影響力

  1. 学術的貢献：グラフプロンプト学習領域に新しい研究方向を提供
  2. 実用的価値：リソースが限定された少数ショット学習シナリオで重要な応用価値を持つ
  3. 再現性：詳細な実装詳細とハイパーパラメータ設定が提供されています

適用シナリオ

  1. 少数ショットグラフ学習：ラベル付きデータが稀少なグラフ分析タスク
  2. マルチスケールグラフ分析：多層的構造情報を捉える必要があるアプリケーション
  3. リソース制限環境：パラメータ効率に要件がある展開シナリオ

参考文献

本論文は関連文献38篇を引用しており、グラフニューラルネットワーク、グラフ事前学習、プロンプト学習、グラフ粗化など複数の関連領域の重要な研究をカバーしており、研究に堅実な理論的基礎を提供しています。

総合評価：これは高品質なグラフニューラルネットワークプロンプト学習論文であり、既存手法の単粒度制限の問題を革新的に解決しています。手法設計は合理的で、実験検証は充分であり、理論的貢献と実用的価値の両面で重要な意義を持っています。理論分析の面でまだ改善の余地がありますが、全体的にはグラフプロンプト学習領域に重要な貢献をしています。