2025-11-23T22:46:17.287043

Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph

Zheng, Yang, Guan et al.
The "pre-train, prompt'' paradigm, designed to bridge the gap between pre-training tasks and downstream objectives, has been extended from the NLP domain to the graph domain and has achieved remarkable progress. Current mainstream graph prompt-tuning methods modify input or output features using learnable prompt vectors. However, existing approaches are confined to single-granularity (e.g., node-level or subgraph-level) during prompt generation, overlooking the inherently multi-scale structural information in graph data, which limits the diversity of prompt semantics. To address this issue, we pioneer the integration of multi-scale information into graph prompt and propose a Multi-Scale Graph Chain-of-Thought (MSGCOT) prompting framework. Specifically, we design a lightweight, low-rank coarsening network to efficiently capture multi-scale structural features as hierarchical basis vectors for prompt generation. Subsequently, mimicking human cognition from coarse-to-fine granularity, we dynamically integrate multi-scale information at each reasoning step, forming a progressive coarse-to-fine prompt chain. Extensive experiments on eight benchmark datasets demonstrate that MSGCOT outperforms the state-of-the-art single-granularity graph prompt-tuning method, particularly in few-shot scenarios, showcasing superior performance.
academic

Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph

基本信息

  • 论文ID: 2510.09394
  • 标题: Higher-order interactions of multi-layer prompt (Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph)
  • 作者: Ziyu Zheng, Yaming Yang, Ziyu Guan, Wei Zhao, Xinyan Huang, Weigang Lu
  • 分类: cs.CL, cs.AI
  • 发表时间/会议: Conference acronym 'XX, June 03–05, 2018, Woodstock, NY (待发表)
  • 论文链接: https://arxiv.org/abs/2510.09394

摘要

"预训练-提示"范式旨在弥合预训练任务与下游目标之间的差距，已从NLP领域扩展到图领域并取得显著进展。当前主流的图提示调优方法使用可学习的提示向量修改输入或输出特征。然而，现有方法在提示生成过程中局限于单一粒度（如节点级或子图级），忽略了图数据中固有的多尺度结构信息，这限制了提示语义的多样性。为解决这一问题，本文首次将多尺度信息集成到图提示中，提出了多尺度图思维链（MSGCOT）提示框架。具体而言，设计了轻量级低秩粗化网络来高效捕获多尺度结构特征作为提示生成的分层基向量。随后，模拟人类从粗到细粒度的认知过程，在每个推理步骤中动态整合多尺度信息，形成渐进式粗到细提示链。在八个基准数据集上的广泛实验表明，MSGCOT超越了最先进的单粒度图提示调优方法，特别是在少样本场景中表现出卓越性能。

研究背景与动机

问题定义

本研究要解决的核心问题是现有图神经网络提示学习方法在提示生成过程中存在的单一粒度局限性。具体表现为：

  1. 单粒度限制：现有方法（如GPF+、GCOT等）仅关注单一层级的信息（节点级、边级或子图级），忽略了图数据中节点到分层子图的多尺度共存信息
  2. 语义多样性不足：单一粒度的提示生成限制了提示的表达能力和语义丰富性
  3. 结构信息利用不充分：未能充分利用图数据固有的层次化结构特征

重要性分析

这个问题的重要性体现在：

  1. 实际应用需求：真实世界的图数据（社交网络、分子图、推荐系统等）本质上包含多层次的结构信息
  2. 性能提升空间：多尺度信息的有效利用可以显著提升模型在少样本学习场景下的泛化能力
  3. 理论完善性：弥补了图提示学习理论框架中对多粒度信息建模的空白

现有方法局限性

  1. GCOT：虽然采用多步提示生成，但每步仍局限于节点级粒度
  2. 单步提示方法（GPF+、EdgePrompt等）：直接生成完整提示，缺乏渐进式优化机制
  3. 预训练依赖方法：需要特定的预训练策略，通用性有限

核心贡献

  1. 首创多尺度图思维链框架：提出首个集成多粒度信息的图思维链提示学习框架，突破现有方法的单粒度限制
  2. 创新的认知模拟机制：设计低秩粗化网络进行多尺度特征提取，并提出回溯式提示机制实现渐进式提示生成，模拟人类从粗到细的认知过程
  3. 轻量级高效设计：通过低秩分解显著减少参数量（相比GCOT减少47.1%-85.7%），同时保持优异性能
  4. 全面实验验证：在8个基准数据集上的节点分类和图分类任务中均取得最优性能，特别在少样本场景中优势明显

方法详解

任务定义

输入：图 G=(V,E)G = (V, E)，其中 VV 为节点集，EE 为边集，节点特征矩阵 X∈RN×FX \in \mathbb{R}^{N \times F}，邻接矩阵 A∈RN×NA \in \mathbb{R}^{N \times N}

输出：针对下游任务（节点分类/图分类）的优化表示

约束：预训练模型参数冻结，仅更新轻量级提示参数

模型架构

1. 整体框架

MSGCOT框架包含三个核心模块：

  • 节点级提示生成：生成任务特定的节点提示向量
  • 多尺度思维构建：通过粗化网络构建分层表示
  • 粗到细回溯提示：渐进式多尺度提示集成

2. 节点级提示生成

Px=CONDNET(H)P_x = \text{CONDNET}(H) H^=GNN(X⊙Px,A)\hat{H} = \text{GNN}(X \odot P_x, A)

其中 HH 为预训练嵌入，PxP_x 为节点级提示，H^\hat{H} 为提示后的嵌入。

3. 多尺度思维构建

采用低秩分解设计轻量级粗化网络：

Sl=Softmax(Wupl(σ(WdownlTTl−1)))S^l = \text{Softmax}(W_{up}^l(\sigma(W_{down}^{lT} T^{l-1}))) Tl=SlTTl−1T^l = S^{lT} T^{l-1}

其中 Wdown∈Rd×rW_{down} \in \mathbb{R}^{d \times r}，Wup∈Rr×ClW_{up} \in \mathbb{R}^{r \times C_l}（r≪dr \ll d），TlT^l 为第 ll 层粗化表示。

4. 粗到细回溯提示机制

pil+1=∑j=1Clαijl+1tjlp_i^{l+1} = \sum_{j=1}^{C_l} \alpha_{ij}^{l+1} t_j^l αijl+1=exp⁡(tjlh^il)∑kexp⁡(tklh^il)\alpha_{ij}^{l+1} = \frac{\exp(t_j^l \hat{h}_i^l)}{\sum_k \exp(t_k^l \hat{h}_i^l)} h^il+1=h^il+pil+1\hat{h}_i^{l+1} = \hat{h}_i^l + p_i^{l+1}

技术创新点

1. 低秩粗化网络设计

  • 参数效率：通过低秩分解将参数量从 O(d×Cl)O(d \times C_l) 降至 O(d×r+r×Cl)O(d \times r + r \times C_l)
  • 多尺度捕获：渐进式粗化生成不同粒度的结构表示
  • 任务自适应：可学习的分配矩阵适应不同下游任务

2. 认知启发的提示链

  • 模拟人类认知：从全局拓扑到局部细节的渐进式理解
  • 结构化思维：将分层粗化表示作为"结构化思维"替代文本模板
  • 动态集成：每步动态选择和集成不同粒度的信息

3. 约束机制

引入余弦重构损失防止节点信息丢失：

Lr=1N(1−h^i⋅hi∣∣h^i∣∣⋅∣∣hi∣∣)γL_r = \frac{1}{N}(1 - \frac{\hat{h}_i \cdot h_i}{||\hat{h}_i|| \cdot ||h_i||})^\gamma

实验设置

数据集

节点分类：

  • Cora (2,708节点, 7类)
  • Citeseer (3,327节点, 6类)
  • Pubmed (19,717节点, 3类)
  • Photo (7,650节点, 8类)

图分类：

  • MUTAG (188图, 分子化合物)
  • COX2 (467图, 环氧化酶抑制剂)
  • BZR (405图, 苯二氮卓受体配体)
  • PROTEINS (1,113图, 蛋白质结构)

评价指标

  • 准确率（Accuracy）：分类任务的标准评价指标
  • 统计显著性：100次随机采样的均值和方差

对比方法

  1. 监督学习：GCN, GAT
  2. 预训练+微调：LP, GraphCL, DGI/InfoGraph
  3. 预训练+提示：
    • 单步：All-in-One, GPF+, SUPT, GraphPrompt, EdgePrompt+, DAGPrompT
    • 多步：GCOT

实现细节

  • 骨干网络：GCN (隐藏层256维)
  • 粗化层数：2层
  • 粗化比例：{0.01, 0.1, 0.2, 0.3}
  • 低秩维度：节点任务r=8，图任务r=1
  • 约束权重：节点分类α=1，图分类α=0

实验结果

主要结果

单样本分类性能

在8个数据集上，MSGCOT均取得最优性能：

节点分类：

  • Cora: 62.13% (vs GCOT 59.54%, +4.35%)
  • Citeseer: 49.05% (vs GCOT 48.13%, +1.91%)
  • Pubmed: 64.67% (vs GCOT 63.38%, +2.04%)
  • Photo: 68.01% (vs GCOT 66.98%, +1.54%)

图分类：

  • MUTAG: 63.54% (vs GCOT 60.34%, +5.30%)
  • COX2: 73.62% (vs DAGPrompt 55.00%, +33.85%)
  • BZR: 69.85% (vs DAGPrompt 55.49%, +25.87%)
  • PROTEINS: 57.83% (vs DAGPrompt 56.22%, +2.86%)

少样本学习性能

在1-3样本设置下，MSGCOT平均超越基线方法5-8%，展现出优异的少样本泛化能力。

消融实验

系统性消融实验验证各组件贡献：

  1. 多尺度提示（MSP）：移除后节点任务平均下降5.52%，图任务下降17.7%
  2. 重构损失（RE）：对节点分类影响显著，图分类关注全局信息
  3. 回溯机制（TB）：对图分类尤为关键，单向提示导致12-15%性能下降
  4. 增量更新（IU）：渐进式更新带来2-5%性能提升

参数效率分析

相比GCOT显著减少参数量：

  • 节点分类：47.1%-68.3%参数减少
  • 图分类：29.1%-85.7%参数减少
  • 时间效率：图分类任务平均每轮训练时间减少34.8%

超参数敏感性

  1. 粗化率：节点任务最优范围0.1-0.3，图任务在0.05-0.3范围内稳定
  2. 粗化层数：节点任务在2层达到最优，图任务可支持更深层次
  3. 隐藏维度：r=8时节点任务达到最优，图任务在r=1时已表现优异

相关工作

图预训练

  • 对比学习：GraphCL, DGI等通过正负样本对比学习表示
  • 生成学习：通过重构节点特征或图结构进行预训练
  • 局限性：预训练目标与下游任务差距导致性能受限

图提示学习

  • 预训练依赖方法：GPPT, GraphPrompt, All-in-One
  • 预训练无关方法：GPF+, SUPT, EdgePrompt
  • 多步提示：GCOT引入思维链概念但局限于单粒度

图粗化技术

  • 传统方法：谱聚类、非负矩阵分解
  • 可学习方法：DiffPool等通过可学习分配矩阵实现层次化表示
  • 本文贡献：将图粗化与提示学习结合，实现多尺度提示生成

结论与讨论

主要结论

  1. 多尺度信息的重要性：实验证明多尺度结构信息对图提示学习至关重要
  2. 认知启发设计的有效性：模拟人类粗到细认知过程显著提升性能
  3. 参数效率与性能的平衡：低秩设计在大幅减少参数的同时保持优异性能
  4. 少样本学习优势：多尺度提示在数据稀缺场景下表现尤为突出

局限性

  1. 计算复杂度：多步推理增加了一定的计算开销
  2. 超参数敏感性：粗化率和层数需要针对不同任务类型调优
  3. 理论分析不足：缺乏对多尺度提示有效性的理论保证

未来方向

  1. 自适应粗化策略：研究任务自适应的粗化机制
  2. 理论分析：建立多尺度提示学习的理论框架
  3. 扩展应用：探索在更多图学习任务中的应用潜力

深度评价

优点

  1. 创新性强：首次将多尺度信息系统性集成到图提示学习中
  2. 设计合理：低秩粗化网络和回溯机制设计巧妙，兼顾效率和效果
  3. 实验充分：8个数据集、多种对比方法、详细消融实验
  4. 实用价值高：在少样本场景下优势明显，符合实际应用需求

不足

  1. 理论基础薄弱：缺乏对方法有效性的理论分析和保证
  2. 计算开销分析不足：虽然提供了复杂度分析，但实际运行时间对比有限
  3. 适用性探讨不够：对不同类型图数据的适用性分析不充分

影响力

  1. 学术贡献：为图提示学习领域提供了新的研究方向
  2. 实用价值：在资源受限的少样本学习场景中具有重要应用价值
  3. 可复现性：提供了详细的实现细节和超参数设置

适用场景

  1. 少样本图学习：标注数据稀缺的图分析任务
  2. 多尺度图分析：需要捕获多层次结构信息的应用
  3. 资源受限环境：对参数效率有要求的部署场景

参考文献

本文引用了38篇相关文献，涵盖图神经网络、图预训练、提示学习、图粗化等多个相关领域的重要工作，为研究提供了坚实的理论基础。

总体评价：这是一篇高质量的图神经网络提示学习论文，创新性地解决了现有方法的单粒度局限性问题。方法设计合理，实验验证充分，在理论贡献和实用价值方面都有重要意义。尽管在理论分析方面仍有提升空间，但整体上为图提示学习领域做出了重要贡献。