2025-11-17T15:28:12.912033

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

Huang, Zhao, He et al.
Graph Prompt Learning (GPL) has emerged as a promising paradigm that bridges graph pretraining models and downstream scenarios, mitigating label dependency and the misalignment between upstream pretraining and downstream tasks. Although existing GPL studies explore various prompt strategies, their effectiveness and underlying principles remain unclear. We identify two critical limitations: (1) Lack of consensus on underlying mechanisms: Despite current GPLs have advanced the field, there is no consensus on how prompts interact with pretrained models, as different strategies intervene at varying spaces within the model, i.e., input-level, layer-wise, and representation-level prompts. (2) Limited scenario adaptability: Most methods fail to generalize across diverse downstream scenarios, especially under data distribution shifts (e.g., homophilic-to-heterophilic graphs). To address these issues, we theoretically analyze existing GPL approaches and reveal that representation-level prompts essentially function as fine-tuning a simple downstream classifier, proposing that graph prompt learning should focus on unleashing the capability of pretrained models, and the classifier should adapt to downstream scenarios. Based on our findings, we propose UniPrompt, a novel GPL method that adapts any pretrained models, unleashing the capability of pretrained models while preserving the input graph. Extensive experiments demonstrate that our method can effectively integrate with various pretrained models and achieve strong performance across in-domain and cross-domain scenarios.
academic

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

基本信息

  • 论文ID: 2509.22416
  • 标题: One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
  • 作者: Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng
  • 分类: cs.LG
  • 发表会议: NeurIPS 2025
  • 论文链接: https://arxiv.org/abs/2509.22416

摘要

图提示学习(Graph Prompt Learning, GPL)作为连接图预训练模型和下游任务的有效范式，能够缓解标签依赖性和上下游任务不匹配问题。尽管现有GPL研究探索了多种提示策略，但其有效性和潜在机制仍不清晰。本文识别了两个关键限制：(1)缺乏对潜在机制的共识：不同策略在模型的不同空间（输入级、层级、表示级）进行干预；(2)场景适应性有限：大多数方法在数据分布偏移时难以泛化。本文通过理论分析揭示表示级提示本质上等同于微调简单的下游分类器，提出图提示学习应专注于释放预训练模型能力，而分类器适应下游场景。基于此发现，提出了UniPrompt方法，能适配任何预训练模型并在域内外场景取得优异性能。

研究背景与动机

核心问题

图提示学习旨在解决图预训练模型与下游任务之间的不匹配问题，但现有方法存在两个关键挑战：

  1. 机制理解不清晰：现有GPL方法包括输入级、层级和表示级三种不同的提示策略，但缺乏统一的理论理解框架来解释这些不同机制的工作原理。
  2. 适应性不足：大多数方法在面对数据分布偏移（如从同质图到异质图）时性能显著下降，无法有效泛化到不同的下游场景。

研究重要性

  • 理论意义：为图提示学习提供统一的理论框架，澄清不同提示机制的本质
  • 实用价值：提高预训练图模型在少样本学习和跨域迁移中的效果
  • 技术推进：促进图基础模型的发展，提升模型的通用性和适应性

现有方法局限性

通过动机实验发现，现有的表示级提示方法（如GPPT、GraphPrompt）在切换预训练模型时表现不稳定，甚至不如简单的线性探测方法。这表明现有方法可能陷入了"伪适应"陷阱。

核心贡献

  1. 理论贡献：首次从理论上证明表示级提示本质上等同于线性分类器微调，提出了"提示释放预训练能力，分类器适应下游场景"的新视角
  2. 方法创新：提出UniPrompt，一种通用的输入级图提示方法，通过学习拓扑提示图同时保持原始图结构
  3. 实验验证：在同质和异质图数据集上进行广泛实验，证明方法在域内外场景下的有效性
  4. 设计原则：建立了图提示学习的设计原则，为未来研究提供指导

方法详解

任务定义

给定图 G=(V,E,X,Y)G = (V, E, X, Y)，其中 VV 是节点集，EE 是边集，X∈RN×FX \in \mathbb{R}^{N \times F} 是特征矩阵，YY 是标签集。目标是在冻结预训练编码器 fθf_\theta 的情况下，通过可学习的提示参数 Ψ\Psi 优化预测函数：

max⁡Ψ1∣D∣∑(A,X,y)∈D∑i=1Nlog⁡P(yi∣PredictΨ(A,X,vi;fθ))\max_\Psi \frac{1}{|D|} \sum_{(A,X,y) \in D} \sum_{i=1}^N \log P(y_i | \text{Predict}_\Psi(A,X,v_i; f_\theta))

理论分析

表示级提示等价性定理

定理4.1：给定线性提示函数 T(h)=WTh+bTT(h) = W_T h + b_T 和分类器 C(h)=WCThC(h) = W_C^T h，存在等价的线性分类器 C′(h)=WC′Th+bC′C'(h) = W_{C'}^T h + b_{C'} 使得 (C∘T)(h)=C′(h)(C \circ T)(h) = C'(h)。

这一理论结果表明表示级提示在函数空间和优化目标上都等同于线性探测，因此应该将重点转向输入级提示。

UniPrompt架构

1. 提示初始化

使用kNN构建初始提示图：

S_{ij}, & \text{if } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{otherwise} \end{cases}$$ 其中相似度计算为：$S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$ #### 2. 参数化机制 对每条边引入可学习权重 $w_{ij}$，使用门控机制： $$\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$$ #### 3. 自举式集成 采用迭代更新策略避免模型崩塌： $$\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$$ 其中 $\hat{A}^{(0)} = A$，$\tau \in [0,1]$ 控制原始图和提示图的平衡。 #### 4. 优化目标 联合优化提示参数和分类器： $$\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$$ ## 实验设置 ### 数据集 使用9个节点分类数据集： - **同质图**：Cora、CiteSeer、PubMed - **异质图**：Cornell、Texas、Wisconsin、Chameleon、Actor、Squirrel ### 评价指标 - **准确率**：节点分类准确率 - **少样本设置**：1-shot、3-shot、5-shot学习 ### 对比方法 - **基线方法**：Fine-tune、Linear-probe - **GPL方法**：GPPT、GraphPrompt、All-in-one、GPF/GPF+、EdgePrompt/EdgePrompt+ - **预训练模型**：DGI、GRACE、GraphMAE ### 实现细节 - 使用2层GCN/GAT作为骨干网络 - 训练2000轮，早停patience=20 - 5个随机种子×20次重复实验 ## 实验结果 ### 主要结果 #### 1-shot域内节点分类 在Cornell、Texas、Wisconsin等异质图上取得显著提升： - Cornell：在DGI上从最佳基线34.56%提升到51.13% - Texas：从最佳基线37.50%提升到48.21% - Wisconsin：从最佳基线33.91%提升到58.75% #### 跨域节点分类 在1-shot跨域设置下： - PubMed：从46.84%提升到55.01% - Cornell：从40.77%提升到51.58% ### 消融实验 通过替换实验验证关键组件： - **Random_Topo**：用随机拓扑替换kNN，性能下降 - **Simple_Add**：简单相加替换自举策略，导致过拟合 - **Discard_Topo**：完全丢弃原始图，在同质图上性能大幅下降 ### 超参数分析 - **τ参数**：异质图需要较小的τ值（0.999-0.9999），同质图在τ≥0.9999时性能稳定 - **k参数**：稀疏异质图受益最大，密集图和同质图相对稳定 ### 计算开销 - 预处理时间：约1.3秒 - 每轮训练时间增加适中 - GPU内存使用在可接受范围内 ## 相关工作 ### 图预训练 - **对比学习方法**：DGI、GRACE、GraphCL等通过最大化互信息学习表示 - **生成式方法**：GraphMAE等通过掩码重构学习表示 ### 图提示学习 - **输入级提示**：GPF系列方法在特征空间添加提示向量 - **表示级提示**：GPPT、GraphPrompt等在输出层添加提示 - **层级提示**：在GNN各层中集成提示信息 ### 图基础模型 近期图基础模型的发展为GPL提供了新的应用场景和挑战。 ## 结论与讨论 ### 主要结论 1. **理论洞察**：表示级提示等同于线性分类器，应重点关注输入级提示 2. **设计原则**：提示应释放预训练模型能力，分类器负责适应下游任务 3. **实用方法**：UniPrompt通过自适应拓扑提示实现了通用的模型适配 ### 局限性 1. **LLM集成限制**：未探索与大语言模型的集成 2. **超参数依赖**：τ和k参数需要针对不同数据集类型调优 3. **任务覆盖有限**：主要评估节点分类，其他图任务有待验证 4. **噪声敏感性**：对特征噪声较为敏感 ### 未来方向 1. 扩展到图分类、链接预测等任务 2. 与LLM结合构建更强大的图基础模型 3. 提高对噪声和分布偏移的鲁棒性 4. 探索自动超参数选择机制 ## 深度评价 ### 优点 1. **理论贡献突出**：首次从理论角度统一理解不同提示机制，提供了重要洞察 2. **方法设计巧妙**：自举式集成策略有效避免了模型崩塌，kNN初始化合理利用了特征相似性 3. **实验全面**：涵盖多种预训练模型、数据集类型和评估设置 4. **实用价值高**：方法简单有效，易于实现和部署 ### 不足 1. **理论分析局限**：主要针对线性情况，非线性提示的分析不够深入 2. **计算开销**：kNN构建和迭代更新增加了计算成本 3. **参数敏感性**：关键超参数需要仔细调优，自动化程度不高 4. **噪声鲁棒性**：在特征噪声下性能显著下降 ### 影响力 1. **学术价值**：为图提示学习提供了重要的理论基础和设计原则 2. **实用意义**：提高了预训练图模型的适应性和泛化能力 3. **研究启发**：为后续研究指明了方向，特别是输入级提示的重要性 ### 适用场景 1. **少样本学习**：标注数据稀缺的图学习任务 2. **跨域迁移**：预训练和下游任务分布不同的场景 3. **异质图处理**：传统同质假设不成立的图数据 4. **快速适配**：需要快速部署预训练模型的应用 ## 参考文献 论文引用了91篇相关文献，涵盖图神经网络、图自监督学习、图提示学习等多个领域的重要工作，为研究提供了坚实的理论基础。 --- **总结**：本文通过深入的理论分析和广泛的实验验证，为图提示学习领域提供了重要的理论洞察和实用方法。UniPrompt方法简单有效，具有良好的通用性和适应性，为图基础模型的发展做出了有价值的贡献。