2025-11-17T15:28:12.912033

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

Huang, Zhao, He et al.

Graph Prompt Learning (GPL) has emerged as a promising paradigm that bridges graph pretraining models and downstream scenarios, mitigating label dependency and the misalignment between upstream pretraining and downstream tasks. Although existing GPL studies explore various prompt strategies, their effectiveness and underlying principles remain unclear. We identify two critical limitations: (1) Lack of consensus on underlying mechanisms: Despite current GPLs have advanced the field, there is no consensus on how prompts interact with pretrained models, as different strategies intervene at varying spaces within the model, i.e., input-level, layer-wise, and representation-level prompts. (2) Limited scenario adaptability: Most methods fail to generalize across diverse downstream scenarios, especially under data distribution shifts (e.g., homophilic-to-heterophilic graphs). To address these issues, we theoretically analyze existing GPL approaches and reveal that representation-level prompts essentially function as fine-tuning a simple downstream classifier, proposing that graph prompt learning should focus on unleashing the capability of pretrained models, and the classifier should adapt to downstream scenarios. Based on our findings, we propose UniPrompt, a novel GPL method that adapts any pretrained models, unleashing the capability of pretrained models while preserving the input graph. Extensive experiments demonstrate that our method can effectively integrate with various pretrained models and achieve strong performance across in-domain and cross-domain scenarios.

academic

Ein Prompt passt für alle: Universelle Graphenanpassung für vortrainierte Modelle

Grundinformationen

Paper-ID: 2509.22416
Titel: One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
Autoren: Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng
Klassifizierung: cs.LG
Veröffentlichungskonferenz: NeurIPS 2025
Paper-Link: https://arxiv.org/abs/2509.22416

Zusammenfassung

Graph Prompt Learning (GPL) als effektives Paradigma zur Verbindung von vortrainierten Graphenmodellen und nachgelagerten Aufgaben kann die Abhängigkeit von Etiketten und Probleme der Aufgabenabweichung zwischen Vor- und Nachtraining abschwächen. Obwohl bestehende GPL-Forschungen verschiedene Prompt-Strategien untersucht hat, bleiben ihre Wirksamkeit und zugrunde liegenden Mechanismen unklar. Dieses Papier identifiziert zwei kritische Einschränkungen: (1) Mangel an Konsens über zugrunde liegende Mechanismen: Verschiedene Strategien greifen in verschiedene Räume des Modells ein (Eingabeebene, Schichtebene, Darstellungsebene); (2) Begrenzte Szenarioadaptivität: Die meisten Methoden lassen sich bei Datenverteilungsversatz schwer verallgemeinern. Dieses Papier offenbart durch theoretische Analyse, dass Darstellungsebenen-Prompting im Wesentlichen dem Feinabstimmen eines einfachen nachgelagerten Klassifizierers entspricht, und schlägt vor, dass Graph Prompt Learning sich auf die Freisetzung der Fähigkeiten vortrainierter Modelle konzentrieren sollte, während der Klassifizierer sich an nachgelagerte Szenarien anpasst. Basierend auf dieser Erkenntnis wird die UniPrompt-Methode vorgeschlagen, die sich an jedes vortrainierte Modell anpassen kann und in Szenarien innerhalb und außerhalb der Domäne hervorragende Leistungen erzielt.

Forschungshintergrund und Motivation

Kernprobleme

Graph Prompt Learning zielt darauf ab, die Nichtübereinstimmung zwischen vortrainierten Graphenmodellen und nachgelagerten Aufgaben zu beheben, aber bestehende Methoden stehen vor zwei kritischen Herausforderungen:

Unklar verstandene Mechanismen: Bestehende GPL-Methoden umfassen drei verschiedene Prompt-Strategien auf Eingabeebene, Schichtebene und Darstellungsebene, es fehlt jedoch ein einheitlicher theoretischer Verständnisrahmen zur Erklärung der Funktionsweise dieser verschiedenen Mechanismen.
Unzureichende Adaptivität: Die meisten Methoden zeigen einen signifikanten Leistungsabfall bei Datenverteilungsversatz (z. B. von homogenen zu heterogenen Graphen) und können nicht effektiv auf verschiedene nachgelagerte Szenarien verallgemeinert werden.

Forschungsbedeutung

Theoretische Bedeutung: Bereitstellung eines einheitlichen theoretischen Rahmens für Graph Prompt Learning, Klärung der Natur verschiedener Prompt-Mechanismen
Praktischer Wert: Verbesserung der Leistung vortrainierter Graphenmodelle beim Few-Shot-Learning und bei der domänenübergreifenden Übertragung
Technologischer Fortschritt: Förderung der Entwicklung von Graph-Grundmodellen, Verbesserung der Allgemeingültigkeit und Adaptivität von Modellen

Einschränkungen bestehender Methoden

Durch Motivationsexperimente wird festgestellt, dass bestehende Darstellungsebenen-Prompt-Methoden (wie GPPT und GraphPrompt) beim Wechsel vortrainierter Modelle instabile Leistungen zeigen und sogar schlechter abschneiden als einfache lineare Sondierungsmethoden. Dies deutet darauf hin, dass bestehende Methoden möglicherweise in eine "Pseudo-Adaptations"-Falle geraten sind.

Kernbeiträge

Theoretischer Beitrag: Erstmals theoretisch nachgewiesen, dass Darstellungsebenen-Prompting im Wesentlichen der Feinabstimmung eines linearen Klassifizierers entspricht, und eine neue Perspektive vorgeschlagen: "Prompts geben vortrainierte Fähigkeiten frei, Klassifizierer passen sich nachgelagerten Szenarien an"
Methodische Innovation: Vorschlag von UniPrompt, einer universellen Eingabeebenen-Graphen-Prompt-Methode, die durch Lernen von Topologie-Prompt-Graphen die ursprüngliche Graphenstruktur beibehält
Experimentelle Validierung: Umfangreiche Experimente auf homogenen und heterogenen Graphendatensätzen, die die Wirksamkeit der Methode in Szenarien innerhalb und außerhalb der Domäne nachweisen
Designprinzipien: Etablierung von Designprinzipien für Graph Prompt Learning zur Anleitung zukünftiger Forschung

Methodische Details

Aufgabendefinition

Gegeben ein Graph $G = (V, E, X, Y)$ , wobei $V$ die Knotenmenge ist, $E$ die Kantenmenge, $X \in \mathbb{R}^{N \times F}$ die Merkmalsmatrix und $Y$ die Etikettenmenge. Das Ziel besteht darin, die Vorhersagefunktion durch lernbare Prompt-Parameter $\Psi$ zu optimieren, während der vortrainierte Encoder $f_\theta$ eingefroren bleibt:

$\max_\Psi \frac{1}{|D|} \sum_{(A,X,y) \in D} \sum_{i=1}^N \log P(y_i | \text{Predict}_\Psi(A,X,v_i; f_\theta))$

S_{ij}, & \text{wenn } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{sonst} \end{cases}$$ wobei die Ähnlichkeit berechnet wird als: $S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$ #### 2. Parametrisierungsmechanismus Einführung von lernbaren Gewichten $w_{ij}$ für jede Kante unter Verwendung eines Gate-Mechanismus: $$\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$$ #### 3. Bootstrap-Ensemble Verwendung einer iterativen Aktualisierungsstrategie zur Vermeidung von Modellkollaps: $$\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$$ wobei $\hat{A}^{(0)} = A$ und $\tau \in [0,1]$ das Gleichgewicht zwischen ursprünglichem und Prompt-Graph kontrolliert. #### 4. Optimierungsziel Gemeinsame Optimierung von Prompt-Parametern und Klassifizierer: $$\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$$ ## Experimentelle Einrichtung ### Datensätze Verwendung von 9 Knotenklassifizierungsdatensätzen: - **Homogene Graphen**: Cora, CiteSeer, PubMed - **Heterogene Graphen**: Cornell, Texas, Wisconsin, Chameleon, Actor, Squirrel ### Bewertungsmetriken - **Genauigkeit**: Genauigkeit der Knotenklassifizierung - **Few-Shot-Einstellung**: 1-Shot-, 3-Shot-, 5-Shot-Lernen ### Vergleichsmethoden - **Baseline-Methoden**: Fine-tune, Linear-probe - **GPL-Methoden**: GPPT, GraphPrompt, All-in-one, GPF/GPF+, EdgePrompt/EdgePrompt+ - **Vortrainierte Modelle**: DGI, GRACE, GraphMAE ### Implementierungsdetails - Verwendung von 2-schichtigen GCN/GAT als Backbone-Netzwerk - Training über 2000 Epochen, frühes Stoppen mit Geduld=20 - 5 zufällige Seeds × 20 wiederholte Experimente ## Experimentelle Ergebnisse ### Hauptergebnisse #### 1-Shot-Knotenklassifizierung innerhalb der Domäne Signifikante Verbesserungen auf heterogenen Graphen wie Cornell, Texas, Wisconsin: - Cornell: Verbesserung von 34,56% (beste Baseline) auf 51,13% bei DGI - Texas: Verbesserung von 37,50% auf 48,21% - Wisconsin: Verbesserung von 33,91% auf 58,75% #### Domänenübergreifende Knotenklassifizierung In der 1-Shot-domänenübergreifenden Einstellung: - PubMed: Verbesserung von 46,84% auf 55,01% - Cornell: Verbesserung von 40,77% auf 51,58% ### Ablationsstudien Validierung kritischer Komponenten durch Austauschexperimente: - **Random_Topo**: Ersatz von kNN durch zufällige Topologie führt zu Leistungsabfall - **Simple_Add**: Einfache Addition statt Bootstrap-Strategie führt zu Überanpassung - **Discard_Topo**: Vollständiges Verwerfen des ursprünglichen Graphen führt zu drastischem Leistungsabfall bei homogenen Graphen ### Hyperparameter-Analyse - **τ-Parameter**: Heterogene Graphen benötigen kleinere τ-Werte (0,999-0,9999), homogene Graphen zeigen stabile Leistung bei τ≥0,9999 - **k-Parameter**: Dünn besetzte heterogene Graphen profitieren am meisten, dichte Graphen und homogene Graphen sind relativ stabil ### Rechenkomplexität - Vorverarbeitungszeit: etwa 1,3 Sekunden - Trainingszeit pro Runde nimmt moderat zu - GPU-Speichernutzung im akzeptablen Bereich ## Verwandte Arbeiten ### Graphen-Vortraining - **Kontrastive Lernmethoden**: DGI, GRACE, GraphCL und andere lernen Darstellungen durch Maximierung gegenseitiger Information - **Generative Methoden**: GraphMAE und andere lernen Darstellungen durch maskierte Rekonstruktion ### Graph Prompt Learning - **Eingabeebenen-Prompting**: GPF-Serienmethoden fügen Prompt-Vektoren im Merkmalsraum hinzu - **Darstellungsebenen-Prompting**: GPPT, GraphPrompt und andere fügen Prompts in der Ausgabeschicht hinzu - **Schichtebenen-Prompting**: Integration von Prompt-Informationen in verschiedenen GNN-Schichten ### Graph-Grundmodelle Die jüngste Entwicklung von Graph-Grundmodellen bietet neue Anwendungsszenarien und Herausforderungen für GPL. ## Schlussfolgerungen und Diskussion ### Hauptschlussfolgerungen 1. **Theoretische Einsichten**: Darstellungsebenen-Prompting entspricht einem linearen Klassifizierer, sollte sich auf Eingabeebenen-Prompting konzentrieren 2. **Designprinzipien**: Prompts sollten Fähigkeiten vortrainierter Modelle freisetzen, Klassifizierer sind für die Anpassung an nachgelagerte Aufgaben verantwortlich 3. **Praktische Methode**: UniPrompt erreicht universelle Modellanpassung durch adaptive Topologie-Prompting ### Einschränkungen 1. **LLM-Integrationsbeschränkungen**: Integration mit großen Sprachmodellen nicht untersucht 2. **Hyperparameter-Abhängigkeit**: τ- und k-Parameter müssen für verschiedene Datensatztypen optimiert werden 3. **Begrenzte Aufgabenabdeckung**: Hauptsächlich Knotenklassifizierung bewertet, andere Graphenaufgaben ausstehend 4. **Rauschempfindlichkeit**: Relativ empfindlich gegenüber Merkmalrauschen ### Zukünftige Richtungen 1. Erweiterung auf Graphenklassifizierung, Linkvorhersage und andere Aufgaben 2. Integration mit LLMs zur Konstruktion stärkerer Graph-Grundmodelle 3. Verbesserung der Robustheit gegenüber Rauschen und Verteilungsversatz 4. Erkundung automatischer Hyperparameter-Auswahlmechanismen ## Tiefgreifende Bewertung ### Stärken 1. **Hervorragende theoretische Beiträge**: Erstmalige theoretische Vereinheitlichung verschiedener Prompt-Mechanismen, bietet wichtige Einsichten 2. **Geschickte Methodengestaltung**: Bootstrap-Ensemble-Strategie verhindert effektiv Modellkollaps, kNN-Initialisierung nutzt Merkmals-Ähnlichkeit sinnvoll 3. **Umfassende Experimente**: Abdeckung mehrerer vortrainierter Modelle, Datensatztypen und Bewertungseinstellungen 4. **Hoher praktischer Wert**: Methode ist einfach, effektiv, leicht zu implementieren und bereitzustellen ### Mängel 1. **Theoretische Analysebeschränkungen**: Hauptsächlich auf linearen Fall konzentriert, Analyse nichtlinearer Prompts nicht ausreichend 2. **Rechenkomplexität**: kNN-Konstruktion und iterative Aktualisierung erhöhen Rechenkosten 3. **Parameterempfindlichkeit**: Kritische Hyperparameter erfordern sorgfältige Optimierung, niedriger Automatisierungsgrad 4. **Rausch-Robustheit**: Leistung sinkt unter Merkmalrauschen signifikant ### Auswirkungen 1. **Akademischer Wert**: Bietet wichtige theoretische Grundlagen und Designprinzipien für Graph Prompt Learning 2. **Praktische Bedeutung**: Verbessert Adaptivität und Verallgemeinerungsfähigkeit vortrainierter Graphenmodelle 3. **Forschungsinspiration**: Weist zukünftige Forschung in die richtige Richtung, besonders zur Bedeutung von Eingabeebenen-Prompting ### Anwendungsszenarien 1. **Few-Shot-Lernen**: Graphenlernaufgaben mit spärlichen Annotationsdaten 2. **Domänenübergreifende Übertragung**: Szenarien, in denen Vortraining und nachgelagerte Aufgaben unterschiedliche Verteilungen haben 3. **Heterogene Graphenverarbeitung**: Graphendaten, bei denen die traditionelle Homogenitätsannahme nicht gilt 4. **Schnelle Anpassung**: Anwendungen, die schnelle Bereitstellung vortrainierter Modelle erfordern ## Literaturverzeichnis Das Papier zitiert 91 relevante Literaturquellen, die wichtige Arbeiten in mehreren Bereichen abdecken, einschließlich Graphenneuronaler Netze, Graphen-Selbstüberwachung und Graph Prompt Learning, und bietet eine solide theoretische Grundlage für die Forschung. --- **Zusammenfassung**: Dieses Papier bietet durch tiefgreifende theoretische Analyse und umfangreiche experimentelle Validierung wichtige theoretische Einsichten und praktische Methoden für das Feld Graph Prompt Learning. Die UniPrompt-Methode ist einfach und effektiv mit guter Universalität und Adaptivität und trägt wertvoll zur Entwicklung von Graph-Grundmodellen bei.