2025-11-23T22:46:17.287043

Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph

Zheng, Yang, Guan et al.

The "pre-train, prompt'' paradigm, designed to bridge the gap between pre-training tasks and downstream objectives, has been extended from the NLP domain to the graph domain and has achieved remarkable progress. Current mainstream graph prompt-tuning methods modify input or output features using learnable prompt vectors. However, existing approaches are confined to single-granularity (e.g., node-level or subgraph-level) during prompt generation, overlooking the inherently multi-scale structural information in graph data, which limits the diversity of prompt semantics. To address this issue, we pioneer the integration of multi-scale information into graph prompt and propose a Multi-Scale Graph Chain-of-Thought (MSGCOT) prompting framework. Specifically, we design a lightweight, low-rank coarsening network to efficiently capture multi-scale structural features as hierarchical basis vectors for prompt generation. Subsequently, mimicking human cognition from coarse-to-fine granularity, we dynamically integrate multi-scale information at each reasoning step, forming a progressive coarse-to-fine prompt chain. Extensive experiments on eight benchmark datasets demonstrate that MSGCOT outperforms the state-of-the-art single-granularity graph prompt-tuning method, particularly in few-shot scenarios, showcasing superior performance.

academic

Jenseits von Einzel-Granularitäts-Prompts: Multi-Skalen-Gedankenketten-Prompt-Lernen für Graphen

Grundlegende Informationen

Paper-ID: 2510.09394
Titel: Higher-order interactions of multi-layer prompt (Beyond Single-Granularity Prompts: A Multi-Scale Chain-of-Thought Prompt Learning for Graph)
Autoren: Ziyu Zheng, Yaming Yang, Ziyu Guan, Wei Zhao, Xinyan Huang, Weigang Lu
Klassifizierung: cs.CL, cs.AI
Veröffentlichungszeit/Konferenz: Conference acronym 'XX, June 03–05, 2018, Woodstock, NY (ausstehend)
Paper-Link: https://arxiv.org/abs/2510.09394

Zusammenfassung

Das Paradigma „Vortraining-Prompt" zielt darauf ab, die Lücke zwischen Vortrainingaufgaben und nachgelagerten Zielen zu schließen und hat sich vom NLP-Bereich auf den Graphenbereich ausgeweitet und erhebliche Fortschritte erzielt. Die aktuellen Mainstream-Methoden zur Graph-Prompt-Optimierung verwenden lernbare Prompt-Vektoren, um Eingabe- oder Ausgabemerkmale zu modifizieren. Allerdings sind bestehende Methoden bei der Prompt-Generierung auf eine einzelne Granularität (z. B. Knoten- oder Subgraph-Ebene) beschränkt und ignorieren die inhärenten Multi-Skalen-Strukturinformationen in Graphendaten, was die Vielfalt der Prompt-Semantik einschränkt. Um dieses Problem zu lösen, integriert dieses Papier erstmals Multi-Skalen-Informationen in Graph-Prompts und schlägt das Multi-Skalen-Graph-Gedankenketten-(MSGCOT-)Prompt-Framework vor. Konkret wird ein leichtgewichtiges Low-Rank-Vergröberungsnetzwerk entworfen, um Multi-Skalen-Strukturmerkmale effizient als hierarchische Basisvektoren für die Prompt-Generierung zu erfassen. Anschließend wird der menschliche Erkenntnisprozess von grob zu fein simuliert, wobei Multi-Skalen-Informationen in jedem Inferenzschritt dynamisch integriert werden, um eine progressive Grob-zu-Fein-Prompt-Kette zu bilden. Umfangreiche Experimente auf acht Benchmark-Datensätzen zeigen, dass MSGCOT fortschrittliche Single-Granularitäts-Graph-Prompt-Optimierungsmethoden übertrifft, insbesondere in Few-Shot-Szenarien.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem, das diese Forschung lösen soll, ist die Single-Granularitäts-Einschränkung in bestehenden Graph-Neural-Network-Prompt-Lernmethoden bei der Prompt-Generierung. Dies äußert sich konkret in:

Single-Granularitäts-Einschränkung: Bestehende Methoden (wie GPF+, GCOT usw.) konzentrieren sich nur auf Informationen einer einzelnen Ebene (Knoten-, Kanten- oder Subgraph-Ebene) und ignorieren die Multi-Skalen-Koexistenz-Informationen von Knoten bis zu hierarchischen Subgraphen in Graphendaten
Unzureichende semantische Vielfalt: Die Single-Granularitäts-Prompt-Generierung begrenzt die Ausdruckskraft und semantische Reichhaltigkeit von Prompts
Unzureichende Nutzung von Strukturinformationen: Die inhärenten hierarchischen Strukturmerkmale von Graphendaten werden nicht vollständig genutzt

Bedeutungsanalyse

Die Bedeutung dieses Problems zeigt sich in:

Praktische Anwendungsanforderungen: Echte Graphendaten (soziale Netzwerke, Molekülgraphen, Empfehlungssysteme usw.) enthalten von Natur aus mehrstufige Strukturinformationen
Raum für Leistungsverbesserungen: Die effektive Nutzung von Multi-Skalen-Informationen kann die Verallgemeinerungsfähigkeit des Modells in Few-Shot-Lernszenarien erheblich verbessern
Theoretische Vollständigkeit: Schließt die Lücke in der theoretischen Rahmenstruktur des Graph-Prompt-Lernens bei der Modellierung von Multi-Granularitäts-Informationen

Einschränkungen bestehender Methoden

GCOT: Obwohl Multi-Schritt-Prompt-Generierung verwendet wird, ist jeder Schritt immer noch auf Knoten-Granularität beschränkt
Single-Step-Prompt-Methoden (GPF+, EdgePrompt usw.): Generieren direkt vollständige Prompts, ohne progressive Optimierungsmechanismus
Vortrainingabhängige Methoden: Erfordern spezifische Vortrainingstrategien mit begrenzter Universalität

Kernbeiträge

Erstmaliges Multi-Skalen-Graph-Gedankenketten-Framework: Schlägt das erste Graph-Gedankenketten-Prompt-Lernframework vor, das Multi-Granularitäts-Informationen integriert und die Single-Granularitäts-Einschränkung bestehender Methoden durchbricht
Innovativer Erkenntnissimulationsmechanismus: Entwirft ein Low-Rank-Vergröberungsnetzwerk zur Multi-Skalen-Merkmalsextraktion und schlägt einen Rückverfolgungs-Prompt-Mechanismus vor, um progressive Prompt-Generierung zu erreichen und den menschlichen Erkenntnisprozess von grob zu fein zu simulieren
Leichtgewichtiges und effizientes Design: Reduziert die Parameteranzahl durch Low-Rank-Zerlegung erheblich (47,1%-85,7% Reduktion gegenüber GCOT), während gleichzeitig hervorragende Leistung beibehalten wird
Umfassende experimentelle Validierung: Erreicht optimale Leistung bei Knoten- und Graphklassifizierungsaufgaben auf 8 Benchmark-Datensätzen mit besonders deutlichen Vorteilen in Few-Shot-Szenarien

Methodische Details

Aufgabendefinition

Eingabe: Graph $G = (V, E)$ , wobei $V$ die Knotenmenge ist, $E$ die Kantenmenge, Knoten-Merkmalsmatrix $X \in \mathbb{R}^{N \times F}$ , Adjazenzmatrix $A \in \mathbb{R}^{N \times N}$

Ausgabe: Optimierte Darstellung für nachgelagerte Aufgaben (Knotenklassifizierung/Graphklassifizierung)

Einschränkungen: Vortrainingmodellparameter sind eingefroren, nur leichtgewichtige Prompt-Parameter werden aktualisiert

Modellarchitektur

1. Gesamtrahmen

Das MSGCOT-Framework besteht aus drei Kernmodulen:

Knoten-Level-Prompt-Generierung: Generiert aufgabenspezifische Knoten-Prompt-Vektoren
Multi-Skalen-Gedankenkonstruktion: Konstruiert hierarchische Darstellungen durch Vergröberungsnetzwerk
Grob-zu-Fein-Rückverfolgung-Prompt: Progressive Multi-Skalen-Prompt-Integration

2. Knoten-Level-Prompt-Generierung

P_x = \text{CONDNET}(H)

\hat{H} = \text{GNN}(X \odot P_x, A)

wobei $H$ die Vortrainingeinbettung ist, $P_x$ der Knoten-Level-Prompt, $\hat{H}$ die Prompt-Einbettung.

3. Multi-Skalen-Gedankenkonstruktion

Verwendet Low-Rank-Zerlegungsdesign für leichtgewichtiges Vergröberungsnetzwerk:

S^l = \text{Softmax}(W_{up}^l(\sigma(W_{down}^{lT} T^{l-1})))

T^l = S^{lT} T^{l-1}

wobei $W_{down} \in \mathbb{R}^{d \times r}$ , $W_{up} \in \mathbb{R}^{r \times C_l}$ ( $r \ll d$ ), $T^l$ die Vergröberungsdarstellung der $l$ -ten Ebene ist.

4. Grob-zu-Fein-Rückverfolgung-Prompt-Mechanismus

p_i^{l+1} = \sum_{j=1}^{C_l} \alpha_{ij}^{l+1} t_j^l

\alpha_{ij}^{l+1} = \frac{\exp(t_j^l \hat{h}_i^l)}{\sum_k \exp(t_k^l \hat{h}_i^l)}

\hat{h}_i^{l+1} = \hat{h}_i^l + p_i^{l+1}

Technische Innovationspunkte

1. Low-Rank-Vergröberungsnetzwerk-Design

Parametereffizienz: Reduziert die Parameteranzahl durch Low-Rank-Zerlegung von $O(d \times C_l)$ auf $O(d \times r + r \times C_l)$
Multi-Skalen-Erfassung: Progressive Vergröberung generiert Strukturdarstellungen verschiedener Granularitäten
Aufgabenadaption: Lernbare Zuordnungsmatrix passt sich verschiedenen nachgelagerten Aufgaben an

2. Erkenntnisgestützte Prompt-Kette

Menschliche Erkenntnissimulation: Progressive Verständigung von globaler Topologie zu lokalen Details
Strukturiertes Denken: Verwendet hierarchische Vergröberungsdarstellungen als „strukturiertes Denken" als Alternative zu Textvorlagen
Dynamische Integration: Integriert in jedem Schritt dynamisch Informationen verschiedener Granularitäten

3. Einschränkungsmechanismen

Führt Kosinus-Rekonstruktionsverlust ein, um Knotensinformationsverlust zu verhindern:

L_r = \frac{1}{N}(1 - \frac{\hat{h}_i \cdot h_i}{||\hat{h}_i|| \cdot ||h_i||})^\gamma

Experimentelle Einrichtung

Datensätze

Knotenklassifizierung:

Cora (2.708 Knoten, 7 Klassen)
Citeseer (3.327 Knoten, 6 Klassen)
Pubmed (19.717 Knoten, 3 Klassen)
Photo (7.650 Knoten, 8 Klassen)

Graphklassifizierung:

MUTAG (188 Graphen, Molekülverbindungen)
COX2 (467 Graphen, Cyclooxygenase-Inhibitoren)
BZR (405 Graphen, Benzodiazepin-Rezeptor-Liganden)
PROTEINS (1.113 Graphen, Proteinstrukturen)

Bewertungsmetriken

Genauigkeit (Accuracy): Standardbewertungsmetrik für Klassifizierungsaufgaben
Statistische Signifikanz: Mittelwert und Varianz von 100 zufälligen Stichproben

Vergleichsmethoden

Überwachtes Lernen: GCN, GAT
Vortraining + Feinabstimmung: LP, GraphCL, DGI/InfoGraph
Vortraining + Prompt:
- Single-Step: All-in-One, GPF+, SUPT, GraphPrompt, EdgePrompt+, DAGPrompT
- Multi-Step: GCOT

Implementierungsdetails

Backbone-Netzwerk: GCN (versteckte Schicht 256-dimensional)
Vergröberungsebenen: 2 Ebenen
Vergröberungsverhältnis: {0,01, 0,1, 0,2, 0,3}
Low-Rank-Dimension: r=8 für Knotenaufgaben, r=1 für Graphaufgaben
Einschränkungsgewicht: α=1 für Knotenklassifizierung, α=0 für Graphklassifizierung

Experimentelle Ergebnisse

Hauptergebnisse

Single-Sample-Klassifizierungsleistung

MSGCOT erreicht optimale Leistung auf allen 8 Datensätzen:

Knotenklassifizierung:

Cora: 62,13% (vs. GCOT 59,54%, +4,35%)
Citeseer: 49,05% (vs. GCOT 48,13%, +1,91%)
Pubmed: 64,67% (vs. GCOT 63,38%, +2,04%)
Photo: 68,01% (vs. GCOT 66,98%, +1,54%)

Graphklassifizierung:

MUTAG: 63,54% (vs. GCOT 60,34%, +5,30%)
COX2: 73,62% (vs. DAGPrompt 55,00%, +33,85%)
BZR: 69,85% (vs. DAGPrompt 55,49%, +25,87%)
PROTEINS: 57,83% (vs. DAGPrompt 56,22%, +2,86%)

Few-Shot-Lernleistung

In 1-3-Sample-Einstellungen übertrifft MSGCOT Baseline-Methoden durchschnittlich um 5-8% und zeigt hervorragende Few-Shot-Verallgemeinerungsfähigkeit.

Ablationsstudien

Systematische Ablationsstudien validieren die Beiträge jeder Komponente:

Multi-Skalen-Prompt (MSP): Nach Entfernung durchschnittlicher Rückgang von 5,52% bei Knotenaufgaben, 17,7% bei Graphaufgaben
Rekonstruktionsverlust (RE): Signifikanter Einfluss auf Knotenklassifizierung, Graphklassifizierung konzentriert sich auf globale Informationen
Rückverfolgungsmechanismus (TB): Besonders kritisch für Graphklassifizierung, unidirektionale Prompts führen zu 12-15% Leistungsabfall
Inkrementelle Aktualisierung (IU): Progressive Aktualisierung bringt 2-5% Leistungsverbesserung

Parametereffizienzanalyse

Signifikante Parameterreduktion gegenüber GCOT:

Knotenklassifizierung: 47,1%-68,3% Parameterreduktion
Graphklassifizierung: 29,1%-85,7% Parameterreduktion
Zeiteffizienz: Durchschnittliche Trainingszeit pro Runde bei Graphaufgaben um 34,8% reduziert

Hyperparameter-Sensitivitätsanalyse

Vergröberungsverhältnis: Optimaler Bereich 0,1-0,3 für Knotenaufgaben, stabil im Bereich 0,05-0,3 für Graphaufgaben
Vergröberungsebenen: 2 Ebenen optimal für Knotenaufgaben, Graphaufgaben unterstützen tiefere Ebenen
Versteckte Dimension: r=8 optimal für Knotenaufgaben, r=1 bereits hervorragende Leistung für Graphaufgaben

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

Bedeutung von Multi-Skalen-Informationen: Experimente zeigen, dass Multi-Skalen-Strukturinformationen für Graph-Prompt-Lernen entscheidend sind
Effektivität erkenntnisgestützten Designs: Die Simulation des menschlichen Erkenntnisprozesses von grob zu fein verbessert die Leistung erheblich
Ausgleich zwischen Parametereffizienz und Leistung: Low-Rank-Design behält hervorragende Leistung bei, während die Parameteranzahl drastisch reduziert wird
Vorteile beim Few-Shot-Lernen: Multi-Skalen-Prompts zeigen besonders hervorragende Leistung in datenknappen Szenarien

Einschränkungen

Rechenkomplexität: Multi-Step-Inferenz erhöht den Rechenaufwand
Hyperparameter-Sensitivität: Vergröberungsverhältnis und Ebenenanzahl erfordern Optimierung für verschiedene Aufgabentypen
Unzureichende theoretische Analyse: Mangel an theoretischen Garantien für die Effektivität von Multi-Skalen-Prompts

Zukünftige Richtungen

Adaptive Vergröberungsstrategien: Erforschung aufgabenabhängiger Vergröberungsmechanismen
Theoretische Analyse: Aufbau eines theoretischen Rahmens für Multi-Skalen-Prompt-Lernen
Erweiterte Anwendungen: Erkundung von Anwendungspotentialen in mehr Graph-Lernaufgaben

Tiefgreifende Bewertung

Stärken

Starke Innovativität: Erstmals systematische Integration von Multi-Skalen-Informationen in Graph-Prompt-Lernen
Vernünftiges Design: Ausgeklügeltes Design von Low-Rank-Vergröberungsnetzwerk und Rückverfolgungsmechanismus mit Effizienz und Effektivität
Umfangreiche Experimente: 8 Datensätze, mehrere Vergleichsmethoden, detaillierte Ablationsstudien
Hoher praktischer Wert: Deutliche Vorteile in Few-Shot-Szenarien, entspricht praktischen Anwendungsanforderungen

Mängel

Schwache theoretische Grundlagen: Mangel an theoretischer Analyse und Garantien für Methodeneffektivität
Unzureichende Analyse des Rechenaufwands: Obwohl Komplexitätsanalyse bereitgestellt wird, ist der Vergleich der tatsächlichen Laufzeit begrenzt
Unzureichende Diskussion der Anwendbarkeit: Unzureichende Analyse der Anwendbarkeit auf verschiedene Graphendatentypen

Einfluss

Akademischer Beitrag: Bietet neue Forschungsrichtung für Graph-Prompt-Lernbereich
Praktischer Wert: Wichtige Anwendungswert in Few-Shot-Lernszenarien mit begrenzten Ressourcen
Reproduzierbarkeit: Bietet detaillierte Implementierungsdetails und Hyperparameter-Einstellungen

Anwendungsszenarien

Few-Shot-Graph-Lernen: Graph-Analysisaufgaben mit knappen Annotationsdaten
Multi-Skalen-Graphenanalyse: Anwendungen, die Multi-Ebenen-Strukturinformationen erfassen müssen
Ressourcenbegrenzte Umgebungen: Einsatzszenarien mit Anforderungen an Parametereffizienz

Literaturverzeichnis

Dieses Paper zitiert 37 relevante Literaturquellen, die wichtige Arbeiten in mehreren verwandten Bereichen wie Graph Neural Networks, Graph-Vortraining, Prompt-Lernen und Graph-Vergröberung abdecken und eine solide theoretische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein hochqualitatives Paper zum Graph-Neural-Network-Prompt-Lernen, das innovativ das Single-Granularitäts-Einschränkungsproblem bestehender Methoden löst. Das Methodendesign ist vernünftig, die experimentelle Validierung umfassend, und es hat wichtige Bedeutung sowohl in theoretischen Beiträgen als auch in praktischem Wert. Obwohl noch Raum für Verbesserungen in der theoretischen Analyse besteht, leistet dieses Paper insgesamt einen wichtigen Beitrag zum Graph-Prompt-Lernbereich.