Un Prompt Adapté à Tous : Adaptation Universelle de Graphes pour Modèles Préentraînés

Informations Fondamentales

• ID de l'article : 2509.22416
• Titre : One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
• Auteurs : Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng
• Classification : cs.LG
• Conférence de publication : NeurIPS 2025
• Lien de l'article : https://arxiv.org/abs/2509.22416

Résumé

L'apprentissage par prompts de graphes (Graph Prompt Learning, GPL) en tant que paradigme efficace reliant les modèles préentraînés de graphes aux tâches en aval, peut atténuer la dépendance aux étiquettes et les problèmes de désadaptation entre tâches amont et aval. Bien que les recherches GPL existantes explorent diverses stratégies de prompts, leur efficacité et leurs mécanismes sous-jacents restent peu clairs. Cet article identifie deux limitations clés : (1) absence de consensus sur les mécanismes sous-jacents : différentes stratégies interviennent dans différents espaces du modèle (niveau d'entrée, niveau de couche, niveau de représentation) ; (2) adaptabilité limitée aux scénarios : la plupart des méthodes peinent à se généraliser lors de décalages de distribution de données. Cet article révèle par analyse théorique que les prompts au niveau de la représentation sont essentiellement équivalents au fine-tuning d'un simple classificateur en aval, proposant que l'apprentissage par prompts de graphes devrait se concentrer sur la libération des capacités du modèle préentraîné, tandis que le classificateur s'adapte à la scène en aval. Sur la base de cette découverte, la méthode UniPrompt est proposée, capable d'adapter n'importe quel modèle préentraîné et d'obtenir d'excellentes performances dans les scénarios intra et extra-domaines.

Contexte de Recherche et Motivation

Problèmes Fondamentaux

L'apprentissage par prompts de graphes vise à résoudre le problème de désadaptation entre les modèles de graphes préentraînés et les tâches en aval, mais les méthodes existantes font face à deux défis clés :

1. Compréhension des mécanismes peu claire : Les méthodes GPL existantes incluent trois stratégies de prompts différentes (niveau d'entrée, niveau de couche et niveau de représentation), mais manquent d'un cadre théorique unifié pour expliquer le fonctionnement de ces différents mécanismes.
2. Adaptabilité insuffisante : La plupart des méthodes présentent une dégradation significative des performances face aux décalages de distribution de données (par exemple, des graphes homogènes aux graphes hétérogènes), et ne peuvent pas se généraliser efficacement à différents scénarios en aval.

Importance de la Recherche

• Signification théorique : Fournir un cadre théorique unifié pour l'apprentissage par prompts de graphes, clarifier l'essence des différents mécanismes de prompts
• Valeur pratique : Améliorer l'efficacité des modèles de graphes préentraînés dans l'apprentissage peu supervisé et le transfert inter-domaines
• Avancée technologique : Promouvoir le développement de modèles fondamentaux de graphes, améliorer l'universalité et l'adaptabilité des modèles

Limitations des Méthodes Existantes

Par des expériences de motivation, on découvre que les méthodes de prompts au niveau de la représentation existantes (telles que GPPT, GraphPrompt) présentent des performances instables lors du changement de modèles préentraînés, voire inférieures aux simples méthodes de sondage linéaire. Cela suggère que les méthodes existantes pourraient être tombées dans le piège de la « pseudo-adaptation ».

Contributions Principales

1. Contribution théorique : Première démonstration théorique que les prompts au niveau de la représentation sont essentiellement équivalents au fine-tuning de classificateurs linéaires, proposant une nouvelle perspective : « les prompts libèrent les capacités du modèle préentraîné, le classificateur s'adapte à la scène en aval »
2. Innovation méthodologique : Proposition de UniPrompt, une méthode universelle de prompts de graphes au niveau d'entrée, qui apprend des graphes de prompts topologiques tout en préservant la structure du graphe original
3. Vérification expérimentale : Expériences étendues sur des ensembles de données de graphes homogènes et hétérogènes, démontrant l'efficacité de la méthode dans les scénarios intra et extra-domaines
4. Principes de conception : Établissement des principes de conception pour l'apprentissage par prompts de graphes, fournissant des orientations pour les recherches futures

Détails de la Méthode

Définition de la Tâche

Étant donné un graphe $G = (V, E, X, Y)$, où $V$ est l'ensemble des nœuds, $E$ est l'ensemble des arêtes, $X \in \mathbb{R}^{N \times F}$ est la matrice de caractéristiques, et $Y$ est l'ensemble des étiquettes. L'objectif est d'optimiser la fonction de prédiction en gelant l'encodeur préentraîné $f_\theta$ via des paramètres de prompts apprenables $\Psi$ :

$\max_\Psi \frac{1}{|D|} \sum_{(A,X,y) \in D} \sum_{i=1}^N \log P(y_i | \text{Predict}_\Psi(A,X,v_i; f_\theta))$

Analyse Théorique

Théorème d'Équivalence des Prompts au Niveau de la Représentation

Théorème 4.1 : Étant donné une fonction de prompt linéaire $T(h) = W_T h + b_T$ et un classificateur $C(h) = W_C^T h$, il existe un classificateur linéaire équivalent $C'(h) = W_{C'}^T h + b_{C'}$ tel que $(C \circ T)(h) = C'(h)$.

Ce résultat théorique indique que les prompts au niveau de la représentation sont équivalents au sondage linéaire dans l'espace des fonctions et les objectifs d'optimisation, par conséquent, l'accent devrait être mis sur les prompts au niveau d'entrée.

Architecture UniPrompt

1. Initialisation du Prompt

Construction du graphe de prompt initial en utilisant kNN : $(\tilde{A}_{\text{init}})_{ij} = \begin{cases} S_{ij}, & \text{si } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{sinon} \end{cases}$

où le calcul de similarité est : $S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$

2. Mécanisme de Paramétrisation

Introduction de poids apprenables $w_{ij}$ pour chaque arête, utilisant un mécanisme de porte : $\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$

3. Ensemble Autoamorçant

Adoption d'une stratégie de mise à jour itérative pour éviter l'effondrement du modèle : $\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$

où $\hat{A}^{(0)} = A$, et $\tau \in [0,1]$ contrôle l'équilibre entre le graphe original et le graphe de prompt.

4. Objectif d'Optimisation

Optimisation conjointe des paramètres de prompts et du classificateur : $\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$

Configuration Expérimentale

Ensembles de Données

Utilisation de 9 ensembles de données de classification de nœuds :

• Graphes homogènes : Cora, CiteSeer, PubMed
• Graphes hétérogènes : Cornell, Texas, Wisconsin, Chameleon, Actor, Squirrel

Métriques d'Évaluation

• Précision : Précision de la classification de nœuds
• Paramètres peu supervisés : Apprentissage 1-shot, 3-shot, 5-shot

Méthodes de Comparaison

• Méthodes de base : Fine-tune, Linear-probe
• Méthodes GPL : GPPT, GraphPrompt, All-in-one, GPF/GPF+, EdgePrompt/EdgePrompt+
• Modèles préentraînés : DGI, GRACE, GraphMAE

Détails d'Implémentation

• Utilisation de GCN/GAT à 2 couches comme réseau de base
• Entraînement sur 2000 itérations, arrêt précoce avec patience=20
• 5 graines aléatoires × 20 expériences répétées

Résultats Expérimentaux

Résultats Principaux

Classification de Nœuds Intra-domaine 1-shot

Améliorations significatives sur les graphes hétérogènes tels que Cornell, Texas, Wisconsin :

• Cornell : amélioration de 34,56% (meilleure base) à 51,13% sur DGI
• Texas : amélioration de 37,50% à 48,21%
• Wisconsin : amélioration de 33,91% à 58,75%

Classification Inter-domaines

Dans le paramètre inter-domaines 1-shot :

• PubMed : amélioration de 46,84% à 55,01%
• Cornell : amélioration de 40,77% à 51,58%

Expériences d'Ablation

Vérification des composants clés par expériences de remplacement :

• Random_Topo : remplacement de kNN par une topologie aléatoire, dégradation des performances
• Simple_Add : remplacement de la stratégie autoamorçante par addition simple, surapprentissage
• Discard_Topo : suppression complète du graphe original, baisse significative des performances sur les graphes homogènes

Analyse des Hyperparamètres

• Paramètre τ : les graphes hétérogènes nécessitent des valeurs τ plus petites (0,999-0,9999), les graphes homogènes sont stables pour τ≥0,9999
• Paramètre k : les graphes hétérogènes clairsemés bénéficient le plus, les graphes denses et homogènes sont relativement stables

Surcharge Informatique

• Temps de prétraitement : environ 1,3 secondes
• Augmentation modérée du temps d'entraînement par itération
• Utilisation de mémoire GPU dans une plage acceptable

Travaux Connexes

Préentraînement de Graphes

• Méthodes d'apprentissage contrastif : DGI, GRACE, GraphCL et autres apprennent les représentations en maximisant l'information mutuelle
• Méthodes génératives : GraphMAE et autres apprennent les représentations par reconstruction masquée

Apprentissage par Prompts de Graphes

• Prompts au niveau d'entrée : les méthodes de la série GPF ajoutent des vecteurs de prompts dans l'espace des caractéristiques
• Prompts au niveau de la représentation : GPPT, GraphPrompt et autres ajoutent des prompts à la couche de sortie
• Prompts au niveau de la couche : intégration d'informations de prompts dans chaque couche du GNN

Modèles Fondamentaux de Graphes

Le développement récent des modèles fondamentaux de graphes fournit de nouveaux scénarios d'application et défis pour GPL.

Conclusion et Discussion

Conclusions Principales

1. Intuition théorique : Les prompts au niveau de la représentation sont équivalents aux classificateurs linéaires, l'accent devrait être mis sur les prompts au niveau d'entrée
2. Principes de conception : Les prompts devraient libérer les capacités du modèle préentraîné, le classificateur étant responsable de l'adaptation à la tâche en aval
3. Méthode pratique : UniPrompt réalise l'adaptation universelle de modèles par prompts topologiques adaptatifs

Limitations

1. Limitations d'intégration LLM : exploration insuffisante de l'intégration avec les grands modèles de langage
2. Dépendance aux hyperparamètres : les paramètres τ et k nécessitent un ajustement fin selon les types de données
3. Couverture de tâches limitée : évaluation principalement sur la classification de nœuds, autres tâches de graphes à explorer
4. Sensibilité au bruit : sensibilité relativement élevée au bruit de caractéristiques

Directions Futures

1. Extension à la classification de graphes, prédiction de liens et autres tâches
2. Combinaison avec les LLM pour construire des modèles fondamentaux de graphes plus puissants
3. Amélioration de la robustesse au bruit et aux décalages de distribution
4. Exploration de mécanismes de sélection automatique d'hyperparamètres

Évaluation Approfondie

Points Forts

1. Contribution théorique remarquable : première unification théorique de différents mécanismes de prompts, fournissant des intuitions importantes
2. Conception méthodologique ingénieuse : la stratégie d'ensemble autoamorçant évite efficacement l'effondrement du modèle, l'initialisation kNN utilise judicieusement la similarité de caractéristiques
3. Expériences complètes : couverture de multiples modèles préentraînés, types de données et paramètres d'évaluation
4. Valeur pratique élevée : méthode simple et efficace, facile à implémenter et déployer

Insuffisances

1. Limitations de l'analyse théorique : principalement axée sur le cas linéaire, analyse insuffisante des prompts non-linéaires
2. Surcharge informatique : la construction kNN et les mises à jour itératives augmentent les coûts informatiques
3. Sensibilité des paramètres : les hyperparamètres clés nécessitent un ajustement minutieux, degré d'automatisation faible
4. Robustesse au bruit : dégradation significative des performances sous bruit de caractéristiques

Impact

1. Valeur académique : fournit une base théorique importante et des principes de conception pour l'apprentissage par prompts de graphes
2. Signification pratique : améliore l'adaptabilité et la capacité de généralisation des modèles de graphes préentraînés
3. Inspiration pour la recherche : oriente les recherches ultérieures, en particulier l'importance des prompts au niveau d'entrée

Scénarios d'Application

1. Apprentissage peu supervisé : tâches d'apprentissage de graphes avec données annotées rares
2. Transfert inter-domaines : scénarios où les distributions des tâches préentraînées et en aval diffèrent
3. Traitement de graphes hétérogènes : données de graphes où l'hypothèse d'homogénéité traditionnelle ne s'applique pas
4. Adaptation rapide : applications nécessitant un déploiement rapide de modèles préentraînés

Références Bibliographiques

L'article cite 91 références connexes, couvrant plusieurs domaines importants tels que les réseaux de neurones de graphes, l'apprentissage autosupervisé de graphes et l'apprentissage par prompts de graphes, fournissant une base théorique solide pour la recherche.

Résumé : Cet article, par une analyse théorique approfondie et une vérification expérimentale étendue, fournit des intuitions théoriques importantes et une méthode pratique pour le domaine de l'apprentissage par prompts de graphes. La méthode UniPrompt est simple et efficace, possédant une bonne universalité et adaptabilité, apportant une contribution précieuse au développement des modèles fondamentaux de graphes.