Semantic-Condition Tuning : Fusion du Contexte Graphique avec les Grands Modèles de Langage pour la Complétion de Graphes de Connaissances

Informations Fondamentales

• ID de l'article : 2510.08966
• Titre : Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion
• Auteurs : Ruitong Liu, Yan Wen, Te Sun, Yunjia Wu, Pingyang Huang, Zihang Yu, Siyuan Li
• Classification : cs.AI cs.CL
• Date de publication/Conférence : The ACM Web Conference, 13-17 avril 2026, Dubaï, Émirats Arabes Unis
• Lien de l'article : https://arxiv.org/abs/2510.08966

Résumé

Cet article propose Semantic-Condition Tuning (SCT), un nouveau paradigme d'injection de connaissances pour résoudre le problème de fusion entre les graphes de connaissances et les grands modèles de langage dans les tâches de complétion de graphes de connaissances. Les méthodes traditionnelles d'ajustement par préfixe concatènent simplement les plongements de connaissances avec les entrées textuelles, une fusion superficielle qui ignore la riche sémantique relationnelle dans les graphes de connaissances et impose une lourde charge de raisonnement implicite aux LLMs. SCT comprend deux modules clés : le module graphique sémantique utilise les réseaux de neurones graphiques pour extraire les conditions sémantiques conscientes du contexte à partir des voisinages graphiques locaux ; le module de fusion adaptative conditionnelle module de manière adaptative les plongements textuels par deux projecteurs paramétrés, réalisant une interaction profonde, au niveau des caractéristiques et consciente des connaissances.

Contexte et Motivation de la Recherche

Problèmes Fondamentaux

1. Incomplétude des graphes de connaissances : Les graphes de connaissances du monde réel sont intrinsèquement incomplets, limitant leur utilité dans les applications en aval
2. Limitations de la fusion superficielle : Les méthodes d'ajustement par préfixe existantes effectuent uniquement des opérations de concaténation simples, ne pouvant pas exploiter pleinement les informations structurelles des graphes de connaissances
3. Dynamique de la sémantique relationnelle : La signification des relations varie dynamiquement selon le contexte sémantique environnant, comme la relation « treats » illustrée à la Figure 1 qui représente différents mécanismes de traitement dans différents contextes

Importance de la Recherche

• La complétion de graphes de connaissances est cruciale pour les systèmes de recommandation, l'extraction d'informations, les systèmes de questions-réponses et autres applications
• Les LLMs manquent de connaissances factuelles profondes et précises, étant sujets aux problèmes d'hallucination
• Il est nécessaire de fusionner efficacement les connaissances structurées explicites des graphes de connaissances avec les connaissances paramétrées implicites des LLMs

Limitations des Méthodes Existantes

1. Superficialité de l'ajustement par préfixe : Les opérations de concaténation simples ne peuvent pas réaliser une intégration profonde
2. Ignorance de la sémantique relationnelle : Incapacité à capturer la riche sémantique relationnelle dans les graphes de connaissances
3. Charge de raisonnement : Impose une lourde charge de raisonnement implicite aux LLMs pour associer le préfixe au texte

Contributions Fondamentales

1. Proposition du cadre SCT : Premier cadre d'ajustement sémantique conditionnel intégrant la conscience du contexte et la fusion d'plongements adaptative, surmontant les limitations des simples concaténations de préfixe existantes
2. Module graphique sémantique : Propose un nouveau mécanisme de passage de messages centré sur les relations, où la sélection des voisins est guidée par des scores de similarité sémantique explicites provenant de descriptions relationnelles enrichies en connaissances
3. Module de fusion adaptative conditionnelle : Introduit un mécanisme de fusion utilisant des conditions sémantiques pour apprendre les transformations affines directes au niveau des caractéristiques des plongements textuels d'entrée, réalisant une intégration synergique profonde du contexte graphique
4. Validation des performances : Démontre les performances de pointe et l'efficacité paramétrique élevée de SCT sur plusieurs benchmarks

Détails de la Méthode

Définition de la Tâche

Un graphe de connaissances G est défini comme un ensemble de triplets T = {(h, r, t) | h, t ∈ E, r ∈ R}, où E et R représentent respectivement les ensembles d'entités et de relations. La tâche de complétion de graphe de connaissances consiste à déduire les éléments manquants dans un triplet donné, comme prédire l'entité de queue t pour la requête (h, r, ?). Dans la complétion de KG basée sur LLM, cette tâche est formalisée comme un problème de génération de texte.

Architecture du Modèle

1. Module Graphique Sémantique (Semantic Graph Module)

Enrichissement des Connaissances :

• Utilise un LLM puissant (GPT-4O) pour générer des descriptions textuelles canoniques pour chaque type de relation
• Encode les descriptions en vecteurs sémantiques à l'aide d'un modèle d'plongement de phrases pré-entraîné (Sentence-BERT)

Passage de Messages Centré sur les Relations :

• Utilise la structure relationnelle du KG comme graphe de calcul principal
• Les arêtes (relations) mettent à jour leur état en agrégeant les informations des arêtes voisines
• Utilise un mécanisme de sélection Top-K pour filtrer les voisins les plus sémantiquement pertinents :

Score(ec, en) = (sc · sn) / (||sc||2 ||sn||2)

Mise à Jour de la Couche Transformer :

s^(l+1)_c = TransformerLayer(s^l_c, s̄_N_K(ec))

Génération de Conditions Sémantiques :

cS = MeanPool({s^L_h,i}_i ∪ {s^L_t,j}_j)

2. Module de Fusion Adaptative Conditionnelle (Condition-Adaptive Fusion Module)

Utilise le mécanisme Feature-wise Linear Modulation (FiLM) :

X' = X ⊙ γ + β
γ = σ(MLP1(cS))
β = MLP2(cS)

où γ est le vecteur d'échelle et β est le vecteur de décalage, réalisant une transformation affine au niveau des caractéristiques des plongements textuels.

Points d'Innovation Technique

1. Fusion profonde vs concaténation superficielle : Contrairement à la simple concaténation de préfixe, SCT réalise une interaction profonde au niveau des caractéristiques
2. Sélection de voisins guidée par la sémantique : Utilise des descriptions de relations enrichies par LLM pour le calcul de similarité sémantique, plutôt que des représentations apprises spécifiques à la tâche
3. Traitement graphique centré sur les relations : Se concentre sur les relations plutôt que sur les entités, plus efficace et sémantiquement plus indicatif

Configuration Expérimentale

Ensembles de Données

Prédiction de Liens :

• WN18RR : 40 943 entités, 11 relations, 86 835 triplets d'entraînement
• FB15k-237 : 14 541 entités, 237 relations, 272 115 triplets d'entraînement

Classification de Triplets :

• UMLS : 135 entités, 46 relations
• CoDeX-S : 2 034 entités, 42 relations
• FB15k-237N : 13 104 entités, 93 relations

Métriques d'Évaluation

• Prédiction de liens : Mean Reciprocal Rank (MRR) et Hits@N
• Classification de triplets : Accuracy (Acc), Precision (P), Recall (R), F1-Score

Méthodes de Comparaison

Méthodes d'plongement : TransE, CompGCN, AdaProp, MA-GNN, etc. Méthodes LLM : KICGPT, KG-FIT, MKGL, SSQR-LLaMA2, KoPA, etc.

Détails d'Implémentation

• Implémentation basée sur Alpaca-7B
• Module graphique sémantique : 2 couches Transformer, Top-K=10
• Utilise LoRA (rank=64) pour l'ajustement fin du LLM
• Optimiseur AdamW, taille de batch 12
• Stratégie d'entraînement en deux étapes

Résultats Expérimentaux

Résultats Principaux

Performance de Prédiction de Liens :

• Ensemble de données WN18RR : Amélioration de 2,2 % du MRR par rapport à la ligne de base la plus forte SSQR-LLaMA2, amélioration de 2,4 % de Hits@1, amélioration de 2,6 % de Hits@3
• Ensemble de données FB15k-237 : Amélioration significative de 4,9 % du MRR, amélioration de 1,6 % de Hits@1, amélioration de 4,4 % de Hits@10

Performance de Classification de Triplets :

• Ensemble de données UMLS : Précision de 93,15 %, score F1 de 93,18 %, atteignant les meilleures performances
• Ensemble de données FB15k-237N : Précision de 78,02 %, précision de 71,10 %, F1 de 80,93 %, tous les meilleurs
• Ensemble de données CoDeX-S : Précision de 78,52 % la plus élevée, autres indicateurs comparables aux lignes de base fortes

Expériences d'Ablation

Validation de l'Efficacité des Composants :

1. w/o Semantics : Suppression du module graphique sémantique, remplacement par KGE traditionnel
   • Sur FB15k-237, le MRR passe de 0,471 à 0,433, Hits@1 passe de 0,380 à 0,327
2. w/o Fusion : Suppression du module de fusion adaptative conditionnelle, utilisation de l'ajustement par préfixe
   • Baisse de performance la plus grave, MRR et Hits@1 diminuent respectivement de 0,062 et 0,081

Comparaison des Fonctions de Notation :

• La fonction de style RotatE affiche les meilleures performances, MRR atteint 0,471
• Les simples DistMult et MLP entraînent une baisse de performance évidente

Analyse de Cas

Effet d'Enrichissement Sémantique : Pour la requête (Barack Obama, /government/politician/government_positions_held..., ?) :

• Sans enrichissement des connaissances : Basé sur le chevauchement lexical, Gov Position (Title) etc. sont classés en avant
• Avec enrichissement des connaissances : Les concepts sémantiquement pertinents comme Person (Nationality) voient leur classement amélioré, reflétant la transition de la simple correspondance textuelle à la véritable pertinence sémantique

Sensibilité des Hyperparamètres : Le paramètre Top-K atteint les meilleures performances à K=10 (MRR=0,471, Hit@1=0,380), trop petit (K=4) manque d'informations, trop grand (K=32) introduit du bruit.

Travaux Connexes

Complétion de Graphes de Connaissances

1. Méthodes d'plongement : Évolution des modèles géométriques comme TransE, ComplEx vers des méthodes d'espace géométrique plus complexes comme RotE, HAKE
2. Méthodes GNN : PathCon, CBLiP etc. agrègent les informations de chemins multi-sauts, mais restent basées sur des représentations statiques
3. Méthodes LLM : KG-BERT, SimKGC etc. convertissent les triplets en séquences textuelles, mais l'interaction reste au niveau superficiel

Fusion des LLMs et Graphes de Connaissances

Deux directions principales :

1. Utiliser les KGs pour fournir une base factuelle aux LLMs, réduisant les hallucinations
2. Exploiter les capacités de génération et de raisonnement des LLMs pour résoudre les tâches liées aux KG

Limitation commune des méthodes existantes : L'interaction avec les graphes de connaissances reste souvent au niveau du texte ou superficiel.

Conclusion et Discussion

Conclusions Principales

1. SCT surpasse significativement les méthodes d'ajustement par préfixe superficiel grâce à une fusion profonde au niveau des caractéristiques
2. Le module graphique sémantique peut capturer efficacement la sémantique relationnelle consciente du contexte
3. Le module de fusion adaptative conditionnelle réalise une intégration synergique profonde entre les connaissances et le texte
4. Atteint des performances de pointe ou hautement compétitives sur plusieurs benchmarks

Limitations

1. Profondeur de Raisonnement Limitée : La profondeur de raisonnement du cadre actuel reste limitée
2. Adaptabilité Insuffisante aux Graphes de Connaissances Dynamiques : L'adaptabilité aux graphes de connaissances en évolution doit être améliorée
3. Complexité Computationnelle : L'entraînement en deux étapes et les mécanismes de fusion complexes augmentent les coûts computationnels

Directions Futures

1. Génération de Conditions Sémantiques Hiérarchiques : Introduire des mécanismes hiérarchiques pour améliorer la profondeur du raisonnement
2. Sensibilité Temporelle : Intégrer les capacités de sensibilité au temps pour traiter les connaissances dynamiques
3. Extension des Scénarios d'Application : Explorer les applications dans des scénarios plus complexes comme les graphes de connaissances temporels

Évaluation Approfondie

Avantages

1. Forte Innovativité Méthodologique : Première proposition d'un paradigme de fusion profonde au niveau des caractéristiques, dépassant les limitations de l'ajustement par préfixe traditionnel
2. Conception Technique Raisonnée : Le passage de messages centré sur les relations et la sélection de voisins guidée par la sémantique sont conçus de manière ingénieuse
3. Expériences Complètes et Exhaustives : Couvrent deux catégories de tâches (prédiction de liens et classification de triplets), validées sur plusieurs ensembles de données
4. Expériences d'Ablation Détaillées : Vérifient systématiquement la contribution de chaque composant
5. Analyse de Cas Approfondie : Démontrent l'effet de l'enrichissement sémantique par des exemples concrets

Insuffisances

1. Analyse de Complexité Computationnelle Insuffisante : N'analyse pas en détail les surcharges computationnelles de l'entraînement en deux étapes
2. Discussion Limitée sur la Scalabilité : L'analyse de l'applicabilité aux graphes de connaissances à très grande échelle est insuffisante
3. Absence d'Analyse d'Erreurs : Manque d'analyse approfondie des cas d'échec
4. Sélection de Lignes de Base : Certaines méthodes de base pourraient ne pas être les méthodes les plus récentes et les plus fortes

Impact

1. Contribution Théorique : Fournit un nouveau paradigme pour la fusion des graphes de connaissances et des LLMs
2. Valeur Pratique : Les performances excellentes sur plusieurs benchmarks prouvent la praticité
3. Reproductibilité : Les détails d'implémentation détaillés facilitent la reproduction
4. Caractère Inspirant : L'approche de fusion au niveau des caractéristiques peut inspirer d'autres recherches connexes

Scénarios d'Application

1. Tâches Intensives en Connaissances : Particulièrement adaptées aux tâches de raisonnement nécessitant des connaissances structurées
2. Graphes de Connaissances de Taille Moyenne : L'échelle expérimentale actuelle indique l'adéquation pour les applications KG de taille moyenne
3. Scénarios Exigeant une Haute Précision : Performances exceptionnelles dans les applications où la précision est plus importante que l'efficacité
4. Besoins de Raisonnement Multi-Sauts : Peut traiter efficacement les requêtes complexes nécessitant un raisonnement multi-sauts

Références Bibliographiques

L'article cite 80 articles connexes, couvrant plusieurs domaines tels que l'plongement de graphes de connaissances, les réseaux de neurones graphiques et les grands modèles de langage, fournissant une base théorique solide pour la recherche. Les références clés incluent les méthodes classiques d'plongement KG comme TransE, RotatE, ainsi que les travaux représentatifs de fusion LLM-KG comme KG-BERT, KoPA.