2025-11-22T20:07:15.604385

Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion

Liu, Wen, Sun et al.
Fusing Knowledge Graphs with Large Language Models is crucial for knowledge-intensive tasks like knowledge graph completion. The prevailing paradigm, prefix-tuning, simply concatenates knowledge embeddings with text inputs. However, this shallow fusion overlooks the rich relational semantics within KGs and imposes a significant implicit reasoning burden on the LLM to correlate the prefix with the text. To address these, we propose Semantic-condition Tuning (SCT), a new knowledge injection paradigm comprising two key modules. First, a Semantic Graph Module employs a Graph Neural Network to extract a context-aware semantic condition from the local graph neighborhood, guided by knowledge-enhanced relations. Subsequently, this condition is passed to a Condition-Adaptive Fusion Module, which, in turn, adaptively modulates the textual embedding via two parameterized projectors, enabling a deep, feature-wise, and knowledge-aware interaction. The resulting pre-fused embedding is then fed into the LLM for fine-tuning. Extensive experiments on knowledge graph benchmarks demonstrate that SCT significantly outperforms prefix-tuning and other strong baselines. Our analysis confirms that by modulating the input representation with semantic graph context before LLM inference, SCT provides a more direct and potent signal, enabling more accurate and robust knowledge reasoning.
academic

सिमेंटिक-कंडीशन ट्यूनिंग: ज्ञान ग्राफ पूर्णता के लिए बड़े भाषा मॉडल के साथ ग्राफ संदर्भ का संलयन

मूल जानकारी

  • पेपर ID: 2510.08966
  • शीर्षक: Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion
  • लेखक: Ruitong Liu, Yan Wen, Te Sun, Yunjia Wu, Pingyang Huang, Zihang Yu, Siyuan Li
  • वर्गीकरण: cs.AI cs.CL
  • प्रकाशन समय/सम्मेलन: The ACM Web Conference, 13-17 अप्रैल 2026, दुबई, संयुक्त अरब अमीरात
  • पेपर लिंक: https://arxiv.org/abs/2510.08966

सारांश

यह पेपर Semantic-Condition Tuning (SCT) प्रस्तावित करता है, जो ज्ञान ग्राफ पूर्णता कार्यों में ज्ञान ग्राफ और बड़े भाषा मॉडल के संलयन समस्या को हल करने के लिए एक नई ज्ञान इंजेक्शन प्रतिमान है। परंपरागत उपसर्ग ट्यूनिंग विधियां ज्ञान एम्बेडिंग को सरलता से पाठ इनपुट के साथ जोड़ती हैं, यह उथला संलयन ज्ञान ग्राफ में समृद्ध संबंध शब्दार्थ को नजरअंदाज करता है और LLM पर भारी अंतर्निहित तर्क का बोझ डालता है। SCT में दो मुख्य मॉड्यूल हैं: सिमेंटिक ग्राफ मॉड्यूल स्थानीय ग्राफ पड़ोस से संदर्भ-जागरूक सिमेंटिक शर्तें निकालने के लिए ग्राफ न्यूरल नेटवर्क का उपयोग करता है; कंडीशन-अनुकूली संलयन मॉड्यूल दो पैरामीट्रिक प्रक्षेपकों के माध्यम से पाठ एम्बेडिंग को अनुकूली रूप से मॉड्यूलेट करता है, गहरे, विशेषता-स्तर और ज्ञान-जागरूक इंटरैक्शन को सक्षम करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्याएं

  1. ज्ञान ग्राफ अधूरापन: वास्तविक दुनिया के ज्ञान ग्राफ स्वाभाविक रूप से अधूरे हैं, जो डाउनस्ट्रीम अनुप्रयोगों में उनकी उपयोगिता को सीमित करता है
  2. उथले संलयन की सीमाएं: मौजूदा उपसर्ग ट्यूनिंग विधियां केवल सरल संयोजन संचालन करती हैं, ज्ञान ग्राफ की संरचनात्मक जानकारी का पूरी तरह से उपयोग नहीं कर सकतीं
  3. संबंध शब्दार्थ की गतिशीलता: संबंध का अर्थ अपने आसपास के शब्दार्थ संदर्भ के अनुसार गतिशील रूप से बदलता है, जैसा कि चित्र 1 में दिखाया गया है कि "treats" संबंध विभिन्न संदर्भों में विभिन्न उपचार तंत्र को दर्शाता है

अनुसंधान का महत्व

  • ज्ञान ग्राफ पूर्णता सिफारिश प्रणालियों, सूचना निष्कर्षण, प्रश्न-उत्तर प्रणालियों आदि अनुप्रयोगों के लिए महत्वपूर्ण है
  • LLMs में गहरे और सटीक तथ्यात्मक ज्ञान की कमी है, जो भ्रम समस्या का कारण बनता है
  • ज्ञान ग्राफ के स्पष्ट संरचित ज्ञान को LLMs के अंतर्निहित पैरामीट्रिक ज्ञान के साथ प्रभावी ढंग से संलयित करने की आवश्यकता है

मौजूदा विधियों की सीमाएं

  1. उपसर्ग ट्यूनिंग की उथलापन: सरल संयोजन संचालन गहरे एकीकरण को प्राप्त नहीं कर सकता
  2. संबंध शब्दार्थ को नजरअंदाज करना: ज्ञान ग्राफ में समृद्ध संबंध शब्दार्थ को पकड़ने में विफल
  3. तर्क का बोझ: LLM पर उपसर्ग को पाठ से जोड़ने के लिए भारी अंतर्निहित तर्क का बोझ डालता है

मूल योगदान

  1. SCT फ्रेमवर्क प्रस्तावित करना: संदर्भ-जागरूक और अनुकूली एम्बेडिंग संलयन को एकीकृत करने वाला पहला सिमेंटिक कंडीशन ट्यूनिंग फ्रेमवर्क, जो मौजूदा सरल उपसर्ग ट्यूनिंग संयोजन की सीमाओं को दूर करता है
  2. सिमेंटिक ग्राफ मॉड्यूल: एक नई संबंध-केंद्रित संदेश पारण तंत्र प्रस्तावित करता है, पड़ोसी चयन ज्ञान-वर्धित संबंध विवरणों के स्पष्ट सिमेंटिक समानता स्कोर द्वारा निर्देशित है
  3. कंडीशन-अनुकूली संलयन मॉड्यूल: एक संलयन तंत्र प्रस्तुत करता है जो इनपुट पाठ एम्बेडिंग के सीधे विशेषता-स्तर affine रूपांतरण सीखने के लिए सिमेंटिक शर्तों का उपयोग करता है, ग्राफ संदर्भ का गहरा सहयोगी एकीकरण प्राप्त करता है
  4. प्रदर्शन सत्यापन: कई बेंचमार्क में SCT का अत्याधुनिक प्रदर्शन और उच्च पैरामीटर दक्षता प्रदर्शित करता है

विधि विवरण

कार्य परिभाषा

ज्ञान ग्राफ G को त्रिपद सेट T = {(h, r, t) | h, t ∈ E, r ∈ R} के रूप में परिभाषित किया गया है, जहां E और R क्रमशः इकाई और संबंध सेट का प्रतिनिधित्व करते हैं। ज्ञान ग्राफ पूर्णता कार्य दिए गए त्रिपद में लापता तत्व का अनुमान लगाना है, जैसे क्वेरी (h, r, ?) के लिए पूंछ इकाई t की भविष्यवाणी करना। LLM-आधारित KGC में, इस कार्य को पाठ जनन समस्या के रूप में औपचारिक किया जाता है।

मॉडल आर्किटेक्चर

1. सिमेंटिक ग्राफ मॉड्यूल (Semantic Graph Module)

ज्ञान वर्धन:

  • प्रत्येक संबंध प्रकार के लिए विहित पाठ विवरण उत्पन्न करने के लिए एक शक्तिशाली LLM (GPT-4O) का उपयोग करता है
  • विवरणों को सिमेंटिक वेक्टर में एन्कोड करने के लिए पूर्व-प्रशिक्षित वाक्य एम्बेडिंग मॉडल (Sentence-BERT) का उपयोग करता है

संबंध-केंद्रित संदेश पारण:

  • KG की संबंध संरचना को मुख्य कम्प्यूटेशनल ग्राफ के रूप में लेता है
  • किनारे (संबंध) आसन्न किनारों की जानकारी को एकत्रित करके स्थिति को अपडेट करते हैं
  • सबसे सिमेंटिक रूप से प्रासंगिक पड़ोसियों को फ़िल्टर करने के लिए Top-K चयन तंत्र का उपयोग करता है:
Score(ec, en) = (sc · sn) / (||sc||2 ||sn||2)

Transformer परत अपडेट:

s^(l+1)_c = TransformerLayer(s^l_c, s̄_N_K(ec))

सिमेंटिक शर्त जनन:

cS = MeanPool({s^L_h,i}_i ∪ {s^L_t,j}_j)

2. कंडीशन-अनुकूली संलयन मॉड्यूल (Condition-Adaptive Fusion Module)

Feature-wise Linear Modulation (FiLM) तंत्र का उपयोग करता है:

X' = X ⊙ γ + β
γ = σ(MLP1(cS))
β = MLP2(cS)

जहां γ स्केलिंग वेक्टर है, β ऑफसेट वेक्टर है, पाठ एम्बेडिंग के विशेषता-स्तर affine रूपांतरण को सक्षम करता है।

तकनीकी नवाचार बिंदु

  1. गहरा संलयन बनाम उथला संयोजन: सरल उपसर्ग संयोजन के विपरीत, SCT विशेषता-स्तर का गहरा इंटरैक्शन प्राप्त करता है
  2. सिमेंटिक-संचालित पड़ोसी चयन: कार्य-विशिष्ट सीखे गए प्रतिनिधित्व के बजाय LLM-वर्धित संबंध विवरणों का उपयोग करके सिमेंटिक समानता की गणना करता है
  3. संबंध-केंद्रित ग्राफ प्रसंस्करण: इकाई के बजाय संबंध पर ध्यान केंद्रित करता है, अधिक कुशल और सिमेंटिक रूप से संकेतक है

प्रयोगात्मक सेटअप

डेटासेट

लिंक भविष्यवाणी:

  • WN18RR: 40,943 इकाइयां, 11 संबंध, 86,835 प्रशिक्षण त्रिपद
  • FB15k-237: 14,541 इकाइयां, 237 संबंध, 272,115 प्रशिक्षण त्रिपद

त्रिपद वर्गीकरण:

  • UMLS: 135 इकाइयां, 46 संबंध
  • CoDeX-S: 2,034 इकाइयां, 42 संबंध
  • FB15k-237N: 13,104 इकाइयां, 93 संबंध

मूल्यांकन मेट्रिक्स

  • लिंक भविष्यवाणी: Mean Reciprocal Rank (MRR) और Hits@N
  • त्रिपद वर्गीकरण: Accuracy (Acc), Precision (P), Recall (R), F1-Score

तुलनात्मक विधियां

एम्बेडिंग विधियां: TransE, CompGCN, AdaProp, MA-GNN आदि LLM विधियां: KICGPT, KG-FIT, MKGL, SSQR-LLaMA2, KoPA आदि

कार्यान्वयन विवरण

  • Alpaca-7B पर आधारित कार्यान्वयन
  • सिमेंटिक ग्राफ मॉड्यूल: 2-परत Transformer, Top-K=10
  • LLM को ट्यून करने के लिए LoRA (rank=64) का उपयोग करता है
  • AdamW ऑप्टिमाइज़र, बैच आकार 12
  • दो-चरणीय प्रशिक्षण रणनीति

प्रयोगात्मक परिणाम

मुख्य परिणाम

लिंक भविष्यवाणी प्रदर्शन:

  • WN18RR डेटासेट: सबसे मजबूत आधारभूत SSQR-LLaMA2 की तुलना में, MRR में 2.2% सुधार, Hits@1 में 2.4% सुधार, Hits@3 में 2.6% सुधार
  • FB15k-237 डेटासेट: MRR में महत्वपूर्ण 4.9% सुधार, Hits@1 में 1.6% सुधार, Hits@10 में 4.4% सुधार

त्रिपद वर्गीकरण प्रदर्शन:

  • UMLS डेटासेट: 93.15% सटीकता, 93.18% F1 स्कोर, सर्वोत्तम प्रदर्शन प्राप्त करता है
  • FB15k-237N डेटासेट: 78.02% सटीकता, 71.10% परिशुद्धता, 80.93% F1 स्कोर, सभी सर्वोत्तम हैं
  • CoDeX-S डेटासेट: 78.52% परिशुद्धता सर्वोच्च है, अन्य मेट्रिक्स मजबूत आधारभूत के साथ तुलनीय हैं

विलोपन प्रयोग

घटक प्रभावशीलता सत्यापन:

  1. w/o Semantics: सिमेंटिक ग्राफ मॉड्यूल को हटाएं, परंपरागत KGE से बदलें
    • FB15k-237 पर MRR 0.471 से 0.433 तक गिरता है, Hits@1 0.380 से 0.327 तक गिरता है
  2. w/o Fusion: कंडीशन-अनुकूली संलयन मॉड्यूल को हटाएं, उपसर्ग ट्यूनिंग से बदलें
    • सबसे गंभीर प्रदर्शन में गिरावट, MRR और Hits@1 क्रमशः 0.062 और 0.081 से गिरते हैं

स्कोरिंग फ़ंक्शन तुलना:

  • RotatE शैली फ़ंक्शन सर्वोत्तम प्रदर्शन करता है, MRR 0.471 तक पहुंचता है
  • सरल DistMult और MLP प्रदर्शन में स्पष्ट गिरावट का कारण बनते हैं

केस विश्लेषण

सिमेंटिक वर्धन प्रभाव: क्वेरी (Barack Obama, /government/politician/government_positions_held..., ?) के उदाहरण के साथ:

  • ज्ञान वर्धन के बिना: शब्दकोशीय ओवरलैप के आधार पर, Gov Position (Title) आदि उच्च रैंक में आते हैं
  • ज्ञान वर्धन के साथ: Person (Nationality) जैसी सिमेंटिक रूप से प्रासंगिक अवधारणाएं रैंकिंग में सुधार करती हैं, उथले पाठ मिलान से वास्तविक सिमेंटिक प्रासंगिकता में परिवर्तन को दर्शाता है

हाइपरपैरामीटर संवेदनशीलता: Top-K पैरामीटर K=10 पर सर्वोत्तम प्रदर्शन प्राप्त करता है (MRR=0.471, Hit@1=0.380), बहुत छोटा (K=4) अपर्याप्त जानकारी, बहुत बड़ा (K=32) शोर का परिचय देता है।

संबंधित कार्य

ज्ञान ग्राफ पूर्णता

  1. एम्बेडिंग विधियां: TransE, ComplEx आदि ज्यामितीय मॉडल से RotE, HAKE आदि अधिक जटिल ज्यामितीय स्थान विधियों तक विकास
  2. GNN विधियां: PathCon, CBLiP आदि बहु-हॉप पथ जानकारी को एकत्रित करते हैं, लेकिन अभी भी स्थिर प्रतिनिधित्व पर आधारित हैं
  3. LLM विधियां: KG-BERT, SimKGC आदि त्रिपद को पाठ अनुक्रमों में परिवर्तित करते हैं, लेकिन इंटरैक्शन सतह स्तर पर रहता है

LLMs और ज्ञान ग्राफ संलयन

दो मुख्य दिशाएं:

  1. LLMs के लिए तथ्यात्मक आधार प्रदान करने के लिए KGs का उपयोग, भ्रम को कम करता है
  2. KG संबंधित कार्यों को हल करने के लिए LLMs की जनन और तर्क क्षमता का उपयोग करता है

मौजूदा विधियों की सामान्य सीमा: ज्ञान ग्राफ के साथ इंटरैक्शन अक्सर पाठ या सतह स्तर पर रहता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. SCT गहरे विशेषता-स्तर संलयन के माध्यम से उथली उपसर्ग ट्यूनिंग विधियों से महत्वपूर्ण रूप से बेहतर है
  2. सिमेंटिक ग्राफ मॉड्यूल संदर्भ-जागरूक संबंध शब्दार्थ को प्रभावी ढंग से पकड़ सकता है
  3. कंडीशन-अनुकूली संलयन मॉड्यूल ज्ञान और पाठ का गहरा सहयोगी एकीकरण प्राप्त करता है
  4. कई बेंचमार्क में अत्याधुनिक या अत्यधिक प्रतिस्पर्धी प्रदर्शन प्राप्त करता है

सीमाएं

  1. सीमित तर्क गहराई: वर्तमान फ्रेमवर्क की तर्क गहराई अभी भी सीमित है
  2. गतिशील ज्ञान ग्राफ अनुकूलन अपर्याप्त: गतिशील रूप से बदलते ज्ञान ग्राफ के अनुकूलन में सुधार की आवश्यकता है
  3. कम्प्यूटेशनल जटिलता: दो-चरणीय प्रशिक्षण और जटिल संलयन तंत्र कम्प्यूटेशनल लागत बढ़ाते हैं

भविष्य की दिशाएं

  1. स्तरीय सिमेंटिक शर्त जनन: तर्क गहराई बढ़ाने के लिए स्तरीय तंत्र का परिचय दें
  2. समय-जागरूक: गतिशील ज्ञान को संभालने के लिए समय-जागरूक क्षमता को एकीकृत करें
  3. अनुप्रयोग दायरा विस्तार: समय-श्रृंखला ज्ञान ग्राफ जैसे अधिक जटिल परिदृश्यों में अनुप्रयोग की खोज करें

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार मजबूत: पहली बार विशेषता-स्तर गहरे संलयन प्रतिमान प्रस्तावित करता है, परंपरागत उपसर्ग ट्यूनिंग की सीमाओं को तोड़ता है
  2. तकनीकी डिजाइन तर्कसंगत: संबंध-केंद्रित संदेश पारण और सिमेंटिक-संचालित पड़ोसी चयन डिजाइन चतुर है
  3. प्रयोग पूर्ण और व्यापक: लिंक भविष्यवाणी और त्रिपद वर्गीकरण दोनों कार्यों को कवर करता है, कई डेटासेट सत्यापन
  4. विलोपन प्रयोग विस्तृत: प्रत्येक घटक के योगदान को व्यवस्थित रूप से सत्यापित करता है
  5. केस विश्लेषण गहन: विशिष्ट उदाहरणों के माध्यम से सिमेंटिक वर्धन के प्रभाव को प्रदर्शित करता है

कमियां

  1. कम्प्यूटेशनल जटिलता विश्लेषण अपर्याप्त: दो-चरणीय प्रशिक्षण की कम्प्यूटेशनल लागत का विस्तृत विश्लेषण नहीं
  2. स्केलेबिलिटी चर्चा सीमित: अति-बड़े पैमाने के ज्ञान ग्राफ की प्रयोज्यता विश्लेषण अपर्याप्त
  3. त्रुटि विश्लेषण अनुपस्थित: विफल केसों का गहन विश्लेषण अनुपस्थित
  4. आधारभूत चयन: कुछ आधारभूत विधियां नवीनतम सबसे मजबूत विधियां नहीं हो सकती हैं

प्रभाव

  1. सैद्धांतिक योगदान: ज्ञान ग्राफ और LLM संलयन के लिए एक नई प्रतिमान प्रदान करता है
  2. व्यावहारिक मूल्य: कई बेंचमार्क में उत्कृष्ट प्रदर्शन व्यावहारिकता प्रमाणित करता है
  3. पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण प्रदान करता है, पुनरुत्पादन में सहायता करता है
  4. प्रेरणा: विशेषता-स्तर संलयन विचार अन्य संबंधित अनुसंधान को प्रेरित कर सकता है

प्रयोज्य परिदृश्य

  1. ज्ञान-गहन कार्य: विशेष रूप से संरचित ज्ञान की आवश्यकता वाले तर्क कार्यों के लिए उपयुक्त
  2. मध्यम-पैमाने ज्ञान ग्राफ: वर्तमान प्रयोग पैमाने मध्यम-पैमाने KG अनुप्रयोगों के लिए उपयुक्त दर्शाता है
  3. उच्च सटीकता आवश्यकता परिदृश्य: जहां सटीकता दक्षता से अधिक महत्वपूर्ण है, उन अनुप्रयोगों में उत्कृष्ट प्रदर्शन
  4. बहु-हॉप तर्क आवश्यकता: जटिल क्वेरी के लिए बहु-हॉप तर्क की आवश्यकता को प्रभावी ढंग से संभाल सकता है

संदर्भ

पेपर ने 80 संबंधित संदर्भों को उद्धृत किया है, जो ज्ञान ग्राफ एम्बेडिंग, ग्राफ न्यूरल नेटवर्क, बड़े भाषा मॉडल आदि कई क्षेत्रों के महत्वपूर्ण कार्यों को कवर करता है, अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करता है। मुख्य संदर्भ साहित्य में TransE, RotatE आदि शास्त्रीय KG एम्बेडिंग विधियां, साथ ही KG-BERT, KoPA आदि LLM-KG संलयन के प्रतिनिधि कार्य शामिल हैं।