2025-11-22T04:10:16.342290

Efficient Relational Context Perception for Knowledge Graph Completion

Tu, Wan, Shang et al.

Knowledge Graphs (KGs) provide a structured representation of knowledge but often suffer from challenges of incompleteness. To address this, link prediction or knowledge graph completion (KGC) aims to infer missing new facts based on existing facts in KGs. Previous knowledge graph embedding models are limited in their ability to capture expressive features, especially when compared to deeper, multi-layer models. These approaches also assign a single static embedding to each entity and relation, disregarding the fact that entities and relations can exhibit different behaviors in varying graph contexts. Due to complex context over a fact triple of a KG, existing methods have to leverage complex non-linear context encoder, like transformer, to project entity and relation into low dimensional representations, resulting in high computation cost. To overcome these limitations, we propose Triple Receptance Perception (TRP) architecture to model sequential information, enabling the learning of dynamic context of entities and relations. Then we use tensor decomposition to calculate triple scores, providing robust relational decoding capabilities. This integration allows for more expressive representations. Experiments on benchmark datasets such as YAGO3-10, UMLS, FB15k, and FB13 in link prediction and triple classification tasks demonstrate that our method performs better than several state-of-the-art models, proving the effectiveness of the integration.

academic

ज्ञान ग्राफ पूर्णता के लिए कुशल संबंधपरक संदर्भ धारणा

बुनियादी जानकारी

पेपर ID: 2501.00397
शीर्षक: Efficient Relational Context Perception for Knowledge Graph Completion
लेखक: Wenkai Tu, Guojia Wan, Zhengchun Shang, Bo Du (वुहान विश्वविद्यालय)
वर्गीकरण: cs.LG cs.AI cs.CL
प्रकाशन समय: 31 दिसंबर 2024 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2501.00397

सारांश

ज्ञान ग्राफ (KGs) संरचित ज्ञान प्रतिनिधित्व प्रदान करते हैं, लेकिन आमतौर पर अधूरेपन की समस्या से ग्रस्त होते हैं। लिंक भविष्यवाणी या ज्ञान ग्राफ पूर्णता (KGC) का लक्ष्य मौजूदा तथ्यों के आधार पर लापता नए तथ्यों का अनुमान लगाना है। मौजूदा ज्ञान ग्राफ एम्बेडिंग मॉडल अभिव्यक्तिशील विशेषताओं को कैप्चर करने की क्षमता में सीमित हैं, और प्रत्येक इकाई और संबंध को एक एकल स्थिर एम्बेडिंग प्रदान करते हैं, इस तथ्य को नज़रअंदाज़ करते हैं कि इकाइयां और संबंध विभिन्न ग्राफ संदर्भों में अलग-अलग व्यवहार प्रदर्शित कर सकते हैं। ज्ञान ग्राफ तथ्य त्रिपदों की जटिल संदर्भ के कारण, मौजूदा विधियों को इकाइयों और संबंधों को कम-आयामी प्रतिनिधित्व में प्रक्षेपित करने के लिए जटिल गैर-रैखिक संदर्भ एनकोडर (जैसे Transformer) का उपयोग करना चाहिए, जिससे उच्च कम्प्यूटेशनल लागत होती है। इन सीमाओं को दूर करने के लिए, यह पेपर त्रिपद रिसेप्टिव फील्ड धारणा (TRP) आर्किटेक्चर प्रस्तावित करता है जो अनुक्रमिक जानकारी को मॉडल करता है, इकाइयों और संबंधों की गतिशील संदर्भ सीखने को सक्षम करता है। फिर त्रिपद स्कोर की गणना के लिए टेंसर अपघटन का उपयोग किया जाता है, जो मजबूत संबंध डिकोडिंग क्षमता प्रदान करता है। यह एकीकरण अधिक अभिव्यक्तिशील प्रतिनिधित्व की अनुमति देता है। YAGO3-10, UMLS, FB15k और FB13 जैसे बेंचमार्क डेटासेट पर लिंक भविष्यवाणी और त्रिपद वर्गीकरण कार्यों पर प्रयोग दर्शाते हैं कि यह विधि कई अत्याधुनिक मॉडलों से बेहतर है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

ज्ञान ग्राफ पूर्णता (KGC) एक महत्वपूर्ण अनुसंधान समस्या है जिसका लक्ष्य ज्ञान ग्राफ में लापता तथ्यों का अनुमान लगाना है। ज्ञान ग्राफ आमतौर पर त्रिपद रूप (सिर इकाई, संबंध, पूंछ इकाई) में प्रतिनिधित्व किए जाते हैं, लेकिन वास्तविक दुनिया के ज्ञान ग्राफ में अक्सर बड़ी संख्या में लापता संबंध होते हैं, जो प्रश्नोत्तर प्रणाली, सिफारिश प्रणाली आदि अनुप्रयोगों में इसकी प्रभावशीलता को सीमित करता है।

मौजूदा विधियों की सीमाएं

सीमित अभिव्यक्तिशील क्षमता: पारंपरिक ज्ञान ग्राफ एम्बेडिंग विधियां मुख्य रूप से जोड़ या गुणन संचालन पर निर्भर करती हैं, जिनकी अभिव्यक्तिशील क्षमता सीमित है
स्थिर एम्बेडिंग: मौजूदा विधियां प्रत्येक इकाई और संबंध को एक एकल स्थिर एम्बेडिंग प्रदान करती हैं, विभिन्न संदर्भों में उनके अलग-अलग व्यवहार को नज़रअंदाज़ करती हैं
उच्च कम्प्यूटेशनल लागत: Transformer-आधारित विधियां हालांकि प्रभावी हैं, लेकिन स्केलेबिलिटी समस्याओं से ग्रस्त हैं, जिनकी कम्प्यूटेशनल लागत अधिक है
अपर्याप्त संदर्भ मॉडलिंग: जटिल संबंधपरक संदर्भ की प्रभावी मॉडलिंग की क्षमता की कमी

अनुसंधान प्रेरणा

इस पेपर की मूल प्रेरणा एक ऐसी विधि डिज़ाइन करना है जो गतिशील संदर्भ जानकारी को कैप्चर कर सके और साथ ही कम्प्यूटेशनल रूप से कुशल हो। अनुक्रमिक मॉडलिंग और टेंसर अपघटन के लाभों को जोड़कर, बेहतर प्रदर्शन-दक्षता संतुलन प्राप्त किया जा सकता है।

मुख्य योगदान

त्रिपद रिसेप्टिव फील्ड धारणा (TRP) आर्किटेक्चर का प्रस्ताव: एक नया एनकोडर जो ज्ञान ग्राफ में अनुक्रमिक जानकारी और गतिशील संदर्भ को प्रभावी ढंग से मॉडल कर सकता है
Tucker अपघटन डिकोडर का एकीकरण: मजबूत संबंध डिकोडिंग क्षमता प्रदान करता है, कॉम्पैक्ट और अभिव्यक्तिशील संबंध संरचना प्रतिनिधित्व को सक्षम करता है
बेहतर प्रदर्शन-दक्षता संतुलन का कार्यान्वयन: Transformer जैसी जटिल विधियों की तुलना में, प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल लागत में उल्लेखनीय कमी
कई बेंचमार्क डेटासेट पर SOTA परिणाम प्राप्त: लिंक भविष्यवाणी और त्रिपद वर्गीकरण कार्यों दोनों पर मौजूदा विधियों से बेहतर

विधि विवरण

कार्य परिभाषा

ज्ञान ग्राफ में अधूरे त्रिपद (h, r, ?) या (?, r, t) दिए गए, लक्ष्य लापता पूंछ इकाई या सिर इकाई की भविष्यवाणी करना है। औपचारिक रूप से, त्रिपद (h, r, t) के लिए, मॉडल को एक स्कोरिंग फ़ंक्शन φ(h, r, t) सीखना चाहिए जो इस त्रिपद के सत्य होने की संभावना को मापता है।

मॉडल आर्किटेक्चर

1. त्रिपद रिसेप्टिव फील्ड धारणा (TRP) एनकोडर

TRP आर्किटेक्चर कई अवशिष्ट ब्लॉक से बना है, प्रत्येक ब्लॉक में दो मुख्य सबमॉड्यूल हैं:

समय मिश्रण मॉड्यूल (Time Mixing):

ot = Wo · (σ(rt) ⊙ wkvt)
rt = Wr · (μr ⊙ xt + (1-μr) ⊙ xt-1)

जहां wkvt निम्नलिखित पुनरावर्ती तरीके से गणना की जाती है:

wkvt = (at-1 + e^(u+kt) ⊙ vt) / (bt-1 + e^(u+kt))
at = e^(-w) ⊙ at-1 + e^kt ⊙ vt  
bt = e^(-w) ⊙ bt-1 + e^kt

चैनल मिश्रण मॉड्यूल (Channel Mixing):

r't = Wr' · (μ'r x't + (1-μ'r)x't-1)
k't = Wk' · (μ'k x't + (1-μ'k)x't-1)  
o't = σ(r't) · (Wv' ⊙ max(k't, 0)²)

मॉड्यूल एकीकरण:

x' = x + Dropout(TimeMixing(LayerNorm(x)))
x'' = x' + Dropout(ChannelMixing(LayerNorm(x')))

2. Tucker अपघटन डिकोडर

त्रिपद स्कोर की गणना के लिए Tucker अपघटन का उपयोग डिकोडर के रूप में किया जाता है:

φ(h, r, t) = Wc ×1 ẽh ×2 ẽr ×3 et

जहां Wc ∈ R^(d×d×d) एक सीखने योग्य मूल टेंसर है, ×n n-मोड टेंसर उत्पाद को दर्शाता है।

तकनीकी नवाचार बिंदु

गतिशील संदर्भ मॉडलिंग: TRP अनुक्रमिक मॉडलिंग तंत्र के माध्यम से इकाई और संबंध एम्बेडिंग को विभिन्न संदर्भों के अनुसार गतिशील रूप से समायोजित करने में सक्षम बनाता है
कुशल पुनरावर्ती गणना: पुनरावर्ती सूत्रों के माध्यम से कुशल अनुमान को लागू करता है, Transformer की द्विघात जटिलता से बचता है
कारणात्मकता संरक्षण: डिज़ाइन अनुमान प्रक्रिया में कारणात्मकता को संरक्षित करता है, मॉडल को RNN की तरह कुशलतापूर्वक अनुमान लगाने में सक्षम बनाता है
टेंसर अपघटन एकीकरण: Tucker अपघटन पैरामीटर-कुशल और अभिव्यक्तिशील संबंध मॉडलिंग क्षमता प्रदान करता है

प्रयोगात्मक सेटअप

डेटासेट

चार मानक बेंचमार्क डेटासेट का उपयोग किया जाता है:

डेटासेट	इकाइयां	संबंध	प्रशिक्षण सेट	सत्यापन सेट	परीक्षण सेट
UMLS	135	46	5,126	652	661
FB15k	14,951	1,345	483,142	50,000	59,071
YAGO3-10	123,182	37	1,079,040	5,000	5,000
FB13	75,043	13	316,232	11,816	47,466

मूल्यांकन मेट्रिक्स

माध्य पारस्परिक रैंक (MRR): MRR = 1/|S| Σ(1/ranki)
Hits@k: सही उत्तर शीर्ष k में होने का अनुपात
सटीकता: त्रिपद वर्गीकरण कार्य के लिए

तुलनात्मक विधियां

केवल त्रिपद का उपयोग करने वाली विधियां: TransE, DistMult, ComplEx, RotatE, TuckER, ConvE, CoKE, HAKE, HousE

संदर्भ का उपयोग करने वाली विधियां: Neural-LP, R-GCN, Rlogic, ChatRule

कार्यान्वयन विवरण

एम्बेडिंग आयाम: {64, 96, 128, 192, 256}
TRP ब्लॉक संख्या: {2, 4, 6, 8}
Dropout दर: {0.2, 0.3, 0.4, 0.5}
अनुकूलक: Adam
सीखने की दर: 0.0005-0.01
बैच आकार: 512
अधिकतम प्रशिक्षण एपोक्स: 500

प्रयोगात्मक परिणाम

मुख्य परिणाम

लिंक भविष्यवाणी परिणाम:

विधि	FB15k			YAGO3-10			UMLS
	MRR	H@1	H@10	MRR	H@1	H@10	MRR	H@1	H@10
TransE	0.38	23.1	47.1	0.30	21.8	47.5	0.69	52.3	89.7
CoKE	0.85	82.6	90.6	0.55	47.5	67.5	0.94	90.7	99.7
हमारी विधि	0.85	81.2	90.3	0.57	50.1	70.0	0.95	90.4	99.9

त्रिपद वर्गीकरण परिणाम:

विधि	FB13	FB15k
CoKE	87.7	89.3
हमारी विधि	88.6	89.0

विलोपन प्रयोग

FB15k और YAGO3-10 पर विलोपन अध्ययन दर्शाते हैं:

Tucker अपघटन डिकोडर को हटाना: 2-3 MRR बिंदुओं का प्रदर्शन गिरावट
TRP एनकोडर को हटाना: 6-10 MRR बिंदुओं का महत्वपूर्ण प्रदर्शन गिरावट
दोनों घटकों का संयोजन सर्वोत्तम प्रदर्शन प्राप्त करता है

पैरामीटर दक्षता विश्लेषण

पैरामीटर संख्या: TRP को Transformer की तुलना में काफी कम पैरामीटर की आवश्यकता है
प्रशिक्षण समय: TRP का प्रत्येक प्रशिक्षण दौर तेजी से होता है, और छलांग संख्या के साथ अधिक धीरे-धीरे बढ़ता है
प्रदर्शन तुलना: तुलनीय प्रदर्शन में, TRP बेहतर दक्षता प्रदर्शित करता है

दृश्य विश्लेषण

इकाई एम्बेडिंग: t-SNE दृश्य विभिन्न श्रेणियों की इकाइयों को स्पष्ट रूप से अलग किए गए क्लस्टर बनाते हुए दिखाता है
संबंध एम्बेडिंग: सममित संबंध और उनके व्युत्क्रम संबंध घनिष्ठ रूप से समूहित होते हैं, असममित संबंध अधिक बिखरे हुए होते हैं, जो विभिन्न शब्दार्थ संबंधों की TRP की प्रभावी मॉडलिंग को प्रदर्शित करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

TRP आर्किटेक्चर ज्ञान ग्राफ में गतिशील संदर्भ जानकारी को प्रभावी ढंग से मॉडल कर सकता है
Tucker अपघटन पैरामीटर-कुशल संबंध डिकोडिंग क्षमता प्रदान करता है
दोनों का संयोजन कई बेंचमार्क डेटासेट पर उत्कृष्ट प्रदर्शन प्राप्त करता है
Transformer आदि विधियों की तुलना में बेहतर पैरामीटर दक्षता है

सीमाएं

डेटासेट स्केल: मुख्य रूप से मध्यम-स्केल डेटासेट पर सत्यापित, अति-बड़े ज्ञान ग्राफ पर प्रभाव सत्यापन की प्रतीक्षा में है
संबंध प्रकार: कुछ जटिल संबंध पैटर्न की मॉडलिंग क्षमता में अभी भी सुधार की गुंजाइश हो सकती है
बहु-छलांग अनुमान: पेपर मुख्य रूप से एकल-छलांग लिंक भविष्यवाणी पर केंद्रित है, बहु-छलांग अनुमान क्षमता को आगे के अनुसंधान की आवश्यकता है

भविष्य की दिशाएं

बड़े पैमाने के ज्ञान ग्राफ तक विस्तार
बाहरी पाठ जानकारी को शामिल करके प्रतिनिधित्व सीखने को बढ़ाना
बहु-छलांग अनुमान कार्यों में अनुप्रयोग की खोज
बड़े भाषा मॉडल के साथ एकीकरण का अनुसंधान

गहन मूल्यांकन

लाभ

मजबूत तकनीकी नवाचार: TRP आर्किटेक्चर RNN और ध्यान तंत्र के लाभों को चतुराई से जोड़ता है, कुशल अनुक्रमिक मॉडलिंग को लागू करता है
व्यापक प्रयोग: कई डेटासेट और कार्यों पर व्यापक मूल्यांकन, विलोपन प्रयोग और दृश्य विश्लेषण सहित
उच्च व्यावहारिक मूल्य: प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल दक्षता में उल्लेखनीय सुधार, बहुत मजबूत व्यावहारिक मूल्य है
स्पष्ट लेखन: पेपर संरचना स्पष्ट है, तकनीकी विवरण सटीक रूप से वर्णित हैं, समझने और पुनरुत्पादन में आसान

कमियां

अपर्याप्त सैद्धांतिक विश्लेषण: TRP आर्किटेक्चर प्रभावी क्यों है इसके गहन सैद्धांतिक विश्लेषण की कमी
सीमित बड़े पैमाने पर सत्यापन: मुख्य रूप से मध्यम-स्केल डेटासेट पर सत्यापित, वास्तविक बड़े पैमाने के ज्ञान ग्राफ पर प्रयोगों की कमी
तुलनात्मक आधार सीमित: नवीनतम कुछ मजबूत आधार विधियों के साथ तुलना की कमी
अपर्याप्त त्रुटि विश्लेषण: मॉडल विफलता के मामलों का गहन विश्लेषण की कमी

प्रभाव

शैक्षणिक योगदान: ज्ञान ग्राफ पूर्णता क्षेत्र के लिए कुशल मॉडलिंग के लिए नई सोच प्रदान करता है
व्यावहारिक मूल्य: विधि की दक्षता इसे वास्तविक अनुप्रयोगों में बहुत बड़ी संभावना देती है
पुनरुत्पादनशीलता: तकनीकी विवरण विस्तार से वर्णित हैं, प्रयोगात्मक सेटअप स्पष्ट है, अच्छी पुनरुत्पादनशीलता है

लागू परिदृश्य

संसाधन-सीमित वातावरण: सीमित कम्प्यूटेशनल संसाधन लेकिन अच्छे प्रदर्शन की आवश्यकता वाले अनुप्रयोग परिदृश्य
वास्तविक समय अनुमान की आवश्यकता: ज्ञान ग्राफ क्वेरी और अनुमान कार्यों के लिए तेजी से प्रतिक्रिया की आवश्यकता
गतिशील ज्ञान ग्राफ: बार-बार अपडेट और वृद्धिशील सीखने की आवश्यकता वाले ज्ञान ग्राफ अनुप्रयोग
एज कंप्यूटिंग: मोबाइल डिवाइस या एज डिवाइस पर ज्ञान ग्राफ अनुप्रयोग तैनात करना

संदर्भ

पेपर ज्ञान ग्राफ पूर्णता क्षेत्र के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

TransE (Bordes et al., 2013): अनुवाद मॉडल का अग्रणी कार्य
TuckER (Balažević et al., 2019): ज्ञान ग्राफ में Tucker अपघटन का अनुप्रयोग
CoKE (Wang et al., 2019): Transformer-आधारित संदर्भपूर्ण ज्ञान ग्राफ एम्बेडिंग
RWKV (Peng et al., 2023): इस पेपर के TRP आर्किटेक्चर की प्रेरणा का स्रोत

समग्र मूल्यांकन: यह ज्ञान ग्राफ पूर्णता का एक उच्च-गुणवत्ता वाला पेपर है, जो प्रस्तावित TRP आर्किटेक्चर तकनीकी रूप से महत्वपूर्ण नवाचार है, प्रयोग व्यापक रूप से सत्यापित हैं, प्रदर्शन और दक्षता के बीच अच्छा संतुलन प्राप्त किया गया है। पेपर का मुख्य योगदान अनुक्रमिक मॉडलिंग के विचार को ज्ञान ग्राफ पूर्णता में लाना है, जो इस क्षेत्र के लिए नई अनुसंधान दिशा प्रदान करता है। हालांकि सैद्धांतिक विश्लेषण और बड़े पैमाने पर सत्यापन में सुधार की गुंजाइश है, लेकिन समग्र रूप से यह एक मूल्यवान अनुसंधान कार्य है।