2025-11-22T04:10:16.342290

Efficient Relational Context Perception for Knowledge Graph Completion

Tu, Wan, Shang et al.

Knowledge Graphs (KGs) provide a structured representation of knowledge but often suffer from challenges of incompleteness. To address this, link prediction or knowledge graph completion (KGC) aims to infer missing new facts based on existing facts in KGs. Previous knowledge graph embedding models are limited in their ability to capture expressive features, especially when compared to deeper, multi-layer models. These approaches also assign a single static embedding to each entity and relation, disregarding the fact that entities and relations can exhibit different behaviors in varying graph contexts. Due to complex context over a fact triple of a KG, existing methods have to leverage complex non-linear context encoder, like transformer, to project entity and relation into low dimensional representations, resulting in high computation cost. To overcome these limitations, we propose Triple Receptance Perception (TRP) architecture to model sequential information, enabling the learning of dynamic context of entities and relations. Then we use tensor decomposition to calculate triple scores, providing robust relational decoding capabilities. This integration allows for more expressive representations. Experiments on benchmark datasets such as YAGO3-10, UMLS, FB15k, and FB13 in link prediction and triple classification tasks demonstrate that our method performs better than several state-of-the-art models, proving the effectiveness of the integration.

academic

জ্ঞান গ্রাফ সম্পূর্ণতার জন্য দক্ষ সম্পর্কীয় প্রসঙ্গ উপলব্ধি

মৌলিক তথ্য

পেপার আইডি: 2501.00397
শিরোনাম: Efficient Relational Context Perception for Knowledge Graph Completion
লেখক: Wenkai Tu, Guojia Wan, Zhengchun Shang, Bo Du (উহান বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.LG cs.AI cs.CL
প্রকাশনার সময়: ২০২৪ সালের ৩১ ডিসেম্বর (arXiv প্রাক-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2501.00397

সারসংক্ষেপ

জ্ঞান গ্রাফ (KGs) কাঠামোগত জ্ঞান প্রতিনিধিত্ব প্রদান করে, কিন্তু সাধারণত অসম্পূর্ণতার সমস্যা রয়েছে। লিঙ্ক পূর্বাভাস বা জ্ঞান গ্রাফ সম্পূর্ণতা (KGC) বিদ্যমান তথ্যের উপর ভিত্তি করে অনুপস্থিত নতুন তথ্য অনুমান করার লক্ষ্য রাখে। বিদ্যমান জ্ঞান গ্রাফ এম্বেডিং মডেলগুলি প্রকাশনীয় বৈশিষ্ট্য ক্যাপচার করার ক্ষমতায় সীমিত এবং প্রতিটি সত্তা এবং সম্পর্কের জন্য একক স্থির এম্বেডিং বরাদ্দ করে, যা এই সত্যটি উপেক্ষা করে যে সত্তা এবং সম্পর্ক বিভিন্ন গ্রাফ প্রসঙ্গে বিভিন্ন আচরণ প্রদর্শন করতে পারে। জ্ঞান গ্রাফ তথ্য ত্রিপদের জটিল প্রসঙ্গের কারণে, বিদ্যমান পদ্ধতিগুলি অবশ্যই জটিল অ-রৈখিক প্রসঙ্গ এনকোডার (যেমন Transformer) ব্যবহার করে সত্তা এবং সম্পর্কগুলিকে নিম্ন-মাত্রিক প্রতিনিধিত্বে প্রজেক্ট করতে হবে, যা উচ্চ গণনামূলক খরচের দিকে পরিচালিত করে। এই সীমাবদ্ধতাগুলি অতিক্রম করার জন্য, এই পেপারটি ত্রিপদ রিসেপ্টিভ ফিল্ড সচেতনতা (TRP) আর্কিটেকচার প্রস্তাব করে যা ক্রমানুসারী তথ্য মডেল করতে এবং সত্তা এবং সম্পর্কের গতিশীল প্রসঙ্গ শেখার জন্য। তারপর টেনসর বিয়োজন ব্যবহার করে ত্রিপদ স্কোর গণনা করা হয়, যা শক্তিশালী সম্পর্ক ডিকোডিং ক্ষমতা প্রদান করে। এই একীকরণ আরও প্রকাশনীয় প্রতিনিধিত্ব সক্ষম করে। YAGO3-10, UMLS, FB15k এবং FB13 এর মতো বেঞ্চমার্ক ডেটাসেটে লিঙ্ক পূর্বাভাস এবং ত্রিপদ শ্রেণীবিভাগ কাজের পরীক্ষা-নিরীক্ষা দেখায় যে এই পদ্ধতি একাধিক অত্যাধুনিক মডেলকে ছাড়িয়ে যায়।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

জ্ঞান গ্রাফ সম্পূর্ণতা (KGC) একটি গুরুত্বপূর্ণ গবেষণা সমস্যা যা জ্ঞান গ্রাফে অনুপস্থিত তথ্য অনুমান করার লক্ষ্য রাখে। জ্ঞান গ্রাফগুলি সাধারণত ত্রিপদ আকারে প্রতিনিধিত্ব করা হয় (মাথার সত্তা, সম্পর্ক, লেজের সত্তা), কিন্তু বাস্তব-বিশ্বের জ্ঞান গ্রাফগুলি প্রায়শই অসংখ্য অনুপস্থিত সম্পর্ক রয়েছে, যা প্রশ্নোত্তর সিস্টেম, সুপারিশ সিস্টেম ইত্যাদিতে তাদের কার্যকারিতা সীমিত করে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

সীমিত প্রকাশনীয় ক্ষমতা: ঐতিহ্যবাহী জ্ঞান গ্রাফ এম্বেডিং পদ্ধতি প্রধানত সংযোজন বা গুণন ক্রিয়াকলাপের উপর নির্ভর করে, সীমিত প্রকাশনীয় ক্ষমতা সহ
স্থির এম্বেডিং: বিদ্যমান পদ্ধতিগুলি প্রতিটি সত্তা এবং সম্পর্কের জন্য একক স্থির এম্বেডিং বরাদ্দ করে, তাদের বিভিন্ন প্রসঙ্গে বিভিন্ন আচরণ উপেক্ষা করে
উচ্চ গণনামূলক খরচ: Transformer-ভিত্তিক পদ্ধতিগুলি যদিও কার্যকর, তবে স্কেলেবিলিটি সমস্যা এবং উচ্চ গণনামূলক খরচ রয়েছে
অপর্যাপ্ত প্রসঙ্গ মডেলিং: জটিল সম্পর্ক প্রসঙ্গের কার্যকর মডেলিং ক্ষমতার অভাব

গবেষণা প্রেরণা

এই পেপারের মূল প্রেরণা হল এমন একটি পদ্ধতি ডিজাইন করা যা গতিশীল প্রসঙ্গ তথ্য ক্যাপচার করতে পারে এবং গণনামূলক দক্ষতা রাখে। ক্রমানুসারী মডেলিং এবং টেনসর বিয়োজনের সুবিধাগুলি একত্রিত করে, আরও ভাল কর্মক্ষমতা-দক্ষতা ভারসাম্য অর্জন করা।

মূল অবদান

ত্রিপদ রিসেপ্টিভ ফিল্ড সচেতনতা (TRP) আর্কিটেকচার প্রস্তাব: একটি উপন্যাস এনকোডার যা জ্ঞান গ্রাফে ক্রমানুসারী তথ্য এবং গতিশীল প্রসঙ্গ কার্যকরভাবে মডেল করতে পারে
Tucker বিয়োজন ডিকোডার একীকরণ: শক্তিশালী সম্পর্ক ডিকোডিং ক্ষমতা প্রদান করে, সংক্ষিপ্ত এবং প্রকাশনীয় সম্পর্ক কাঠামো প্রতিনিধিত্ব অর্জন করে
উন্নত কর্মক্ষমতা-দক্ষতা ভারসাম্য অর্জন: Transformer এর মতো জটিল পদ্ধতির তুলনায়, প্রতিযোগিতামূলক কর্মক্ষমতা বজায় রেখে গণনামূলক খরচ উল্লেখযোগ্যভাবে হ্রাস করে
একাধিক বেঞ্চমার্ক ডেটাসেটে SOTA ফলাফল অর্জন: লিঙ্ক পূর্বাভাস এবং ত্রিপদ শ্রেণীবিভাগ কাজ উভয়েই বিদ্যমান পদ্ধতিকে ছাড়িয়ে যায়

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

জ্ঞান গ্রাফে অসম্পূর্ণ ত্রিপদ (h, r, ?) বা (?, r, t) দেওয়া, লক্ষ্য হল অনুপস্থিত লেজের সত্তা বা মাথার সত্তা পূর্বাভাস দেওয়া। আনুষ্ঠানিকভাবে, ত্রিপদ (h, r, t) এর জন্য, মডেলটি একটি স্কোরিং ফাংশন φ(h, r, t) শিখতে হবে যা সেই ত্রিপদটি সত্য হওয়ার সম্ভাবনা পরিমাপ করে।

মডেল আর্কিটেকচার

1. ত্রিপদ রিসেপ্টিভ ফিল্ড সচেতনতা (TRP) এনকোডার

TRP আর্কিটেকচার একাধিক অবশিষ্ট ব্লক নিয়ে গঠিত, প্রতিটি ব্লকে দুটি মূল সাব-মডিউল রয়েছে:

সময় মিশ্রণ মডিউল (Time Mixing):

ot = Wo · (σ(rt) ⊙ wkvt)
rt = Wr · (μr ⊙ xt + (1-μr) ⊙ xt-1)

যেখানে wkvt নিম্নলিখিত পুনরাবৃত্তিমূলক উপায়ে গণনা করা হয়:

wkvt = (at-1 + e^(u+kt) ⊙ vt) / (bt-1 + e^(u+kt))
at = e^(-w) ⊙ at-1 + e^kt ⊙ vt  
bt = e^(-w) ⊙ bt-1 + e^kt

চ্যানেল মিশ্রণ মডিউল (Channel Mixing):

r't = Wr' · (μ'r x't + (1-μ'r)x't-1)
k't = Wk' · (μ'k x't + (1-μ'k)x't-1)  
o't = σ(r't) · (Wv' ⊙ max(k't, 0)²)

মডিউল একীকরণ:

x' = x + Dropout(TimeMixing(LayerNorm(x)))
x'' = x' + Dropout(ChannelMixing(LayerNorm(x')))

2. Tucker বিয়োজন ডিকোডার

ত্রিপদ স্কোর গণনা করতে ডিকোডার হিসাবে Tucker বিয়োজন ব্যবহার করা হয়:

φ(h, r, t) = Wc ×1 ẽh ×2 ẽr ×3 et

যেখানে Wc ∈ R^(d×d×d) শিক্ষণযোগ্য মূল টেনসর এবং ×n n-মোড টেনসর পণ্য নির্দেশ করে।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

গতিশীল প্রসঙ্গ মডেলিং: TRP ক্রমানুসারী মডেলিং প্রক্রিয়ার মাধ্যমে সত্তা এবং সম্পর্ক এম্বেডিংকে বিভিন্ন প্রসঙ্গ অনুযায়ী গতিশীলভাবে সামঞ্জস্য করতে সক্ষম করে
দক্ষ পুনরাবৃত্তিমূলক গণনা: পুনরাবৃত্তিমূলক সূত্রের মাধ্যমে দক্ষ অনুমান অর্জন করে, Transformer এর দ্বিঘাত জটিলতা এড়ায়
কার্যকারণ সংরক্ষণ: ডিজাইন অনুমান প্রক্রিয়ায় কার্যকারণ সংরক্ষণ নিশ্চিত করে, মডেলটিকে RNN এর মতো দক্ষভাবে অনুমান করতে সক্ষম করে
টেনসর বিয়োজন একীকরণ: Tucker বিয়োজন প্যারামিটার-দক্ষ এবং প্রকাশনীয় সম্পর্ক মডেলিং ক্ষমতা প্রদান করে

পরীক্ষা-নিরীক্ষা সেটআপ

ডেটাসেট

চারটি মান বেঞ্চমার্ক ডেটাসেট ব্যবহার করা হয়েছে:

ডেটাসেট	সত্তা সংখ্যা	সম্পর্ক সংখ্যা	প্রশিক্ষণ সেট	যাচাইকরণ সেট	পরীক্ষা সেট
UMLS	135	46	5,126	652	661
FB15k	14,951	1,345	483,142	50,000	59,071
YAGO3-10	123,182	37	1,079,040	5,000	5,000
FB13	75,043	13	316,232	11,816	47,466

মূল্যায়ন মেট্রিক্স

গড় পারস্পরিক র‍্যাঙ্ক (MRR): MRR = 1/|S| Σ(1/ranki)
Hits@k: সঠিক উত্তর শীর্ষ k অবস্থানে থাকার অনুপাত
নির্ভুলতা: ত্রিপদ শ্রেণীবিভাগ কাজের জন্য ব্যবহৃত

তুলনামূলক পদ্ধতি

শুধুমাত্র ত্রিপদ ব্যবহার করা পদ্ধতি: TransE, DistMult, ComplEx, RotatE, TuckER, ConvE, CoKE, HAKE, HousE

প্রসঙ্গ ব্যবহার করা পদ্ধতি: Neural-LP, R-GCN, Rlogic, ChatRule

বাস্তবায়ন বিবরণ

এম্বেডিং মাত্রা: {64, 96, 128, 192, 256}
TRP ব্লক সংখ্যা: {2, 4, 6, 8}
Dropout হার: {0.2, 0.3, 0.4, 0.5}
অপ্টিমাইজার: Adam
শেখার হার: 0.0005-0.01
ব্যাচ আকার: 512
সর্বাধিক প্রশিক্ষণ পুনরাবৃত্তি: 500

পরীক্ষা-নিরীক্ষার ফলাফল

প্রধান ফলাফল

লিঙ্ক পূর্বাভাস ফলাফল:

পদ্ধতি	FB15k			YAGO3-10			UMLS
	MRR	H@1	H@10	MRR	H@1	H@10	MRR	H@1	H@10
TransE	0.38	23.1	47.1	0.30	21.8	47.5	0.69	52.3	89.7
CoKE	0.85	82.6	90.6	0.55	47.5	67.5	0.94	90.7	99.7
আমাদের পদ্ধতি	0.85	81.2	90.3	0.57	50.1	70.0	0.95	90.4	99.9

ত্রিপদ শ্রেণীবিভাগ ফলাফল:

পদ্ধতি	FB13	FB15k
CoKE	87.7	89.3
আমাদের পদ্ধতি	88.6	89.0

বিয়োজন পরীক্ষা-নিরীক্ষা

FB15k এবং YAGO3-10 এ বিয়োজন গবেষণা দেখায় যে:

Tucker বিয়োজন ডিকোডার অপসারণ: কর্মক্ষমতা 2-3 MRR পয়েন্ট হ্রাস
TRP এনকোডার অপসারণ: কর্মক্ষমতা উল্লেখযোগ্যভাবে 6-10 MRR পয়েন্ট হ্রাস
উভয় উপাদানের সমন্বয় সর্বোত্তম কর্মক্ষমতা অর্জন করে

প্যারামিটার দক্ষতা বিশ্লেষণ

প্যারামিটার সংখ্যা: TRP Transformer এর তুলনায় উল্লেখযোগ্যভাবে কম প্যারামিটার প্রয়োজন
প্রশিক্ষণ সময়: TRP এর প্রতিটি প্রশিক্ষণ রাউন্ডের সময় কম এবং হপ সংখ্যার সাথে আরও ধীরে বৃদ্ধি পায়
কর্মক্ষমতা তুলনা: তুলনীয় কর্মক্ষমতায়, TRP আরও ভাল দক্ষতা প্রদর্শন করে

ভিজ্যুয়ালাইজেশন বিশ্লেষণ

সত্তা এম্বেডিং: t-SNE ভিজ্যুয়ালাইজেশন দেখায় যে বিভিন্ন শ্রেণীর সত্তাগুলি স্পষ্ট বিচ্ছিন্ন ক্লাস্টার গঠন করে
সম্পর্ক এম্বেডিং: প্রতিসম সম্পর্ক এবং তাদের বিপরীত সম্পর্কগুলি ঘনিষ্ঠভাবে সমবেত, অ-প্রতিসম সম্পর্কগুলি আরও বিচ্ছিন্নভাবে বিতরণ করা হয়, বিভিন্ন শব্দার্থিক সম্পর্কের TRP এর কার্যকর মডেলিং প্রতিফলিত করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

TRP আর্কিটেকচার জ্ঞান গ্রাফে গতিশীল প্রসঙ্গ তথ্য কার্যকরভাবে মডেল করতে পারে
Tucker বিয়োজন প্যারামিটার-দক্ষ সম্পর্ক ডিকোডিং ক্ষমতা প্রদান করে
উভয়ের সমন্বয় একাধিক বেঞ্চমার্ক ডেটাসেটে চমৎকার কর্মক্ষমতা অর্জন করে
Transformer এর মতো পদ্ধতির তুলনায় উন্নত প্যারামিটার দক্ষতা রয়েছে

সীমাবদ্ধতা

ডেটাসেট স্কেল: প্রধানত মাঝারি স্কেল ডেটাসেটে যাচাই করা হয়েছে, অতি বৃহৎ জ্ঞান গ্রাফের কার্যকারিতা যাচাই করা বাকি রয়েছে
সম্পর্ক প্রকার: কিছু জটিল সম্পর্ক প্যাটার্নের মডেলিং ক্ষমতা এখনও উন্নতির জায়গা থাকতে পারে
বহু-হপ অনুমান: পেপারটি প্রধানত একক-হপ লিঙ্ক পূর্বাভাসে ফোকাস করে, বহু-হপ অনুমান ক্ষমতা আরও গবেষণার প্রয়োজন
ত্রুটি বিশ্লেষণ অপর্যাপ্ত: মডেল ব্যর্থতার ক্ষেত্রে গভীর বিশ্লেষণের অভাব

ভবিষ্যত দিকনির্দেশনা

বৃহত্তর স্কেলের জ্ঞান গ্রাফে সম্প্রসারণ
বাহ্যিক পাঠ্য তথ্য একীভূত করে প্রতিনিধিত্ব শেখা উন্নত করা
বহু-হপ অনুমান কাজে প্রয়োগ অন্বেষণ করা
বৃহৎ ভাষা মডেলের সাথে সমন্বয় গবেষণা করা

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী প্রযুক্তিগত উদ্ভাবন: TRP আর্কিটেকচার চতুরভাবে RNN এবং মনোযোগ প্রক্রিয়ার সুবিধাগুলি একত্রিত করে, দক্ষ ক্রমানুসারী মডেলিং অর্জন করে
ব্যাপক পরীক্ষা-নিরীক্ষা: একাধিক ডেটাসেট এবং কাজে ব্যাপক মূল্যায়ন, বিয়োজন পরীক্ষা-নিরীক্ষা এবং ভিজ্যুয়ালাইজেশন বিশ্লেষণ সহ
উচ্চ ব্যবহারিক মূল্য: প্রতিযোগিতামূলক কর্মক্ষমতা বজায় রেখে গণনামূলক দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে, শক্তিশালী ব্যবহারিক মূল্য রয়েছে
স্পষ্ট লেখা: পেপারের কাঠামো স্পষ্ট, প্রযুক্তিগত বিবরণ নির্ভুল, বোঝা এবং পুনরুৎপাদন সহজ

অসুবিধা

অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: TRP আর্কিটেকচার কেন কার্যকর তার গভীর তাত্ত্বিক বিশ্লেষণের অভাব
সীমিত বৃহৎ-স্কেল যাচাইকরণ: প্রধানত মাঝারি স্কেল ডেটাসেটে যাচাই করা হয়েছে, সত্যিকারের বৃহৎ-স্কেল জ্ঞান গ্রাফে পরীক্ষা-নিরীক্ষার অভাব
তুলনামূলক বেসলাইন সীমিত: সর্বশেষ শক্তিশালী বেসলাইন পদ্ধতির সাথে তুলনার অভাব
অপর্যাপ্ত ত্রুটি বিশ্লেষণ: মডেল ব্যর্থতার ক্ষেত্রে গভীর বিশ্লেষণের অভাব

প্রভাব

একাডেমিক অবদান: জ্ঞান গ্রাফ সম্পূর্ণতা ক্ষেত্রে নতুন দক্ষ মডেলিং চিন্তাভাবনা প্রদান করে
ব্যবহারিক মূল্য: পদ্ধতির দক্ষতা বাস্তব প্রয়োগে বিশাল সম্ভাবনা রয়েছে
পুনরুৎপাদনযোগ্যতা: প্রযুক্তিগত বিবরণ বিস্তারিত, পরীক্ষা-নিরীক্ষা সেটআপ স্পষ্ট, ভাল পুনরুৎপাদনযোগ্যতা রয়েছে

প্রযোজ্য পরিস্থিতি

সম্পদ-সীমিত পরিবেশ: সীমিত গণনামূলক সম্পদ কিন্তু ভাল কর্মক্ষমতা প্রয়োজনীয় প্রয়োগ পরিস্থিতি
রিয়েল-টাইম অনুমান চাহিদা: দ্রুত প্রতিক্রিয়া প্রয়োজনীয় জ্ঞান গ্রাফ প্রশ্ন এবং অনুমান কাজ
গতিশীল জ্ঞান গ্রাফ: ঘন ঘন আপডেট এবং বৃদ্ধিশীল শেখার প্রয়োজনীয় জ্ঞান গ্রাফ প্রয়োগ
প্রান্ত গণনা: মোবাইল ডিভাইস বা প্রান্ত ডিভাইসে জ্ঞান গ্রাফ প্রয়োগ স্থাপন করা

সংদর্ভ

পেপারটি জ্ঞান গ্রাফ সম্পূর্ণতা ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করেছে, যার মধ্যে রয়েছে:

TransE (Bordes et al., 2013): অনুবাদ মডেলের যুগান্তকারী কাজ
TuckER (Balažević et al., 2019): জ্ঞান গ্রাফে Tucker বিয়োজনের প্রয়োগ
CoKE (Wang et al., 2019): Transformer-ভিত্তিক প্রসঙ্গীয় জ্ঞান গ্রাফ এম্বেডিং
RWKV (Peng et al., 2023): এই পেপারের TRP আর্কিটেকচার অনুপ্রেরণার উৎস

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের জ্ঞান গ্রাফ সম্পূর্ণতা পেপার, যা প্রস্তাবিত TRP আর্কিটেকচার প্রযুক্তিগতভাবে উল্লেখযোগ্য উদ্ভাবন রয়েছে, ব্যাপক পরীক্ষা-নিরীক্ষা যাচাইকরণ, এবং কর্মক্ষমতা এবং দক্ষতার মধ্যে ভাল ভারসাম্য অর্জন করেছে। পেপারের প্রধান অবদান হল ক্রমানুসারী মডেলিং ধারণা জ্ঞান গ্রাফ সম্পূর্ণতায় প্রবর্তন করা, যা এই ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করে। যদিও তাত্ত্বিক বিশ্লেষণ এবং বৃহৎ-স্কেল যাচাইকরণে উন্নতির জায়গা রয়েছে, সামগ্রিকভাবে এটি একটি মূল্যবান গবেষণা কাজ।