DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion
Mashkova, Zhapa-Camacho, Hoehndorf
Ontology embeddings map classes, roles, and individuals in ontologies into $\mathbb{R}^n$, and within $\mathbb{R}^n$ similarity between entities can be computed or new axioms inferred. For ontologies in the Description Logic $\mathcal{EL}^{++}$, several optimization-based embedding methods have been developed that explicitly generate models of an ontology. However, these methods suffer from some limitations; they do not distinguish between statements that are unprovable and provably false, and therefore they may use entailed statements as negatives. Furthermore, they do not utilize the deductive closure of an ontology to identify statements that are inferred but not asserted. We evaluated a set of embedding methods for $\mathcal{EL}^{++}$ ontologies, incorporating several modifications that aim to make use of the ontology deductive closure. In particular, we designed novel negative losses that account both for the deductive closure and different types of negatives and formulated evaluation methods for knowledge base completion. We demonstrate that our embedding methods improve over the baseline ontology embedding in the task of knowledge base or ontology completion.
academic
DELE: জ্ঞান ভিত্তি সম্পূর্ণতার জন্য অনুমানমূলক EL++ এম্বেডিংস
এই পেপারটি বর্ণনামূলক যুক্তি EL++ এর অনটোলজি এম্বেডিং পদ্ধতির সীমাবদ্ধতা সমাধান করে জ্ঞান ভিত্তি সম্পূর্ণতা কাজে DELE (Deductive EL++ Embeddings) পদ্ধতি প্রস্তাব করে। বিদ্যমান জ্যামিতিক এম্বেডিং পদ্ধতিগুলি যদিও অনটোলজি মডেল স্পষ্টভাবে তৈরি করতে পারে, তবে দুটি মূল সমস্যা রয়েছে: (1) অপ্রমাণযোগ্য বিবৃতি এবং মিথ্যাপ্রমাণযোগ্য বিবৃতির মধ্যে পার্থক্য করতে পারে না, যা নিহিত বিবৃতিগুলিকে নেতিবাচক নমুনা হিসাবে বিবেচনা করতে পারে; (2) অনুমানমূলক বন্ধ ব্যবহার করে অনুমানিত কিন্তু অপ্রকাশিত বিবৃতি সনাক্ত করতে অপর্যাপ্তভাবে ব্যবহার করে। এই পেপারটি নতুন নেতিবাচক ক্ষতি ফাংশন এবং মূল্যায়ন পদ্ধতি ডিজাইন করে অনুমানমূলক বন্ধ কার্যকরভাবে ব্যবহার করে জ্ঞান ভিত্তি সম্পূর্ণতা কর্মক্ষমতা উন্নত করে।
অনটোলজি এম্বেডিং অনটোলজিতে শ্রেণী, ভূমিকা এবং ব্যক্তিদের Rn স্থানে ম্যাপ করার লক্ষ্য রাখে, যাতে সত্তাগুলির মধ্যে সাদৃশ্য গণনা করা যায় বা নতুন স্বতঃসিদ্ধ অনুমান করা যায়। EL++ বর্ণনামূলক যুক্তির জন্য, ELEmbeddings, ELBE এবং Box2EL এর মতো অপ্টিমাইজেশন-ভিত্তিক জ্যামিতিক এম্বেডিং পদ্ধতি ইতিমধ্যে বিদ্যমান।
নেতিবাচক নমুনা নির্বাচন সমস্যা: বিদ্যমান পদ্ধতিগুলি নেতিবাচক নমুনা এলোমেলোভাবে নির্বাচন করার সময়, অনটোলজিতে নিহিত প্রকৃত বিবৃতিগুলিকে ভুলভাবে নেতিবাচক উদাহরণ হিসাবে বিবেচনা করতে পারে, যা মডেল প্রশিক্ষণের গুণমান প্রভাবিত করে।
অনুমানমূলক বন্ধ ব্যবহার অপর্যাপ্ত: অনটোলজির অনুমানমূলক বন্ধ, অর্থাৎ সমস্ত অনুমানযোগ্য বিবৃতির সেট, সম্পূর্ণভাবে বিবেচনা করা হয় না, যা ইতিমধ্যে অনুমানিত এবং অপ্রকাশিত জ্ঞানের মধ্যে কার্যকরভাবে পার্থক্য করতে পারে না।
মূল্যায়ন পদ্ধতির সীমাবদ্ধতা: বিদ্যমান মূল্যায়ন পদ্ধতিগুলি প্রধানত জ্ঞান গ্রাফ সম্পূর্ণতা কাজ থেকে আসে, অনটোলজিতে সমৃদ্ধ নিহিত সম্পর্কগুলি বিবেচনা করে না।
জ্ঞান ভিত্তি সম্পূর্ণতা একটি গুরুত্বপূর্ণ কাজ যা জ্ঞান ভিত্তিতে যোগ করা উচিত এমন স্বতঃসিদ্ধগুলি পূর্বাভাস দেওয়ার প্রয়োজন কিন্তু এখনও প্রতিনিধিত্ব করা হয়নি। আনুষ্ঠানিক জ্ঞান ভিত্তির জন্য, এটি অনুমানমূলক যুক্তি (নিহিত স্বতঃসিদ্ধ পূর্বাভাস) এবং আবেগপূর্ণ যুক্তি (নতুন অ-নিহিত স্বতঃসিদ্ধ পূর্বাভাস) উভয় ধরনের অন্তর্ভুক্ত করে। এই পেপারটি অনুমানমূলক বন্ধ আরও ভালভাবে ব্যবহার করে জ্যামিতিক এম্বেডিং পদ্ধতি উন্নত করার লক্ষ্য রাখে।
অনুমানমূলক বন্ধ বিবেচনা করে নেতিবাচক ক্ষতি ফাংশন প্রস্তাব: সমস্ত EL++ মান ফর্মের জন্য নতুন নেতিবাচক ক্ষতি ফাংশন ডিজাইন করা হয়েছে, নিহিত বিবৃতিগুলিকে নেতিবাচক নমুনা হিসাবে বিবেচনা করা এড়ায়।
দ্রুত আনুমানিক অনুমানমূলক বন্ধ গণনা অ্যালগরিদম ডিজাইন: EL++ তত্ত্বের অনুমানমূলক বন্ধ গণনার জন্য একটি সঠিক অ্যালগরিদম প্রস্তাব করা হয়েছে, প্রশিক্ষণ প্রক্রিয়ায় নেতিবাচক নমুনা নির্বাচন উন্নত করতে ব্যবহৃত হয়।
অনুমানমূলক বন্ধ বিবেচনা করে মূল্যায়ন পদ্ধতি প্রণয়ন: জ্ঞান ভিত্তি সম্পূর্ণতা কাজের জন্য নতুন মূল্যায়ন মেট্রিক্স ডিজাইন করা হয়েছে, যা নিহিত এবং অ-নিহিত স্বতঃসিদ্ধের পূর্বাভাস কর্মক্ষমতা পার্থক্য করতে পারে।
একাধিক জ্যামিতিক এম্বেডিং পদ্ধতি সম্প্রসারণ: উন্নতিগুলি ELEmbeddings, ELBE এবং Box2EL তিনটি প্রতিনিধিত্বমূলক পদ্ধতিতে প্রয়োগ করা হয়েছে, সর্বজনীনতা প্রমাণ করে।
জ্ঞান ভিত্তি সম্পূর্ণতা কাজ সংজ্ঞায়িত করা হয়: একটি EL++ অনটোলজি T দেওয়া, T এ যোগ করা উচিত এমন নতুন স্বতঃসিদ্ধগুলি পূর্বাভাস দিন। কাজটি আরও বিভক্ত করা যায়:
অনুমানমূলক সম্পূর্ণতা: অনুমানমূলক বন্ধ T⊢ এ কিন্তু T এ স্পষ্টভাবে অপ্রকাশিত স্বতঃসিদ্ধগুলি পূর্বাভাস দিন।
আবেগপূর্ণ সম্পূর্ণতা: অনুমানমূলক বন্ধে নেই এমন নতুন স্বতঃসিদ্ধগুলি পূর্বাভাস দিন।
এই পেপারটি অনুমানমূলক বন্ধের আনুমানিকতা গণনা করার জন্য দুটি অ্যালগরিদম প্রস্তাব করে:
অ্যালগরিদম 1: অনটোলজিতে স্পষ্টভাবে প্রতিনিধিত্ব করা স্বতঃসিদ্ধের উপর ভিত্তি করে, অনুমান নিয়মগুলি ব্যবহার করে নিহিত স্বতঃসিদ্ধগুলি অনুমান করুন। উদাহরণস্বরূপ:
A ⊓ B ⊑ E, A' ⊑ A, B' ⊑ B, E ⊑ E'
─────────────────────────────────────
A' ⊓ B' ⊑ E'
অ্যালগরিদম 2: যেকোনো ধারণা এবং ভূমিকা নামের উপর ভিত্তি করে, যুক্তিসঙ্গতভাবে অপরিহার্য স্বতঃসিদ্ধগুলি যোগ করুন, যেমন A⊓⊥⊑E।
পেপারটি 50টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, যা বর্ণনামূলক যুক্তি, অনটোলজি এম্বেডিং, জ্ঞান গ্রাফ সম্পূর্ণতা এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।