2025-11-21T19:10:17.554976

DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion

Mashkova, Zhapa-Camacho, Hoehndorf

Ontology embeddings map classes, roles, and individuals in ontologies into $\mathbb{R}^n$, and within $\mathbb{R}^n$ similarity between entities can be computed or new axioms inferred. For ontologies in the Description Logic $\mathcal{EL}^{++}$, several optimization-based embedding methods have been developed that explicitly generate models of an ontology. However, these methods suffer from some limitations; they do not distinguish between statements that are unprovable and provably false, and therefore they may use entailed statements as negatives. Furthermore, they do not utilize the deductive closure of an ontology to identify statements that are inferred but not asserted. We evaluated a set of embedding methods for $\mathcal{EL}^{++}$ ontologies, incorporating several modifications that aim to make use of the ontology deductive closure. In particular, we designed novel negative losses that account both for the deductive closure and different types of negatives and formulated evaluation methods for knowledge base completion. We demonstrate that our embedding methods improve over the baseline ontology embedding in the task of knowledge base or ontology completion.

academic

DELE: 知識ベース補完のための演繹的 $\mathcal{EL}^{++}$ 埋め込み

基本情報

論文ID: 2411.01574
タイトル: DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion
著者: Olga Mashkova, Fernando Zhapa-Camacho, Robert Hoehndorf
所属機関: King Abdullah University of Science and Technology (KAUST)
分類: cs.AI
会議: NeSy 2024 Special Issue
論文リンク: https://arxiv.org/abs/2411.01574

要約

本論文は、記述論理 $\mathcal{EL}^{++}$ のオントロジー埋め込み手法が知識ベース補完タスクにおいて抱える限界に対処するため、DELE（Deductive $\mathcal{EL}^{++}$ Embeddings）手法を提案している。既存の幾何学的埋め込み手法は明示的にオントロジーモデルを生成できるが、2つの重要な問題がある：(1)証明不可能な陳述と反証可能な陳述を区別できず、含意される陳述を負例として扱う可能性がある、(2)オントロジーの演繹的閉包を十分に活用して、推論されたが明示的に主張されていない陳述を識別していない。本論文は、新しい負損失関数と評価方法を設計することで、演繹的閉包を効果的に活用し、知識ベース補完性能を改善している。

研究背景と動機

問題定義

オントロジー埋め込みは、オントロジー内のクラス、ロール、および個体を $\mathbb{R}^n$ 空間にマッピングすることを目的としており、これにより実体間の類似性を計算したり、新しい公理を推論したりできる。 $\mathcal{EL}^{++}$ 記述論理に対しては、ELEmbeddings、ELBE、Box2ELなど、最適化に基づく複数の幾何学的埋め込み手法が存在する。

既存手法の限界

負例選択の問題：既存手法がランダムに負例を選択する際、オントロジーに含意される真の陳述を誤って負例として扱う可能性があり、モデル訓練の品質に影響する
演繹的閉包の活用不足：オントロジーの演繹的閉包、すなわちすべての導出可能な陳述の集合を十分に考慮していないため、推論済みと未主張の知識を効果的に区別できない
評価方法の限界：既存の評価方法は主に知識グラフ補完タスクに由来し、オントロジーに含まれる豊富な含意関係を考慮していない

研究動機

知識ベース補完は重要なタスクであり、知識ベースに追加すべきだが、まだ表現されていない公理を予測する必要がある。形式化された知識ベースの場合、これには演繹推論（含意される公理の予測）と帰納推論（新規の非含意公理の予測）の2つのタイプが含まれる。本論文は、演繹的閉包をより良く活用することで、幾何学的埋め込み手法を改善することを目指している。

核心的貢献

演繹的閉包を考慮した負損失関数の提案：すべての $\mathcal{EL}^{++}$ 標準形式に対して新しい負損失関数を設計し、含意される陳述を負例として扱うことを回避
高速近似演繹的閉包計算アルゴリズムの設計： $\mathcal{EL}^{++}$ 理論の演繹的閉包を計算するための健全なアルゴリズムを提案し、訓練過程における負例選択を改善
演繹的閉包を考慮した評価方法の策定：知識ベース補完タスク用に新しい評価指標を設計し、含意と非含意公理の予測性能を区別
複数の幾何学的埋め込み手法への拡張：改善をELEmbeddings、ELBE、Box2ELの3つの代表的手法に適用し、汎用性を実証

方法の詳細

タスク定義

知識ベース補完タスクは以下のように定義される： $\mathcal{EL}^{++}$ オントロジー $T$ が与えられたとき、 $T$ に追加すべき新しい公理を予測する。タスクはさらに以下に細分化される：

演繹的補完：演繹的閉包 $T^⊢$ に含まれるが $T$ に明示的に主張されていない公理を予測
帰納的補完：演繹的閉包に含まれない新規公理を予測

演繹的閉包の計算

標準化形式

$\mathcal{EL}^{++}$ 公理は7つの形式に標準化できる（表1参照）：

GCI0: $A \sqsubseteq B$
GCI1: $A \sqcap B \sqsubseteq E$
GCI2: $A \sqsubseteq \exists r.B$
GCI3: $\exists r.A \sqsubseteq B$
GCI0-BOT: $A \sqsubseteq \perp$
GCI1-BOT: $A \sqcap B \sqsubseteq \perp$
GCI3-BOT: $\exists r.A \sqsubseteq \perp$

演繹的閉包アルゴリズム

本論文は演繹的閉包の近似を計算するための2つのアルゴリズムを提案している：

アルゴリズム1：オントロジーに明示的に表現された公理に基づき、推論規則を使用して含意される公理を導出する。例えば：

A ⊓ B ⊑ E, A' ⊑ A, B' ⊑ B, E ⊑ E'
─────────────────────────────────────
         A' ⊓ B' ⊑ E'

アルゴリズム2：任意の概念とロール名に基づき、論理的に必然的に成立する公理（例： $A \sqcap \perp \sqsubseteq E$ ）を追加する。

負損失関数の設計

ELEmbeddings負損失

球形埋め込みに対して、6種類の新しい負損失関数を設計した：

GCI0負損失（GCI1-BOTに基づく）： $\text{loss}_{A \not\sqsubseteq B}(a,b) = \max(0, r_\eta(a) + r_\eta(b) - \|f_\eta(a) - f_\eta(b)\| + \gamma)$
GCI1負損失： $\text{loss}_{A \sqcap B \not\sqsubseteq E}(a,b,e) = \max(0, -r_\eta(a) - r_\eta(b) + \|f_\eta(a) - f_\eta(b)\| - \gamma) + \text{その他の項}$

同様にELBE（ボックス埋め込み）とBox2ELに対応する負損失関数を設計した。

負例フィルタリング

訓練過程中、ランダムに生成された負例に対してフィルタリングを実施する：

訓練オントロジーの演繹的閉包を計算
候補負例が演繹的閉包に含まれるかどうかを確認
閉包に含まれる場合、負例から削除

実験設定

データセット

Gene Ontology & STRINGデータ：
- タンパク質-タンパク質相互作用予測（PPI）
- タンパク質機能予測
- 酵母タンパク質データに基づく
Food Ontology：部分クラス関係予測用
GALEN Ontology：医学概念オントロジー、部分クラス関係予測用