2025-11-21T19:10:17.554976

DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion

Mashkova, Zhapa-Camacho, Hoehndorf
Ontology embeddings map classes, roles, and individuals in ontologies into $\mathbb{R}^n$, and within $\mathbb{R}^n$ similarity between entities can be computed or new axioms inferred. For ontologies in the Description Logic $\mathcal{EL}^{++}$, several optimization-based embedding methods have been developed that explicitly generate models of an ontology. However, these methods suffer from some limitations; they do not distinguish between statements that are unprovable and provably false, and therefore they may use entailed statements as negatives. Furthermore, they do not utilize the deductive closure of an ontology to identify statements that are inferred but not asserted. We evaluated a set of embedding methods for $\mathcal{EL}^{++}$ ontologies, incorporating several modifications that aim to make use of the ontology deductive closure. In particular, we designed novel negative losses that account both for the deductive closure and different types of negatives and formulated evaluation methods for knowledge base completion. We demonstrate that our embedding methods improve over the baseline ontology embedding in the task of knowledge base or ontology completion.
academic

DELE : Plongements Déductifs EL++\mathcal{EL}^{++} pour la Complétion de Bases de Connaissances

Informations Fondamentales

  • ID de l'article : 2411.01574
  • Titre : DELE: Deductive EL++\mathcal{EL}^{++} Embeddings for Knowledge Base Completion
  • Auteurs : Olga Mashkova, Fernando Zhapa-Camacho, Robert Hoehndorf
  • Institution : King Abdullah University of Science and Technology (KAUST)
  • Classification : cs.AI
  • Conférence : Numéro Spécial NeSy 2024
  • Lien de l'article : https://arxiv.org/abs/2411.01574

Résumé

Cet article propose la méthode DELE (Deductive EL++\mathcal{EL}^{++} Embeddings) pour remédier aux limitations des méthodes de plongement d'ontologies en logique de description EL++\mathcal{EL}^{++} dans les tâches de complétion de bases de connaissances. Bien que les méthodes géométriques existantes puissent générer explicitement des modèles d'ontologies, elles présentent deux problèmes critiques : (1) l'incapacité à distinguer les énoncés non prouvables des énoncés réfutables, risquant de traiter les énoncés impliqués comme des exemples négatifs ; (2) l'utilisation insuffisante de la fermeture déductive de l'ontologie pour identifier les énoncés déduits mais non affirmés. Cet article améliore les performances de complétion de bases de connaissances en concevant de nouvelles fonctions de perte négative et des méthodes d'évaluation qui exploitent efficacement la fermeture déductive.

Contexte et Motivation de la Recherche

Définition du Problème

Le plongement d'ontologies vise à mapper les classes, rôles et individus d'une ontologie dans l'espace Rn\mathbb{R}^n afin de calculer la similarité entre entités ou de déduire de nouveaux axiomes. Pour la logique de description EL++\mathcal{EL}^{++}, plusieurs méthodes géométriques basées sur l'optimisation existent, telles que ELEmbeddings, ELBE et Box2EL.

Limitations des Méthodes Existantes

  1. Problème de sélection des exemples négatifs : Lors de la sélection aléatoire d'exemples négatifs, les méthodes existantes peuvent traiter à tort les énoncés vrais impliqués par l'ontologie comme des exemples négatifs, affectant la qualité de l'entraînement du modèle
  2. Utilisation insuffisante de la fermeture déductive : La fermeture déductive, c'est-à-dire l'ensemble de tous les énoncés dérivables, n'est pas suffisamment prise en compte, empêchant une distinction efficace entre les connaissances déduites et les connaissances non affirmées
  3. Limitations des méthodes d'évaluation : Les méthodes d'évaluation existantes proviennent principalement des tâches de complétion de graphes de connaissances et ne tiennent pas compte des relations d'implication riches présentes dans les ontologies

Motivation de la Recherche

La complétion de bases de connaissances est une tâche importante qui nécessite de prédire les axiomes qui devraient être ajoutés à la base de connaissances mais qui ne sont pas encore représentés. Pour les bases de connaissances formalisées, cela inclut deux types : le raisonnement déductif (prédiction des axiomes impliqués) et le raisonnement inductif (prédiction de nouveaux axiomes non impliqués). Cet article vise à améliorer les méthodes géométriques de plongement en exploitant mieux la fermeture déductive.

Contributions Principales

  1. Proposition de fonctions de perte négative tenant compte de la fermeture déductive : Conception de nouvelles fonctions de perte négative pour toutes les formes standard EL++\mathcal{EL}^{++}, évitant de traiter les énoncés impliqués comme des exemples négatifs
  2. Conception d'un algorithme rapide d'approximation du calcul de la fermeture déductive : Proposition d'un algorithme correct pour calculer la fermeture déductive théorique de EL++\mathcal{EL}^{++}, utilisé pour améliorer la sélection des exemples négatifs lors de l'entraînement
  3. Formulation de méthodes d'évaluation tenant compte de la fermeture déductive : Conception de nouvelles métriques d'évaluation pour les tâches de complétion de bases de connaissances, capable de distinguer les performances de prédiction entre axiomes impliqués et non impliqués
  4. Extension de plusieurs méthodes géométriques de plongement : Application des améliorations à trois méthodes représentatives (ELEmbeddings, ELBE et Box2EL), démontrant l'universalité de l'approche

Détails de la Méthode

Définition de la Tâche

La tâche de complétion de bases de connaissances est définie comme suit : étant donnée une ontologie EL++\mathcal{EL}^{++} TT, prédire les nouveaux axiomes qui devraient être ajoutés à TT. La tâche peut être subdivisée en :

  • Complétion déductive : Prédiction des axiomes dans la fermeture déductive T⊢T^⊢ mais non explicitement affirmés dans TT
  • Complétion inductive : Prédiction de nouveaux axiomes non présents dans la fermeture déductive

Calcul de la Fermeture Déductive

Formes Normalisées

Les axiomes EL++\mathcal{EL}^{++} peuvent être normalisés en sept formes (voir tableau 1) :

  • GCI0: A⊑BA \sqsubseteq B
  • GCI1: A⊓B⊑EA \sqcap B \sqsubseteq E
  • GCI2: A⊑∃r.BA \sqsubseteq \exists r.B
  • GCI3: ∃r.A⊑B\exists r.A \sqsubseteq B
  • GCI0-BOT: A⊑⊥A \sqsubseteq \perp
  • GCI1-BOT: A⊓B⊑⊥A \sqcap B \sqsubseteq \perp
  • GCI3-BOT: ∃r.A⊑⊥\exists r.A \sqsubseteq \perp

Algorithme de Fermeture Déductive

Cet article propose deux algorithmes pour calculer une approximation de la fermeture déductive :

Algorithme 1 : Basé sur les axiomes explicitement représentés dans l'ontologie, utilisant des règles d'inférence pour déduire les axiomes impliqués. Par exemple :

A ⊓ B ⊑ E, A' ⊑ A, B' ⊑ B, E ⊑ E'
─────────────────────────────────────
         A' ⊓ B' ⊑ E'

Algorithme 2 : Basé sur des noms de concepts et de rôles arbitraires, ajoutant les axiomes logiquement nécessaires, tels que A⊓⊥⊑EA \sqcap \perp \sqsubseteq E.

Conception de la Fonction de Perte Négative

Perte Négative ELEmbeddings

Pour les plongements sphériques, six nouvelles fonctions de perte négative ont été conçues :

  1. Perte Négative GCI0 (basée sur GCI1-BOT) : lossA⋢B(a,b)=max⁡(0,rη(a)+rη(b)−∥fη(a)−fη(b)∥+γ)\text{loss}_{A \not\sqsubseteq B}(a,b) = \max(0, r_\eta(a) + r_\eta(b) - \|f_\eta(a) - f_\eta(b)\| + \gamma)
  2. Perte Négative GCI1 : lossA⊓B⋢E(a,b,e)=max⁡(0,−rη(a)−rη(b)+∥fη(a)−fη(b)∥−γ)+autres termes\text{loss}_{A \sqcap B \not\sqsubseteq E}(a,b,e) = \max(0, -r_\eta(a) - r_\eta(b) + \|f_\eta(a) - f_\eta(b)\| - \gamma) + \text{autres termes}

Des fonctions de perte négative correspondantes ont été conçues de manière similaire pour ELBE (plongement en boîtes) et Box2EL.

Filtrage des Exemples Négatifs

Pendant l'entraînement, les exemples négatifs générés aléatoirement sont filtrés :

  1. Calcul de la fermeture déductive de l'ontologie d'entraînement
  2. Vérification si les exemples négatifs candidats se trouvent dans la fermeture déductive
  3. Si présents dans la fermeture, suppression des exemples négatifs

Configuration Expérimentale

Ensembles de Données

  1. Données Gene Ontology & STRING :
    • Prédiction d'interactions protéine-protéine (PPI)
    • Prédiction de fonctions protéiques
    • Basées sur des données de protéines de levure
  2. Ontologie Alimentaire : Utilisée pour la prédiction de relations de sous-classe
  3. Ontologie GALEN : Ontologie de concepts médicaux, utilisée pour la prédiction de relations de sous-classe

Métriques d'Évaluation

  • Hits@n (n=10,100) : Précision des n premiers classements
  • Mean Rank (MR) : Classement moyen (macro et micro)
  • AUC ROC : Aire sous la courbe ROC
  • Métriques filtrées : Métriques après suppression des axiomes dans l'ensemble d'entraînement et la fermeture déductive

Méthodes de Comparaison

  • Méthodes de base : ELEmbeddings, ELBE, Box2EL originaux
  • Versions améliorées :
    • +l : Ajout de pertes négatives pour toutes les formes standard
    • +l+n : Ajout de pertes négatives et filtrage des exemples négatifs

Détails d'Implémentation

  • Utilisation de la bibliothèque mOWL
  • Nombre d'itérations d'entraînement : 2000 pour les données STRING & GO, 800 pour les données Food & GALEN
  • Taille de lot : 32 768
  • Optimiseur : Adam, planificateur de taux d'apprentissage : ReduceLROnPlateau
  • Hyperparamètres déterminés par recherche en grille

Résultats Expérimentaux

Résultats Principaux

Prédiction d'Interactions Protéine-Protéine (Tableau 4)

  • ELEmbeddings+l+n : Hits@10 amélioré de 0,05 à 0,06, Hits@100 amélioré de 0,31 à 0,37
  • Box2EL+l+n : Réduction significative du classement moyen tout en maintenant les performances Hits@100

Prédiction de Fonctions Protéiques (Tableau 3)

  • Box2EL : Meilleures performances avec Hits@10 atteignant 0,28 et AUC atteignant 0,96
  • Après ajout de pertes négatives, l'AUC d'ELEmbeddings et ELBE s'est amélioré

Prédiction de Relations de Sous-classe

  • Ontologie Alimentaire (Tableau 5) : ELBE+l amélioré de 0,01 à 0,04 en Hits@10
  • Ontologie GALEN (Tableau 6) : Toutes les méthodes ont montré des améliorations en métriques Hits@n après ajout de pertes négatives

Études d'Ablation

Effet du Filtrage des Exemples Négatifs

Grâce à des expériences biaisées sur l'Ontologie Alimentaire (Figure 3) :

  • La réduction de la proportion d'axiomes impliqués dans les exemples négatifs améliore continuellement les performances
  • L'effet du filtrage est plus prononcé lorsque la proportion d'axiomes impliqués dans les exemples négatifs est élevée

Analyse de Visualisation

La visualisation des plongements 2D (Figures 1-2) montre :

  • Après ajout de toutes les pertes négatives, le modèle préserve mieux la structure logique de l'ontologie
  • Le filtrage des exemples négatifs aide à construire des modèles géométriques plus fidèles

Analyse des Métriques Filtrées

En comparant les différences de métriques avant et après filtrage (colonnes NF-F) :

  • Les méthodes améliorées priorisent la prédiction des axiomes impliqués
  • Cela indique que le modèle construit une représentation d'ontologie plus précise

Travaux Connexes

Plongements d'Ontologies Basés sur Graphes

  • Projection d'ontologies en structures graphiques, utilisant Word2Vec ou des méthodes de plongement de graphes de connaissances
  • Avantages : Capacité à traiter les informations de voisinage
  • Inconvénients : Difficulté à traiter les opérateurs logiques, incapacité à approximer les modèles d'ontologies

Plongements Géométriques d'Ontologies

  • ELEmbeddings : Représentation de concepts utilisant des hypersphères
  • ELBE/BoxEL : Utilisation de boîtes alignées sur les axes, support des opérations d'intersection
  • Box2EL : Représentation des rôles utilisant deux boîtes pour le domaine et la portée
  • EmEL++/EmELvar : Extension pour traiter les chaînes de rôles et l'inclusion de rôles

Méthodes de Complétion de Bases de Connaissances

  • Méthodes basées sur les grands modèles de langage (HalTon, raisonnement en langage naturel, etc.)
  • Méthodes de prédiction de liens basées sur la structure graphique
  • Méthodes de plongement d'ontologies basées sur les matrices

Conclusions et Discussion

Conclusions Principales

  1. Importance de la fermeture déductive : L'exploitation complète de la fermeture déductive peut améliorer significativement les performances des méthodes géométriques de plongement
  2. Impact de la qualité des exemples négatifs : Éviter de traiter les énoncés impliqués comme des exemples négatifs est crucial pour l'entraînement du modèle
  3. Amélioration des méthodes d'évaluation : Les méthodes d'évaluation tenant compte de la fermeture déductive peuvent mieux refléter la capacité de complétion de bases de connaissances du modèle
  4. Universalité de la méthode : Les stratégies d'amélioration s'appliquent à plusieurs méthodes géométriques de plongement

Limitations

  1. Complexité de calcul : Le calcul de la fermeture déductive peut présenter des problèmes d'efficacité sur les ontologies à grande échelle
  2. Algorithme d'approximation : L'algorithme de fermeture déductive proposé est correct mais incomplet
  3. Limitations d'évaluation : Les métriques d'évaluation existantes restent basées sur le classement d'axiomes individuels, sans tenir compte de la similarité sémantique
  4. Portée d'application : Principalement orienté vers EL++\mathcal{EL}^{++}, avec une extensibilité limitée aux logiques de description plus expressives

Directions Futures

  1. Développement d'algorithmes plus efficaces pour le calcul de la fermeture déductive
  2. Conception de métriques d'évaluation tenant compte de la similarité sémantique
  3. Extension à des logiques de description plus expressives
  4. Construction de plus de jeux de données de référence pour la complétion de bases de connaissances

Évaluation Approfondie

Points Forts

  1. Identification précise du problème : Identification exacte des problèmes clés des méthodes existantes en matière de sélection d'exemples négatifs et d'utilisation de la fermeture déductive
  2. Conception méthodologique rationnelle : Les fonctions de perte négative et les stratégies de filtrage proposées sont théoriquement bien motivées
  3. Expériences complètes : Validation de l'efficacité de la méthode sur plusieurs ensembles de données et tâches, incluant l'analyse de visualisation
  4. Contributions théoriques : Fourniture d'un algorithme correct pour le calcul de la fermeture déductive, ayant une valeur théorique
  5. Forte universalité : Les stratégies d'amélioration s'appliquent à plusieurs méthodes géométriques de plongement

Insuffisances

  1. Améliorations de performance limitées : Les améliorations sur certaines tâches sont modestes, pouvant ne pas justifier la complexité supplémentaire
  2. Surcharge de calcul : Le calcul de la fermeture déductive et le filtrage des exemples négatifs augmentent le temps d'entraînement, mais l'article n'analyse pas suffisamment cette surcharge
  3. Ensembles de données de référence : Les ensembles de données utilisés sont relativement petits, l'efficacité des applications à grande échelle reste à vérifier
  4. Comparaisons insuffisantes : Manque de comparaisons avec les méthodes récentes de complétion de bases de connaissances basées sur les LLM

Impact

  1. Valeur académique : Fournit des idées d'amélioration importantes pour le domaine des plongements géométriques d'ontologies
  2. Valeur pratique : Les méthodes améliorées peuvent être directement appliquées à la complétion de bases de connaissances dans les domaines biomédicaux
  3. Reproductibilité : Le code et les données sont publiquement disponibles, facilitant la reproduction et l'extension

Scénarios d'Application

  1. Bases de connaissances formalisées : Particulièrement adaptées aux ontologies avec des structures logiques riches
  2. Domaine biomédical : Performances satisfaisantes dans les tâches telles que la prédiction de fonctions de gènes et de protéines
  3. Applications nécessitant l'explicabilité : Les plongements géométriques fournissent des structures de modèles explicables

Références

L'article cite 50 articles connexes, couvrant les travaux importants dans les domaines de la logique de description, des plongements d'ontologies et de la complétion de graphes de connaissances, fournissant une base théorique solide pour la recherche.