DELE: Incrustaciones Deductivas $\mathcal{EL}^{++}$ para Completación de Bases de Conocimiento

Información Básica

• ID del Artículo: 2411.01574
• Título: DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion
• Autores: Olga Mashkova, Fernando Zhapa-Camacho, Robert Hoehndorf
• Institución: King Abdullah University of Science and Technology (KAUST)
• Clasificación: cs.AI
• Conferencia: NeSy 2024 Special Issue
• Enlace del Artículo: https://arxiv.org/abs/2411.01574

Resumen

Este artículo aborda las limitaciones de los métodos de incrustación de ontologías para la lógica descriptiva $\mathcal{EL}^{++}$ en tareas de completación de bases de conocimiento, proponiendo el método DELE (Incrustaciones Deductivas $\mathcal{EL}^{++}$). Aunque los métodos geométricos existentes pueden generar explícitamente modelos de ontologías, presentan dos problemas críticos: (1) no pueden distinguir entre enunciados no demostrables y enunciados refutables, pudiendo utilizar enunciados implicados como muestras negativas; (2) no aprovechan suficientemente la clausura deductiva de la ontología para identificar enunciados inferidos pero no asertados. Este artículo mejora el rendimiento de la completación de bases de conocimiento mediante el diseño de nuevas funciones de pérdida negativa y métodos de evaluación que aprovechan efectivamente la clausura deductiva.

Antecedentes de Investigación y Motivación

Definición del Problema

La incrustación de ontologías tiene como objetivo mapear clases, roles e individuos de una ontología al espacio $\mathbb{R}^n$ para calcular similitud entre entidades o inferir nuevos axiomas. Para la lógica descriptiva $\mathcal{EL}^{++}$, existen varios métodos de incrustación geométrica basados en optimización, como ELEmbeddings, ELBE y Box2EL.

Limitaciones de Métodos Existentes

1. Problema de Selección de Muestras Negativas: Los métodos existentes pueden seleccionar aleatoriamente muestras negativas que incluyan enunciados verdaderos implicados en la ontología como ejemplos negativos, afectando la calidad del entrenamiento del modelo.
2. Aprovechamiento Insuficiente de la Clausura Deductiva: No se considera adecuadamente la clausura deductiva de la ontología, es decir, el conjunto de todos los enunciados derivables, lo que impide distinguir efectivamente entre conocimiento ya inferido y conocimiento no asertado.
3. Limitaciones en Métodos de Evaluación: Los métodos de evaluación existentes provienen principalmente de tareas de completación de grafos de conocimiento, sin considerar las relaciones de implicación ricas presentes en ontologías.

Motivación de la Investigación

La completación de bases de conocimiento es una tarea importante que requiere predecir axiomas que deberían agregarse a la base de conocimiento pero aún no están representados. Para bases de conocimiento formalizadas, esto incluye dos tipos: razonamiento deductivo (predicción de axiomas implicados) y razonamiento inductivo (predicción de axiomas nuevos no implicados). Este artículo tiene como objetivo mejorar los métodos de incrustación geométrica mediante un mejor aprovechamiento de la clausura deductiva.

Contribuciones Principales

1. Propuesta de Funciones de Pérdida Negativa Considerando la Clausura Deductiva: Se diseñaron nuevas funciones de pérdida negativa para todas las formas estándar de $\mathcal{EL}^{++}$, evitando utilizar enunciados implicados como muestras negativas.
2. Diseño de Algoritmo Rápido de Aproximación para Cálculo de Clausura Deductiva: Se propuso un algoritmo correcto para calcular la clausura deductiva de teorías $\mathcal{EL}^{++}$, mejorando la selección de muestras negativas durante el entrenamiento.
3. Formulación de Método de Evaluación Considerando la Clausura Deductiva: Se diseñaron nuevas métricas de evaluación para tareas de completación de bases de conocimiento que pueden distinguir el rendimiento predictivo entre axiomas implicados y no implicados.
4. Extensión de Múltiples Métodos de Incrustación Geométrica: Se aplicaron las mejoras a tres métodos representativos: ELEmbeddings, ELBE y Box2EL, demostrando la generalidad del enfoque.

Detalles del Método

Definición de la Tarea

La tarea de completación de bases de conocimiento se define como: dado una ontología $\mathcal{EL}^{++}$ $T$, predecir nuevos axiomas que deberían agregarse a $T$. La tarea se subdivide además en:

• Completación Deductiva: Predicción de axiomas en la clausura deductiva $T^⊢$ pero no explícitamente asertados en $T$.
• Completación Inductiva: Predicción de axiomas nuevos no presentes en la clausura deductiva.

Cálculo de la Clausura Deductiva

Formas Estándar

Los axiomas $\mathcal{EL}^{++}$ pueden normalizarse en siete formas (véase Tabla 1):

• GCI0: $A \sqsubseteq B$
• GCI1: $A \sqcap B \sqsubseteq E$
• GCI2: $A \sqsubseteq \exists r.B$
• GCI3: $\exists r.A \sqsubseteq B$
• GCI0-BOT: $A \sqsubseteq \perp$
• GCI1-BOT: $A \sqcap B \sqsubseteq \perp$
• GCI3-BOT: $\exists r.A \sqsubseteq \perp$

Algoritmo de Clausura Deductiva

Se proponen dos algoritmos para calcular aproximaciones de la clausura deductiva:

Algoritmo 1: Basado en axiomas explícitamente representados en la ontología, utiliza reglas de inferencia para derivar axiomas implicados. Por ejemplo:

A ⊓ B ⊑ E, A' ⊑ A, B' ⊑ B, E ⊑ E'
─────────────────────────────────────
         A' ⊓ B' ⊑ E'

Algoritmo 2: Basado en nombres de conceptos y roles arbitrarios, añade axiomas lógicamente necesarios, como $A \sqcap \perp \sqsubseteq E$.

Diseño de Función de Pérdida Negativa

Pérdida Negativa de ELEmbeddings

Para incrustaciones esféricas, se diseñaron seis nuevas funciones de pérdida negativa:

1. Pérdida Negativa GCI0 (basada en GCI1-BOT): $\text{loss}_{A \not\sqsubseteq B}(a,b) = \max(0, r_\eta(a) + r_\eta(b) - \|f_\eta(a) - f_\eta(b)\| + \gamma)$
2. Pérdida Negativa GCI1: $\text{loss}_{A \sqcap B \not\sqsubseteq E}(a,b,e) = \max(0, -r_\eta(a) - r_\eta(b) + \|f_\eta(a) - f_\eta(b)\| - \gamma) + \text{otros términos}$

De manera similar, se diseñaron funciones de pérdida negativa correspondientes para ELBE (incrustación de cajas) y Box2EL.

Filtrado de Muestras Negativas

Durante el proceso de entrenamiento, se filtran las muestras negativas generadas aleatoriamente:

1. Se calcula la clausura deductiva de la ontología de entrenamiento.
2. Se verifica si las muestras negativas candidatas están en la clausura deductiva.
3. Si están en la clausura, se eliminan de las muestras negativas.

Configuración Experimental

Conjuntos de Datos

1. Datos de Gene Ontology & STRING:
   • Predicción de interacción proteína-proteína (PPI)
   • Predicción de función proteica
   • Basado en datos de proteínas de levadura
2. Ontología de Alimentos: Utilizada para predicción de relaciones de subclase
3. Ontología GALEN: Ontología de conceptos médicos, utilizada para predicción de relaciones de subclase

Métricas de Evaluación

• Hits@n (n=10,100): Precisión en los primeros n resultados
• Mean Rank (MR): Rango promedio (macro y micro)
• AUC ROC: Área bajo la curva ROC
• Métricas Filtradas: Métricas después de eliminar axiomas en el conjunto de entrenamiento y clausura deductiva

Métodos de Comparación

• Métodos Base: ELEmbeddings, ELBE y Box2EL originales
• Versiones Mejoradas:
  • +l: Adición de pérdida negativa para todas las formas estándar
  • +l+n: Adición de pérdida negativa y filtrado de muestras negativas

Detalles de Implementación

• Implementación usando biblioteca mOWL
• Épocas de entrenamiento: 2000 para datos STRING & GO, 800 para datos Food & GALEN
• Tamaño de lote: 32,768
• Optimizador: Adam, Planificador de tasa de aprendizaje: ReduceLROnPlateau
• Hiperparámetros determinados mediante búsqueda en cuadrícula

Resultados Experimentales

Resultados Principales

Predicción de Interacción Proteína-Proteína (Tabla 4)

• ELEmbeddings+l+n: Hits@10 mejoró de 0.05 a 0.06, Hits@100 mejoró de 0.31 a 0.37
• Box2EL+l+n: Manteniendo el rendimiento de Hits@100, se redujo significativamente el rango promedio

Predicción de Función Proteica (Tabla 3)

• Box2EL mostró el mejor rendimiento: Hits@10 alcanzó 0.28, AUC alcanzó 0.96
• Después de añadir pérdida negativa, el AUC de ELEmbeddings y ELBE mejoró

Predicción de Relaciones de Subclase

• Ontología de Alimentos (Tabla 5): ELBE+l mejoró de 0.01 a 0.04 en Hits@10
• Ontología GALEN (Tabla 6): Todos los métodos mejoraron en métricas Hits@n después de añadir pérdida negativa

Experimentos de Ablación

Efecto del Filtrado de Muestras Negativas

Mediante experimentos de sesgo en Ontología de Alimentos (Figura 3) se descubrió:

• Reducir la proporción de axiomas implicados en muestras negativas mejora continuamente el rendimiento
• El efecto del filtrado es más pronunciado cuando la proporción de axiomas implicados en muestras negativas es alta

Análisis de Visualización

La visualización de incrustación 2D (Figuras 1-2) muestra:

• Después de añadir todas las pérdidas negativas, el modelo preserva mejor la estructura lógica de la ontología
• El filtrado de muestras negativas ayuda a construir modelos geométricos más fieles

Análisis de Métricas Filtradas

Comparando diferencias en métricas antes y después del filtrado (columnas NF-F) se descubrió:

• El método mejorado prioriza la predicción de axiomas implicados
• Esto indica que el modelo construye un modelo de ontología más preciso

Trabajo Relacionado

Incrustación de Ontologías Basada en Grafos

• Proyecta la ontología como estructura de grafo, utilizando Word2Vec o métodos de incrustación de grafos de conocimiento
• Ventajas: Puede manejar información de adyacencia
• Desventajas: Difícil de manejar operadores lógicos, no puede aproximar modelos de ontología

Incrustación Geométrica de Ontologías

• ELEmbeddings: Utiliza hiperesferas para representar conceptos
• ELBE/BoxEL: Utiliza cajas alineadas con ejes, soporta operaciones de intersección
• Box2EL: Utiliza dos cajas para representar dominio y rango de roles
• EmEL++/EmELvar: Extiende para manejar cadenas de roles e inclusión de roles

Métodos de Completación de Bases de Conocimiento

• Métodos basados en modelos de lenguaje grande (HalTon, razonamiento en lenguaje natural, etc.)
• Métodos de predicción de enlaces basados en estructura de grafos
• Métodos de incrustación de ontologías basados en matrices

Conclusiones y Discusión

Conclusiones Principales

1. Importancia de la Clausura Deductiva: Aprovechar adecuadamente la clausura deductiva puede mejorar significativamente el rendimiento de los métodos de incrustación geométrica.
2. Impacto de la Calidad de Muestras Negativas: Evitar utilizar enunciados implicados como muestras negativas es crucial para el entrenamiento del modelo.
3. Mejora en Métodos de Evaluación: Los métodos de evaluación que consideran la clausura deductiva pueden reflejar más precisamente la capacidad de completación de bases de conocimiento del modelo.
4. Generalidad del Método: La estrategia de mejora es aplicable a múltiples métodos de incrustación geométrica.

Limitaciones

1. Complejidad Computacional: El cálculo de la clausura deductiva puede presentar problemas de eficiencia en ontologías a gran escala.
2. Algoritmo de Aproximación: El algoritmo de clausura deductiva propuesto es correcto pero no completo.
3. Limitaciones de Evaluación: Las métricas de evaluación existentes aún se basan en clasificación de axiomas individuales, sin considerar similitud semántica.
4. Rango de Aplicabilidad: Se enfoca principalmente en $\mathcal{EL}^{++}$, con extensibilidad limitada a lógicas descriptivas más expresivas.

Direcciones Futuras

1. Desarrollar algoritmos más eficientes para cálculo de clausura deductiva
2. Diseñar métricas de evaluación que consideren similitud semántica
3. Extender a lógicas descriptivas más expresivas
4. Construir más conjuntos de datos de referencia para completación de bases de conocimiento

Evaluación Profunda

Fortalezas

1. Identificación Precisa del Problema: Identifica con precisión los problemas clave en métodos existentes respecto a selección de muestras negativas y aprovechamiento de clausura deductiva.
2. Diseño Razonable del Método: Las funciones de pérdida negativa y estrategias de filtrado propuestas tienen motivación teórica suficiente.
3. Experimentación Completa: Valida la efectividad del método en múltiples conjuntos de datos y tareas, incluyendo análisis de visualización.
4. Contribución Teórica: Proporciona un algoritmo correcto para cálculo de clausura deductiva con valor teórico.
5. Generalidad Fuerte: La estrategia de mejora es aplicable a múltiples métodos de incrustación geométrica.

Insuficiencias

1. Mejora de Rendimiento Limitada: En algunas tareas, la mejora es marginal, posiblemente insuficiente para justificar la complejidad adicional.
2. Costo Computacional: El cálculo de clausura deductiva y filtrado de muestras negativas aumentan el tiempo de entrenamiento, pero el artículo no analiza suficientemente esta sobrecarga.
3. Conjuntos de Datos de Referencia: Los conjuntos de datos utilizados tienen escala relativamente pequeña, con efectividad en aplicaciones a gran escala por verificar.
4. Comparación Insuficiente: Falta comparación con métodos recientes de completación de bases de conocimiento basados en LLM.

Impacto

1. Valor Académico: Proporciona ideas de mejora importantes para el campo de incrustación geométrica de ontologías.
2. Valor Práctico: Los métodos mejorados pueden aplicarse directamente a completación de bases de conocimiento en campos como biomedicina.
3. Reproducibilidad: Código y datos están disponibles públicamente, facilitando reproducción y extensión.

Escenarios de Aplicación

1. Bases de Conocimiento Formalizadas: Particularmente adecuado para ontologías con estructura lógica rica.
2. Campo Biomédico: Muestra buen rendimiento en tareas como predicción de función de genes y proteínas.
3. Aplicaciones que Requieren Interpretabilidad: Las incrustaciones geométricas proporcionan estructura de modelo interpretable.

Referencias

El artículo cita 50 referencias relacionadas, cubriendo trabajos importantes en lógica descriptiva, incrustación de ontologías, completación de grafos de conocimiento y campos relacionados, proporcionando una base teórica sólida para la investigación.