2025-11-21T19:10:17.554976

DELE: Deductive $\mathcal{EL}^{++}$ Embeddings for Knowledge Base Completion

Mashkova, Zhapa-Camacho, Hoehndorf
Ontology embeddings map classes, roles, and individuals in ontologies into $\mathbb{R}^n$, and within $\mathbb{R}^n$ similarity between entities can be computed or new axioms inferred. For ontologies in the Description Logic $\mathcal{EL}^{++}$, several optimization-based embedding methods have been developed that explicitly generate models of an ontology. However, these methods suffer from some limitations; they do not distinguish between statements that are unprovable and provably false, and therefore they may use entailed statements as negatives. Furthermore, they do not utilize the deductive closure of an ontology to identify statements that are inferred but not asserted. We evaluated a set of embedding methods for $\mathcal{EL}^{++}$ ontologies, incorporating several modifications that aim to make use of the ontology deductive closure. In particular, we designed novel negative losses that account both for the deductive closure and different types of negatives and formulated evaluation methods for knowledge base completion. We demonstrate that our embedding methods improve over the baseline ontology embedding in the task of knowledge base or ontology completion.
academic

DELE: Дедуктивные встраивания EL++\mathcal{EL}^{++} для пополнения базы знаний

Основная информация

  • ID статьи: 2411.01574
  • Название: DELE: Deductive EL++\mathcal{EL}^{++} Embeddings for Knowledge Base Completion
  • Авторы: Olga Mashkova, Fernando Zhapa-Camacho, Robert Hoehndorf
  • Учреждение: King Abdullah University of Science and Technology (KAUST)
  • Категория: cs.AI
  • Конференция: NeSy 2024 Special Issue
  • Ссылка на статью: https://arxiv.org/abs/2411.01574

Аннотация

В данной работе предлагается метод DELE (Deductive EL++\mathcal{EL}^{++} Embeddings) для решения проблем методов встраивания онтологий описательной логики EL++\mathcal{EL}^{++} при пополнении баз знаний. Существующие геометрические методы встраивания, хотя и способны явно генерировать модели онтологий, имеют два критических недостатка: (1) неспособность различать недоказуемые и опровергаемые утверждения, что может привести к использованию подразумеваемых утверждений в качестве отрицательных примеров; (2) недостаточное использование дедуктивного замыкания онтологии для выявления выведенных, но не явно утвержденных утверждений. В работе предлагаются новые функции потерь для отрицательных примеров и методы оценки, которые эффективно используют дедуктивное замыкание для улучшения производительности пополнения баз знаний.

Исследовательский контекст и мотивация

Определение задачи

Встраивание онтологий направлено на отображение классов, ролей и индивидов из онтологии в пространство Rn\mathbb{R}^n с целью вычисления сходства между сущностями или вывода новых аксиом. Для описательной логики EL++\mathcal{EL}^{++} существуют различные методы геометрического встраивания на основе оптимизации, такие как ELEmbeddings, ELBE и Box2EL.

Ограничения существующих методов

  1. Проблема выбора отрицательных примеров: При случайном выборе отрицательных примеров существующие методы могут ошибочно использовать истинные утверждения, подразумеваемые онтологией, в качестве отрицательных примеров, что влияет на качество обучения модели
  2. Недостаточное использование дедуктивного замыкания: Недостаточное учитывание дедуктивного замыкания онтологии, то есть множества всех выводимых утверждений, препятствует эффективному различению выведенного и не утвержденного знания
  3. Ограничения методов оценки: Существующие методы оценки в основном заимствованы из задач пополнения графов знаний и не учитывают богатые отношения следствия в онтологиях

Исследовательская мотивация

Пополнение базы знаний является важной задачей, требующей предсказания аксиом, которые должны быть добавлены в базу знаний, но еще не представлены. Для формализованных баз знаний это включает два типа рассуждений: дедуктивные (предсказание подразумеваемых аксиом) и индуктивные (предсказание новых, не подразумеваемых аксиом). Целью данной работы является улучшение методов геометрического встраивания путем лучшего использования дедуктивного замыкания.

Основные вклады

  1. Предложены функции потерь для отрицательных примеров с учетом дедуктивного замыкания: Разработаны новые функции потерь для всех стандартных форм EL++\mathcal{EL}^{++}, которые избегают использования подразумеваемых утверждений в качестве отрицательных примеров
  2. Разработан быстрый алгоритм приближенного вычисления дедуктивного замыкания: Предложен корректный алгоритм вычисления дедуктивного замыкания теории EL++\mathcal{EL}^{++} для улучшения выбора отрицательных примеров в процессе обучения
  3. Разработаны методы оценки с учетом дедуктивного замыкания: Предложены новые метрики оценки для задачи пополнения баз знаний, способные различать производительность предсказания подразумеваемых и не подразумеваемых аксиом
  4. Расширены различные методы геометрического встраивания: Предложенные улучшения применены к трем репрезентативным методам: ELEmbeddings, ELBE и Box2EL, что демонстрирует универсальность подхода

Подробное описание метода

Определение задачи

Задача пополнения базы знаний определяется как: дана онтология EL++\mathcal{EL}^{++} TT, предсказать новые аксиомы, которые должны быть добавлены в TT. Задача может быть дополнительно разделена на:

  • Дедуктивное пополнение: предсказание аксиом, находящихся в дедуктивном замыкании T⊢T^⊢, но не явно утвержденных в TT
  • Индуктивное пополнение: предсказание новых аксиом, не находящихся в дедуктивном замыкании

Вычисление дедуктивного замыкания

Стандартизированные формы

Аксиомы EL++\mathcal{EL}^{++} могут быть стандартизированы в семь форм (см. таблицу 1):

  • GCI0: A⊑BA \sqsubseteq B
  • GCI1: A⊓B⊑EA \sqcap B \sqsubseteq E
  • GCI2: A⊑∃r.BA \sqsubseteq \exists r.B
  • GCI3: ∃r.A⊑B\exists r.A \sqsubseteq B
  • GCI0-BOT: A⊑⊥A \sqsubseteq \perp
  • GCI1-BOT: A⊓B⊑⊥A \sqcap B \sqsubseteq \perp
  • GCI3-BOT: ∃r.A⊑⊥\exists r.A \sqsubseteq \perp

Алгоритм вычисления дедуктивного замыкания

В работе предложены два алгоритма для вычисления приближения дедуктивного замыкания:

Алгоритм 1: На основе явно представленных в онтологии аксиом используются правила вывода для получения подразумеваемых аксиом. Например:

A ⊓ B ⊑ E, A' ⊑ A, B' ⊑ B, E ⊑ E'
─────────────────────────────────────
         A' ⊓ B' ⊑ E'

Алгоритм 2: На основе произвольных имен концепций и ролей добавляются логически необходимые аксиомы, такие как A⊓⊥⊑EA \sqcap \perp \sqsubseteq E.

Проектирование функций потерь для отрицательных примеров

Функция потерь для отрицательных примеров в ELEmbeddings

Для сферических встраиваний разработаны шесть новых функций потерь для отрицательных примеров:

  1. Функция потерь GCI0 (на основе GCI1-BOT): lossA⋢B(a,b)=max⁡(0,rη(a)+rη(b)−∥fη(a)−fη(b)∥+γ)\text{loss}_{A \not\sqsubseteq B}(a,b) = \max(0, r_\eta(a) + r_\eta(b) - \|f_\eta(a) - f_\eta(b)\| + \gamma)
  2. Функция потерь GCI1: lossA⊓B⋢E(a,b,e)=max⁡(0,−rη(a)−rη(b)+∥fη(a)−fη(b)∥−γ)+другие члены\text{loss}_{A \sqcap B \not\sqsubseteq E}(a,b,e) = \max(0, -r_\eta(a) - r_\eta(b) + \|f_\eta(a) - f_\eta(b)\| - \gamma) + \text{другие члены}

Аналогичным образом разработаны соответствующие функции потерь для ELBE (встраивания в виде ящиков) и Box2EL.

Фильтрация отрицательных примеров

В процессе обучения случайно генерируемые отрицательные примеры подвергаются фильтрации:

  1. Вычисляется дедуктивное замыкание обучающей онтологии
  2. Проверяется, находятся ли кандидаты в отрицательные примеры в дедуктивном замыкании
  3. Если находятся в замыкании, они удаляются из отрицательных примеров

Экспериментальная установка

Наборы данных

  1. Данные Gene Ontology & STRING:
    • Предсказание взаимодействия белок-белок (PPI)
    • Предсказание функции белка
    • На основе данных белков дрожжей
  2. Food Ontology: используется для предсказания отношений подклассов
  3. GALEN Ontology: медицинская онтология концепций для предсказания отношений подклассов

Метрики оценки

  • Hits@n (n=10,100): точность в топ-n
  • Mean Rank (MR): средний ранг (макро и микро)
  • AUC ROC: площадь под кривой ROC
  • Отфильтрованные метрики: метрики после удаления аксиом из обучающего набора и дедуктивного замыкания

Методы сравнения

  • Базовые методы: оригинальные ELEmbeddings, ELBE, Box2EL
  • Улучшенные версии:
    • +l: добавление функций потерь для всех стандартных форм
    • +l+n: добавление функций потерь и фильтрация отрицательных примеров

Детали реализации

  • Использована библиотека mOWL
  • Количество эпох обучения: 2000 для данных STRING & GO, 800 для данных Food & GALEN
  • Размер батча: 32,768
  • Оптимизатор: Adam, планировщик скорости обучения: ReduceLROnPlateau
  • Гиперпараметры определены путем поиска по сетке

Результаты экспериментов

Основные результаты

Предсказание взаимодействия белок-белок (таблица 4)

  • ELEmbeddings+l+n: Hits@10 улучшен с 0.05 до 0.06, Hits@100 с 0.31 до 0.37
  • Box2EL+l+n: при сохранении производительности Hits@100 значительно снижен средний ранг

Предсказание функции белка (таблица 3)

  • Box2EL показал лучший результат: Hits@10 достигает 0.28, AUC достигает 0.96
  • После добавления функций потерь для отрицательных примеров AUC для ELEmbeddings и ELBE немного улучшился

Предсказание отношений подклассов

  • Food Ontology (таблица 5): ELBE+l улучшен с 0.01 до 0.04 по Hits@10
  • GALEN Ontology (таблица 6): все методы показали улучшение метрик Hits@n после добавления функций потерь

Абляционные эксперименты

Эффект фильтрации отрицательных примеров

Через смещенные эксперименты на Food Ontology (рисунок 3) обнаружено:

  • Уменьшение доли подразумеваемых аксиом в отрицательных примерах непрерывно улучшает производительность
  • Эффект фильтрации более выражен, когда доля подразумеваемых аксиом в отрицательных примерах выше

Визуальный анализ

Визуализация 2D встраиваний (рисунки 1-2) показывает:

  • После добавления всех функций потерь модель лучше сохраняет логическую структуру онтологии
  • Фильтрация отрицательных примеров способствует построению более верного геометрического представления

Анализ отфильтрованных метрик

Путем сравнения различий метрик до и после фильтрации (столбец NF-F) обнаружено:

  • Улучшенный метод приоритизирует предсказание подразумеваемых аксиом
  • Это указывает на то, что модель построила более точное представление онтологии

Связанные работы

Встраивания онтологий на основе графов

  • Проецирование онтологии в структуру графа с использованием Word2Vec или методов встраивания графов знаний
  • Преимущества: способность обрабатывать информацию о соседстве
  • Недостатки: трудность обработки логических операторов, невозможность приблизить модель онтологии

Геометрические встраивания онтологий

  • ELEmbeddings: использование гиперсфер для представления концепций
  • ELBE/BoxEL: использование выровненных по осям ящиков, поддержка операций пересечения
  • Box2EL: использование двух ящиков для представления области определения и области значений ролей
  • EmEL++/EmELvar: расширение для обработки цепочек ролей и включения ролей

Методы пополнения баз знаний

  • Методы на основе больших языковых моделей (HalTon, рассуждение на естественном языке и т.д.)
  • Методы предсказания связей на основе структуры графа
  • Методы встраивания онтологий на основе матриц

Заключение и обсуждение

Основные выводы

  1. Важность дедуктивного замыкания: Полное использование дедуктивного замыкания может значительно улучшить производительность методов геометрического встраивания
  2. Влияние качества отрицательных примеров: Избежание использования подразумеваемых утверждений в качестве отрицательных примеров критически важно для обучения модели
  3. Улучшение методов оценки: Методы оценки с учетом дедуктивного замыкания могут более точно отражать способность модели к пополнению баз знаний
  4. Универсальность метода: Стратегия улучшения применима к различным методам геометрического встраивания

Ограничения

  1. Вычислительная сложность: Вычисление дедуктивного замыкания может иметь проблемы с эффективностью на крупномасштабных онтологиях
  2. Приближенные алгоритмы: Предложенный алгоритм вычисления дедуктивного замыкания является корректным, но не полным
  3. Ограничения оценки: Существующие метрики оценки по-прежнему основаны на ранжировании отдельных аксиом и не учитывают семантическое сходство
  4. Область применения: В основном ориентирован на EL++\mathcal{EL}^{++}, расширяемость на более выразительные описательные логики ограничена

Направления будущих исследований

  1. Разработка более эффективных алгоритмов вычисления дедуктивного замыкания
  2. Проектирование метрик оценки, учитывающих семантическое сходство
  3. Расширение на более выразительные описательные логики
  4. Построение большего количества эталонных наборов данных для пополнения баз знаний

Глубокая оценка

Преимущества

  1. Точное выявление проблем: Точное выявление ключевых проблем существующих методов в выборе отрицательных примеров и использовании дедуктивного замыкания
  2. Разумное проектирование метода: Предложенные функции потерь и стратегии фильтрации имеют достаточную теоретическую мотивацию
  3. Комплексные эксперименты: Проверка эффективности метода на нескольких наборах данных и задачах, включая визуальный анализ
  4. Теоретический вклад: Предоставление корректного алгоритма вычисления дедуктивного замыкания с теоретической ценностью
  5. Сильная универсальность: Стратегия улучшения применима к различным методам геометрического встраивания

Недостатки

  1. Ограниченное улучшение производительности: На некоторых задачах величина улучшения относительно небольшая, что может быть недостаточно для оправдания дополнительной сложности
  2. Вычислительные издержки: Вычисление дедуктивного замыкания и фильтрация отрицательных примеров увеличивают время обучения, но статья недостаточно анализирует эти издержки
  3. Эталонные наборы данных: Используемые наборы данных имеют относительно небольшой масштаб, эффективность крупномасштабного применения требует проверки
  4. Недостаточное сравнение: Отсутствует сравнение с новейшими методами пополнения баз знаний на основе больших языковых моделей

Влияние

  1. Академическая ценность: Предоставление важных идей улучшения для области геометрических встраиваний онтологий
  2. Практическая ценность: Улучшенные методы могут быть непосредственно применены к пополнению баз знаний в биомедицинской и других областях
  3. Воспроизводимость: Код и данные открыты, что облегчает воспроизведение и расширение

Применимые сценарии

  1. Формализованные базы знаний: Особенно подходит для онтологий с богатой логической структурой
  2. Биомедицинская область: Показывает хорошие результаты на задачах, таких как предсказание функции генов и белков
  3. Приложения, требующие интерпретируемости: Геометрические встраивания обеспечивают интерпретируемую структуру модели

Библиография

Статья цитирует 50 связанных работ, охватывающих важные исследования в областях описательной логики, встраивания онтологий, пополнения графов знаний и других смежных областей, обеспечивая прочную теоретическую основу для исследования.