Извлечение мероними́ческой онтологии с помощью больших языковых моделей

Основная информация

• ID статьи: 2510.13839
• Название: Meronymic Ontology Extraction via Large Language Models
• Авторы: Dekai Zhang (Imperial College London), Simone Conia (Sapienza University of Rome), Antonio Rago (Imperial College London & King's College London)
• Классификация: cs.CL cs.AI
• Дата публикации: 11 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.13839

Аннотация

В данной работе используются последние достижения в области больших языковых моделей (LLM) для разработки полностью автоматизированного метода извлечения онтологии продуктов (в форме отношений часть-целое) из исходного текста отзывов. Исследование показывает, что онтология, созданная предложенным методом, превосходит существующие методы на основе BERT при оценке с использованием LLM в качестве судьи. Данное исследование закладывает основу для более широкого применения LLM в задачах извлечения онтологии.

Научный контекст и мотивация

Определение проблемы

В эпоху цифровизации огромные объемы неструктурированных текстовых данных требуют организации и структурирования с помощью онтологий. В частности, в сфере электронной коммерции многочисленные списки продуктов нуждаются в надлежащей структуре организации продуктов. Отношения часть-целое (мероними́ческие отношения) имеют важное значение для нижестоящих задач, таких как агрегирование отзывов, анализ тональности и вопросно-ответные системы по продуктам.

Ограничения существующих методов

1. Высокая стоимость ручного построения: Ручное построение онтологии — это трудоемкий, дорогостоящий и обременительный процесс
2. Недостаточность существующих автоматизированных методов: Предыдущие исследования в основном сосредоточены на извлечении таксономических отношений, а не отношений часть-целое
3. Сложность оценки: Отсутствие стандартных эталонных наборов данных затрудняет эффективную оценку качества мероними́ческой онтологии
4. Зависимость от ручной разметки: Существующие методы, такие как метод на основе BERT (Oksanen et al., 2021), по-прежнему требуют определенной степени ручной разметки

Научная мотивация

Данная работа направлена на использование мощных возможностей LLM для разработки полностью автоматизированного метода извлечения мероними́ческой онтологии и предложения новой системы оценки для проверки эффективности метода.

Основные вклады

1. Предложение полностью автоматизированного метода на основе LLM: Разработан полностью автоматизированный метод использования LLM для извлечения мероними́ческой онтологии, который может обобщаться на различные категории продуктов
2. Инновационная система оценки: Предложен новый метод эмпирической оценки различных задач извлечения мероними́ческой онтологии с использованием LLM в качестве судьи (LLM-as-a-judge)
3. Проверка повышения производительности: Экспериментально доказано, что метод на основе LLM значительно превосходит методы на основе BERT по релевантности
4. Открытый исходный код: Предоставлен полный код реализации для содействия воспроизводимости исследования

Подробное описание метода

Определение задачи

Входные данные: Текст отзывов о продуктах Выходные данные: Граф мероними́ческой онтологии, содержащий узлы концепций и отношения "часть-целое" между ними Ограничения: Отношения должны быть значимыми отношениями часть-целое, концепции должны быть релевантны продукту

Архитектура модели

Предложенный метод включает четыре основных этапа конвейера:

1. Извлечение аспектов (Aspect Extraction)

• Метод: Использование микронастройки Mistral-7B-Instruct-v0.2
• Данные обучения: Набор данных SemEval-2014 Task 4 (1600 образцов)
• Постобработка: Использование разметки частей речи (POS) для фильтрации, сохранение только существительных, фактически встречающихся в отзывах
• Контроль выхода: Выбор 50 наиболее частых аспектов

2. Извлечение синонимических наборов (Synset Extraction)

• Модель встраивания: Микронастроенная модель FastText (обработка опечаток и сокращений)
• Алгоритм кластеризации: Кластеризация эквидистантных узлов (ENC) на основе косинусного сходства
• Преимущества: По сравнению с K-means дает более точные результаты кластеризации

3. Извлечение концепций (Concept Extraction)

• Выбор представителя: Выбор наиболее часто встречающегося термина в каждом синонимическом наборе в качестве представителя
• Определение релевантности: Использование подсказки LLM для определения того, должен ли термин быть включен в онтологию
• Критерии фильтрации: Релевантность, специфичность, иерархичность

4. Извлечение отношений (Relation Extraction)

• Обработка входных данных: Извлечение предложений, содержащих два аспекта из разных синонимических наборов
• Дизайн задачи: Вопрос с множественным выбором (аспект A является частью аспекта B / аспект B является частью аспекта A / не связаны)
• Обучение модели: Микронастройка модели Mistral на 1000 синтетических образцах с использованием дистилляции

Технические инновации

1. Сквозной конвейер на основе LLM: По сравнению с методом BERT достигнута более высокая степень автоматизации
2. Ограничения структурированного выхода: Использование ограничений синтаксиса JSON для обеспечения согласованности формата выхода
3. Многоэтапная оптимизация: Каждый этап оптимизирован для конкретной задачи, повышая общую производительность
4. Смягчение галлюцинаций: Снижение проблемы галлюцинаций LLM посредством фильтрации POS и микронастройки

Экспериментальная установка

Наборы данных

• Источник: Набор данных Amazon Reviews 2023
• Категории продуктов: 5 категорий (видеоигры, телевизоры, ожерелья/часы, блендеры)
• Масштаб данных: 100 000 отзывов на продукт (блендеры: 26 464)
• Ограничение обработки: Задачи LLM используют 1000 отзывов (с учетом времени обработки)

Метрики оценки

Критерии оценки терминов:

1. Релевантность: Точно ли термин представляет часть или компонент продукта
2. Специфичность: Имеет ли термин надлежащий уровень специфичности
3. Ясность: Ясно ли термин передает намерение, избегая двусмысленности
4. Соответствие продукту: Логически ли термин подходит для данного продукта

Критерии оценки отношений:

1. Логическая иерархия: Представляет ли дочерний узел логическую часть или характеристику родительского узла
2. Соответствие контексту: Является ли отношение разумным в категориях продуктов Amazon
3. Ясность и специфичность: Избегает ли отношение двусмысленности и четко ли определяет отношение часть-целое

Методы сравнения

• Базовый метод: Метод на основе BERT (Oksanen et al., 2021)
• Метод оценки: Gemini 1.5 Flash в качестве судьи LLM
• Версии сравнения: Полная версия и сокращенная версия (с количеством терминов, равным базовому методу)

Детали реализации

• Оборудование: NVIDIA GeForce RTX 4090 GPU
• Оптимизатор: Adam (скорость обучения 10⁻⁴)
• Техника микронастройки: LoRA (r=4, α=16)
• Количество эпох: 3, размер пакета 16

Результаты экспериментов

Основные результаты

Оценка качества терминов

Оценка качества отношений

Абляционные эксперименты

Сравнение методов извлечения аспектов

Сравнение методов извлечения отношений

Анализ эффективности

Время обработки предложенного метода

Время обработки базового метода BERT

Экспериментальные выводы

1. Повышение качества: Метод на основе LLM значительно превосходит базовый метод BERT по качеству терминов и отношений
2. Важность микронастройки: Микронастройка обеспечивает значительное повышение производительности по сравнению с методом чистой подсказки
3. Вычислительные затраты: Метод на основе LLM имеет более высокое качество, но вычислительные затраты примерно в 6 раз выше, чем у метода BERT
4. Выбор алгоритма кластеризации: ENC дает более точные синонимические наборы по сравнению с K-means

Связанные работы

Обучение онтологии

Традиционное обучение онтологии в основном зависит от методов глубокого обучения, но большинство работ сосредоточены на извлечении таксономических отношений, а не отношений часть-целое.

Применение LLM в построении онтологии

Недавние исследования начали изучать применение LLM в ключевых задачах обучения онтологии, таких как извлечение терминов и отношений, но в основном сосредоточены на таксономических отношениях.

Методы оценки

Оценка качества онтологии всегда была сложной задачей из-за отсутствия стандартных эталонов. Предложенный в данной работе метод LLM-as-a-judge предоставляет новое решение этой проблемы.

Заключение и обсуждение

Основные выводы

1. Метод на основе LLM значительно превосходит существующие методы BERT в задаче извлечения мероними́ческой онтологии
2. Микронастройка и ограничения структурированного выхода являются ключевыми факторами повышения производительности
3. LLM-as-a-judge предоставляет жизнеспособное решение для оценки качества онтологии

Ограничения

1. Зависимость от оценки: Оценка в основном зависит от LLM-as-a-judge, отсутствует проверка пользовательским исследованием
2. Вычислительные затраты: Вычислительные затраты значительно выше по сравнению с методом BERT
3. Проблема галлюцинаций: LLM по-прежнему имеет проблемы с генерацией нерелевантных аспектов
4. Отсутствие эталонов: В области онтологии продуктов отсутствуют стандартные эталонные наборы данных

Направления будущих исследований

1. Построение стандартных эталонов: Создание стандартного эталонного набора данных для этой задачи
2. Проверка пользовательским исследованием: Проверка практической полезности онтологии посредством пользовательского исследования
3. Обобщение метода: Изучение применения метода к другим типам онтологий (например, таксономическим онтологиям)
4. Смягчение галлюцинаций: Исследование методов интеграции нескольких LLM для снижения галлюцинаций отдельной модели

Глубокая оценка

Преимущества

1. Высокая инновационность: Первое систематическое применение LLM к извлечению мероними́ческой онтологии
2. Полнота метода: Предоставляет полное сквозное решение конвейера
3. Инновация в оценке: Предложена инновационная система оценки LLM-as-a-judge
4. Полнота экспериментов: Включает подробные абляционные эксперименты и анализ эффективности
5. Вклад в открытый исходный код: Предоставлена полная реализация с открытым исходным кодом

Недостатки

1. Ограничения оценки: Чрезмерная зависимость от оценки LLM, отсутствие проверки человеческой оценкой
2. Рассмотрение затрат: Значительное увеличение вычислительных затрат, но недостаточное обсуждение компромисса затрат и выгод
3. Обобщаемость: Проверка только на 5 категориях продуктов, обобщаемость требует дальнейшей проверки
4. Сравнение с эталонами: Сравнение с большим количеством существующих методов недостаточно полно

Влияние

1. Научная ценность: Предоставляет важный справочник для применения LLM в построении онтологии
2. Практическая ценность: Имеет прямой потенциал применения в электронной коммерции и других областях
3. Методологический вклад: Система оценки LLM-as-a-judge имеет широкую применимость
4. Воспроизводимость: Предоставлены подробные детали реализации и открытый исходный код

Применимые сценарии

1. Платформы электронной коммерции: Классификация продуктов и системы рекомендаций
2. Построение графов знаний: Автоматизированное построение онтологии
3. Извлечение информации: Извлечение структурированных отношений из неструктурированного текста
4. Анализ отзывов: Идентификация характеристик и компонентов продуктов

Библиография

В данной работе цитируются важные работы в соответствующих областях, включая:

• Oksanen et al. (2021): Метод извлечения онтологии продуктов на основе BERT
• Devlin et al. (2019): Модель BERT
• Jiang et al. (2023): Модель Mistral
• Pontiki et al. (2014): Набор данных SemEval-2014 Task 4

Общая оценка: Это статья с важным вкладом в область извлечения мероними́ческой онтологии. Метод обладает высокой инновационностью, экспериментальный дизайн разумен, результаты убедительны. Хотя существуют некоторые ограничения в методах оценки и вычислительных затратах, работа предоставляет ценные идеи и инструменты для развития данной области.