2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.
Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.
academic

FrameEOL: Индукция семантических фреймов с использованием каузальных языковых моделей

Основная информация

  • ID статьи: 2510.09097
  • Название: FrameEOL: Semantic Frame Induction using Causal Language Models
  • Авторы: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
  • Учреждения: ¹Университет Нагоя, ²CyberAgent, ³Национальный институт информатики
  • Классификация: cs.CL (вычислительная лингвистика)
  • Дата публикации: 10 октября 2025 г. (препринт arXiv)
  • Ссылка на статью: https://arxiv.org/abs/2510.09097

Аннотация

Индукция семантических фреймов — это задача кластеризации слов-активаторов фреймов в соответствии с семантическими фреймами, которые они вызывают. В последние годы встраивания слов-активаторов фреймов, полученные с использованием маскированных языковых моделей (MLM), таких как BERT, достигли высокой производительности при индукции семантических фреймов. Несмотря на то, что каузальные языковые модели (CLM), такие как серии GPT и Llama, добились успеха в широком спектре задач понимания языка и могут вести диалоги, понимая фреймы, они еще не применялись к индукции семантических фреймов. В данной работе предлагается новый метод индукции семантических фреймов на основе CLM — FrameEOL, представляющий собой метод на основе подсказок для получения встраиваний фреймов, выводящих название фрейма в качестве метки. Для получения встраиваний, более подходящих для индукции фреймов, мы используем контекстное обучение (ICL) и глубокое метрическое обучение (DML). Экспериментальные результаты показывают, что метод превосходит существующие подходы на наборах данных FrameNet на английском и японском языках. В частности, для японского языка, в котором отсутствуют обширные ресурсы фреймов, метод CLM с использованием всего 5 примеров ICL достигает производительности, сравнимой с методом MLM с микронастройкой DML.

Исследовательский контекст и мотивация

Определение проблемы

Индукция семантических фреймов направлена на решение проблемы автоматического выявления и кластеризации экземпляров глаголов с одинаковыми семантическими фреймами. Например, глагол "lost" в разных контекстах может вызывать разные семантические фреймы:

  • "He lost the gold medal by just .02 points" → фрейм FINISH_COMPETITION
  • "He lost his gold medal at the restaurant" → фрейм LOSING

Значимость исследования

  1. Дефицит ресурсов: Ручное построение ресурсов семантических фреймов требует огромных затрат, автоматическое построение становится неотложной необходимостью
  2. Многоязычные требования: За пределами английского языка ресурсы фреймов крайне ограничены
  3. Адаптация к предметной области: Конкретные области могут требовать представления фреймов различной степени детализации

Ограничения существующих методов

  1. Зависимость от MLM: Существующие методы в основном основаны на маскированных языковых моделях, таких как BERT
  2. Зависимость от ресурсов: Требуют большого количества аннотированных данных для эффективного обучения
  3. Языковые ограничения: Плохая производительность на языках с ограниченными ресурсами

Мотивация исследования

Несмотря на то, что современные CLM, такие как GPT-4o, демонстрируют способность понимать семантические фреймы (как показано в примере ChatGPT на рисунке 1), они еще не были систематически применены к задаче индукции семантических фреймов. Данная работа направлена на заполнение этого пробела.

Основные вклады

  1. Первое применение CLM к индукции семантических фреймов: Предложен метод FrameEOL, расширяющий PromptEOL для получения встраиваний фреймов
  2. Многостратегическая оптимизация: Объединение контекстного обучения (ICL) и глубокого метрического обучения (DML) для повышения качества встраиваний
  3. Превосходство над существующими методами: Достижение лучшей производительности на английском FrameNet с показателем BcF 71,9
  4. Прорыв в языках с ограниченными ресурсами: На японском FrameNet с использованием всего 5 примеров ICL достигнута производительность, сравнимая с микронастроенным MLM с DML
  5. Двуязычная верификация: Подтверждение эффективности метода на наборах данных на английском и японском языках

Подробное описание метода

Определение задачи

Входные данные: Набор предложений, содержащих глаголы-активаторы фреймов Выходные данные: Кластеризация экземпляров глаголов в соответствии с вызываемыми ими семантическими фреймами Ограничения: Не требуется предопределенный набор меток фреймов

Архитектура модели

3.1 Основной метод FrameEOL

FrameEOL вдохновлен PromptEOL и получает встраивания фреймов через специально разработанные шаблоны подсказок:

Шаблон подсказки:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

Ключевые особенности проектирования:

  • [verb]: заполнитель для глагола-активатора фрейма
  • [sentence]: заполнитель для предложения, содержащего этот глагол
  • Использование встраивания последнего токена "is" из финального слоя в качестве встраивания фрейма

3.2 Оптимизация контекстного обучения (ICL)

Для решения проблемы языков с ограниченными ресурсами вводится метод ICL:

Построение примеров:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

Преимущества: Значительное повышение производительности с использованием небольшого количества примеров (5–20), особенно подходит для сценариев с дефицитом обучающих данных.

3.3 Оптимизация глубокого метрического обучения (DML)

Используется функция потерь триплета для оптимизации пространства встраиваний:

Ltri=max⁡(D(xa,xp)−D(xa,xn)+m,0)L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)

где:

  • xa,xp,xnx_a, x_p, x_n: встраивания фреймов якорной точки, положительного и отрицательного образцов
  • D(⋅,⋅)D(\cdot, \cdot): евклидово расстояние нормализованных встраиваний
  • mm: параметр маржи

Детали реализации:

  • Использование LoRA для параметрически эффективной микронастройки
  • LoRA rank r=8, α=32
  • Обучение в течение 20 эпох, размер пакета 32

Технические инновации

  1. Инновация в проектировании подсказок: Специализация универсального метода встраивания предложений PromptEOL для задачи встраивания фреймов
  2. Двойная стратегия оптимизации: ICL применяется в сценариях с ограниченными ресурсами, DML — в контролируемых сценариях
  3. Параметрически эффективное обучение: Использование LoRA для снижения требований к вычислительным ресурсам
  4. Кроссязычная адаптация: Поддержка многоязычности через простой перевод подсказок

Экспериментальная установка

Наборы данных

FrameNet 1.7 на английском языке

  • Размер: 82 610 экземпляров, 642 фрейма, 2 492 глагола
  • Разделение: Трехкратная кроссвалидация, в среднем 27 537 обучающих экземпляров
  • Особенности: Тестовый набор содержит фреймы, не встречавшиеся при обучении (в среднем 135,3/434,3)

FrameNet на японском языке

  • Размер: 3 130 экземпляров, 344 фрейма, 766 глаголов
  • Разделение: Трехкратная кроссвалидация, в среднем 1 043 обучающих экземпляра
  • Вызов: Составляет всего 3,2% от набора данных на английском языке

Метрики оценки

Используются точность B-cubed (BCP), полнота (BCR) и F-мера (BCF) в качестве основных метрик оценки, BCF является основным критерием оценки.

Методы сравнения

  • Базовые MLM: BERTbase/large, ModernBERTbase/large, RoBERTalarge
  • Методы кластеризации: Одношаговая кластеризация (групповое усреднение) и двухшаговая кластеризация (X-means + групповое усреднение)
  • Параметры обучения: Без микронастройки и с микронастройкой DML

Детали реализации

  • Модели: Gemma 3-12B, Llama 3.1-8B и др.
  • Параметры ICL: 5/10/20 примеров, максимальная длина последовательности 2048
  • Гиперпараметры: Скорость обучения {3e-5, 5e-5, 1e-4}, маржа {0,1, 0,2, 0,5, 1,0}

Результаты экспериментов

Основные результаты

Производительность на английском FrameNet

МодельМетод обученияОдношаговая кластеризация BCFДвухшаговая кластеризация BCF
RoBERTalarge + DMLDML67,969,6
Gemma 3 + DMLDML71,970,6
Llama 3.1 + DMLDML70,870,9

Ключевые выводы:

  • Метод CLM+DML значительно превосходит лучший метод MLM
  • Gemma 3 достигает максимального показателя 71,9 BCF при одношаговой кластеризации
  • Метод ICL показывает улучшение производительности с увеличением количества примеров

Производительность на японском FrameNet

МодельМетод обученияОдношаговая кластеризация BCFДвухшаговая кластеризация BCF
Japanese ModernBERTbase + DMLDML60,058,4
LLM-jp-3 + DMLDML61,359,2
Llama 3.1 + ICL(5-shot)ICL59,957,4

Важные выводы:

  • Всего 5 примеров ICL достигают производительности, сравнимой с DML
  • Демонстрирует преимущества CLM на языках с ограниченными ресурсами

Абляционные исследования

Анализ влияния термина "FrameNet"

Удаление термина "FrameNet" из подсказки оказывает ограниченное влияние на производительность:

  • Снижение производительности менее 1% при использовании ICL и DML
  • Доказывает, что модель не просто полагается на знание FrameNet из предварительного обучения

Экспериментальные выводы

  1. Преимущества CLM: При наличии достаточных обучающих данных CLM+DML значительно превосходит методы MLM
  2. Потенциал ICL: Небольшое количество примеров обеспечивает конкурентоспособную производительность, особенно подходит для сценариев с ограниченными ресурсами
  3. Стратегия кластеризации: После оптимизации DML/ICL одношаговая кластеризация уже достаточно эффективна
  4. Кроссязычные возможности: CLM демонстрирует хорошие многоязычные способности понимания фреймов

Связанные работы

Исследования индукции семантических фреймов

  • Неконтролируемые методы: Использование контекстуализированных встраиваний MLM, таких как BERT, для кластеризации
  • Контролируемые методы: Оптимизация пространства встраиваний через глубокое метрическое обучение
  • Двухшаговая кластеризация: Решение проблемы чрезмерной дисперсии традиционных методов

Встраивание текста на основе подсказок

  • PromptBERT: Использование маскированного предсказания для получения встраиваний предложений
  • PromptEOL: Использование способности CLM предсказывать следующее слово для получения встраиваний
  • Вклад данной работы: Специализация универсального метода встраивания для задачи встраивания фреймов

Выводы и обсуждение

Основные выводы

  1. Первое успешное применение: CLM могут эффективно использоваться для индукции семантических фреймов, превосходя традиционные методы MLM
  2. Преимущества в условиях ограниченных ресурсов: Метод ICL демонстрирует огромный потенциал в сценариях с дефицитом данных
  3. Кроссязычная эффективность: Метод показывает отличные результаты как на английском, так и на японском языках

Ограничения

  1. Вычислительные ресурсы: Крупномасштабные CLM требуют значительных вычислительных ресурсов
  2. Языковое покрытие: Метод верифицирован только на английском и японском языках, универсальность на других языках неизвестна
  3. Адаптация к предметной области: Применимость в конкретных областях требует дальнейшей проверки

Направления будущих исследований

  1. Многоязычное расширение: Верификация эффективности метода на большем количестве языков
  2. Адаптация к предметной области: Исследование эффективности применения в конкретных областях
  3. Оптимизация эффективности: Разработка более эффективных методов обучения и вывода

Глубокая оценка

Преимущества

  1. Высокая инновационность: Первое систематическое применение CLM к индукции семантических фреймов
  2. Совершенный метод: Предоставление двух стратегий оптимизации (ICL и DML), адаптированных к различным условиям ресурсов
  3. Полные эксперименты: Комплексная оценка на двух языках и нескольких моделях
  4. Практическая ценность: Предоставление практического решения для построения ресурсов фреймов на языках с ограниченными ресурсами

Недостатки

  1. Теоретический анализ: Отсутствие глубокого теоретического объяснения того, почему CLM показывают лучшие результаты в этой задаче
  2. Вычислительные затраты: Недостаточное обсуждение сравнения вычислительных затрат с методами MLM
  3. Анализ ошибок: Отсутствие детального анализа неудачных случаев
  4. Универсальность: Верификация только на данных FrameNet, применимость к другим ресурсам фреймов неизвестна

Влияние

  1. Научный вклад: Открытие новых технических путей для исследований семантических фреймов
  2. Практическая ценность: Предоставление практических инструментов для построения многоязычных ресурсов фреймов
  3. Воспроизводимость: Предоставление подробных параметров экспериментов и конфигураций гиперпараметров

Применимые сценарии

  1. Языки с ограниченными ресурсами: Языки с дефицитом ресурсов фреймов
  2. Адаптация к предметной области: Сценарии, требующие построения фреймов для конкретных областей
  3. Быстрое прототипирование: Приложения, требующие быстрого построения систем фреймов

Библиография

Данная работа цитирует важные работы из нескольких областей, включая семантические фреймы, глубокое метрическое обучение и обучение на основе подсказок, обеспечивая прочную теоретическую основу для проектирования методов. Особого внимания заслуживают основополагающие работы Yamada et al. (2021, 2023) в области индукции фреймов на основе MLM, а также метод PromptEOL, предложенный Jiang et al. (2024).

Общая оценка: Это высококачественная исследовательская работа, которая успешно внедрила каузальные языковые модели в задачу индукции семантических фреймов, внеся значительный вклад в методологические инновации, экспериментальную верификацию и практическую ценность. В частности, прорывные результаты в сценариях с ограниченными ресурсами предоставляют важные ориентиры для развития смежных областей.