2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.

Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.

academic

FrameEOL: Semantic Frame Induction using Causal Language Models

基本信息

论文ID: 2510.09097
标题: FrameEOL: Semantic Frame Induction using Causal Language Models
作者: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
机构: ¹名古屋大学, ²CyberAgent, ³国立情报学研究所
分类: cs.CL (计算语言学)
发表时间: 2025年10月10日 (arXiv预印本)
论文链接: https://arxiv.org/abs/2510.09097

摘要

语义框架归纳是根据框架激发词所唤起的语义框架对其进行聚类的任务。近年来，利用BERT等掩码语言模型(MLMs)获得的框架激发词嵌入在语义框架归纳中取得了高性能。尽管GPT和Llama系列等因果语言模型(CLMs)在广泛的语言理解任务中取得成功，并能像理解框架一样进行对话，但尚未应用于语义框架归纳。本文提出了一种基于CLMs的语义框架归纳新方法FrameEOL，这是一种基于提示的方法，用于获取输出一个框架名称作为标签的框架嵌入。为了获得更适合框架归纳的嵌入，我们利用了上下文学习(ICL)和深度度量学习(DML)。实验结果表明，该方法在英语和日语FrameNet数据集上优于现有方法。特别是对于缺乏广泛框架资源的日语，仅使用5个ICL示例的CLM方法就达到了与使用DML微调的MLM方法相当的性能。

研究背景与动机

问题定义

语义框架归纳旨在解决如何自动识别和聚类具有相同语义框架的动词实例。例如，动词"lost"在不同上下文中可能唤起不同的语义框架：

"He lost the gold medal by just .02 points" → FINISH_COMPETITION框架
"He lost his gold medal at the restaurant" → LOSING框架

研究重要性

资源稀缺性: 手工构建语义框架资源成本巨大，自动构建成为迫切需求
多语言需求: 除英语外，其他语言的框架资源极其有限
领域适应性: 特定领域可能需要不同粒度的框架表示

现有方法局限性

依赖MLMs: 现有方法主要基于BERT等掩码语言模型
资源依赖: 需要大量标注数据进行有效训练
语言局限: 在低资源语言上表现不佳

研究动机

尽管GPT-4o等现代CLMs展现出理解语义框架的能力（如图1所示的ChatGPT示例），但尚未被系统性地应用于语义框架归纳任务。本文旨在填补这一空白。

核心贡献

首次将CLMs应用于语义框架归纳: 提出FrameEOL方法，扩展PromptEOL用于框架嵌入获取
多策略优化: 结合上下文学习(ICL)和深度度量学习(DML)提升嵌入质量
超越现有方法: 在英语FrameNet上取得最佳性能，BcF分数达到71.9
低资源语言突破: 在日语FrameNet上，仅用5个ICL示例就达到与DML微调MLM相当的性能
双语言验证: 在英语和日语数据集上均验证了方法的有效性

方法详解

任务定义

输入: 包含框架激发动词的句子集合输出: 根据所唤起的语义框架对动词实例进行聚类约束: 无需预定义的框架标签集合

模型架构

3.1 FrameEOL核心方法

FrameEOL受PromptEOL启发，通过专门设计的提示模板获取框架嵌入：

提示模板:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

关键设计:

[verb]: 框架激发动词占位符
[sentence]: 包含该动词的句子占位符
使用最后一个token "is"的最终层嵌入作为框架嵌入

3.2 上下文学习优化(ICL)

为应对低资源语言挑战，引入ICL方法：

示例构建:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

优势: 通过少量示例(5-20个)即可显著提升性能，特别适用于训练数据稀缺的场景。