2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.
Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.
academic

FrameEOL: Induzione di Frame Semantici Utilizzando Modelli di Linguaggio Causali

Informazioni Fondamentali

  • ID Articolo: 2510.09097
  • Titolo: FrameEOL: Semantic Frame Induction using Causal Language Models
  • Autori: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
  • Istituzioni: ¹Università di Nagoya, ²CyberAgent, ³Istituto Nazionale di Informatica
  • Classificazione: cs.CL (Linguistica Computazionale)
  • Data di Pubblicazione: 10 ottobre 2025 (preprint arXiv)
  • Link Articolo: https://arxiv.org/abs/2510.09097

Riassunto

L'induzione di frame semantici è il compito di raggruppare le parole che evocano frame in base ai frame semantici da esse evocati. Recentemente, gli embedding delle parole che evocano frame ottenuti utilizzando modelli di linguaggio mascherati (MLM) come BERT hanno raggiunto elevate prestazioni nell'induzione di frame semantici. Sebbene i modelli di linguaggio causali (CLM) come le serie GPT e Llama abbiano avuto successo in un'ampia gamma di compiti di comprensione del linguaggio e dimostrino di comprendere i frame in conversazioni, non sono ancora stati applicati all'induzione di frame semantici. Questo articolo propone FrameEOL, un nuovo metodo basato su CLM per l'induzione di frame semantici, un approccio basato su prompt per ottenere embedding di frame che producono un nome di frame come etichetta. Per ottenere embedding più adatti all'induzione di frame, utilizziamo l'apprendimento in contesto (ICL) e l'apprendimento metrico profondo (DML). I risultati sperimentali dimostrano che il metodo supera gli approcci esistenti sui dataset FrameNet in inglese e giapponese. In particolare, per il giapponese, dove mancano risorse di frame estese, il metodo CLM con soli 5 esempi ICL raggiunge prestazioni comparabili al metodo MLM con fine-tuning DML.

Contesto di Ricerca e Motivazione

Definizione del Problema

L'induzione di frame semantici mira a risolvere il problema di identificare e raggruppare automaticamente istanze di verbi che evocano lo stesso frame semantico. Ad esempio, il verbo "lost" in diversi contesti può evocare frame semantici differenti:

  • "He lost the gold medal by just .02 points" → frame FINISH_COMPETITION
  • "He lost his gold medal at the restaurant" → frame LOSING

Importanza della Ricerca

  1. Scarsità di Risorse: La costruzione manuale di risorse di frame semantici è estremamente costosa, rendendo la costruzione automatica un'esigenza urgente
  2. Necessità Multilingue: Al di fuori dell'inglese, le risorse di frame per altre lingue sono estremamente limitate
  3. Adattamento al Dominio: Domini specifici potrebbero richiedere rappresentazioni di frame con granularità diverse

Limitazioni dei Metodi Esistenti

  1. Dipendenza da MLM: I metodi esistenti si basano principalmente su modelli di linguaggio mascherati come BERT
  2. Dipendenza da Risorse: Richiedono grandi quantità di dati annotati per un addestramento efficace
  3. Limitazioni Linguistiche: Prestazioni scadenti su lingue a bassa risorsa

Motivazione della Ricerca

Sebbene i CLM moderni come GPT-4o dimostrino la capacità di comprendere frame semantici (come mostrato nell'esempio di ChatGPT in Figura 1), non sono ancora stati sistematicamente applicati al compito di induzione di frame semantici. Questo articolo mira a colmare questa lacuna.

Contributi Principali

  1. Prima Applicazione di CLM all'Induzione di Frame Semantici: Propone il metodo FrameEOL, estendendo PromptEOL per l'acquisizione di embedding di frame
  2. Ottimizzazione Multi-Strategia: Combina l'apprendimento in contesto (ICL) e l'apprendimento metrico profondo (DML) per migliorare la qualità degli embedding
  3. Superamento dei Metodi Esistenti: Raggiunge le migliori prestazioni su FrameNet in inglese, con un punteggio BcF di 71,9
  4. Avanzamento nelle Lingue a Bassa Risorsa: Su FrameNet giapponese, con soli 5 esempi ICL raggiunge prestazioni comparabili al fine-tuning DML su MLM
  5. Verifica Bilingue: Valida l'efficacia del metodo su dataset in inglese e giapponese

Spiegazione Dettagliata del Metodo

Definizione del Compito

Input: Insieme di frasi contenenti verbi che evocano frame Output: Raggruppamento di istanze di verbi in base ai frame semantici evocati Vincoli: Non richiede un insieme predefinito di etichette di frame

Architettura del Modello

3.1 Metodo Principale FrameEOL

FrameEOL è ispirato da PromptEOL e acquisisce embedding di frame attraverso template di prompt appositamente progettati:

Template di Prompt:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

Caratteristiche Chiave:

  • [verb]: Segnaposto per il verbo che evoca il frame
  • [sentence]: Segnaposto per la frase contenente il verbo
  • Utilizza l'embedding dell'ultimo token "is" dello strato finale come embedding del frame

3.2 Ottimizzazione dell'Apprendimento in Contesto (ICL)

Per affrontare le sfide delle lingue a bassa risorsa, introduciamo il metodo ICL:

Costruzione di Esempi:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

Vantaggi: Attraverso un piccolo numero di esempi (5-20) è possibile migliorare significativamente le prestazioni, particolarmente adatto per scenari con dati di addestramento scarsi.

3.3 Ottimizzazione dell'Apprendimento Metrico Profondo (DML)

Utilizza la funzione di perdita triplet per ottimizzare lo spazio degli embedding:

Ltri=max⁡(D(xa,xp)−D(xa,xn)+m,0)L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)

Dove:

  • xa,xp,xnx_a, x_p, x_n: Embedding di frame per il punto di ancoraggio, il campione positivo e il campione negativo
  • D(⋅,⋅)D(\cdot, \cdot): Distanza euclidea degli embedding normalizzati
  • mm: Parametro di margine

Dettagli di Implementazione:

  • Utilizza LoRA per il fine-tuning parametricamente efficiente
  • LoRA rank r=8, α=32
  • Addestramento per 20 epoch, dimensione batch 32

Punti di Innovazione Tecnica

  1. Innovazione nella Progettazione del Prompt: Specializza il metodo generico di embedding di frasi di PromptEOL per il compito di embedding di frame
  2. Strategia di Doppia Ottimizzazione: ICL adatto per scenari a bassa risorsa, DML adatto per scenari supervisionati
  3. Addestramento Parametricamente Efficiente: Utilizza LoRA per ridurre i requisiti di risorse computazionali
  4. Adattamento Multilingue: Realizza il supporto multilingue attraverso semplice traduzione dei prompt

Configurazione Sperimentale

Dataset

FrameNet 1.7 in Inglese

  • Scala: 82.610 istanze, 642 frame, 2.492 verbi
  • Divisione: Validazione incrociata a tre fold, media 27.537 istanze di addestramento
  • Caratteristiche: L'insieme di test contiene frame non visti durante l'addestramento (media 135,3/434,3)

FrameNet Giapponese

  • Scala: 3.130 istanze, 344 frame, 766 verbi
  • Divisione: Validazione incrociata a tre fold, media 1.043 istanze di addestramento
  • Sfida: Solo il 3,2% del dataset inglese

Metriche di Valutazione

Utilizza la precisione B-cubed (BCP), il richiamo (BCR) e il punteggio F (BCF) come metriche di valutazione principali, con BCF come standard di valutazione principale.

Metodi di Confronto

  • Baseline MLM: BERTbase/large, ModernBERTbase/large, RoBERTalarge
  • Metodi di Raggruppamento: Raggruppamento a un passaggio (media di gruppo) e raggruppamento a due passaggi (X-means + media di gruppo)
  • Configurazioni di Addestramento: Senza fine-tuning e con fine-tuning DML

Dettagli di Implementazione

  • Modelli: Gemma 3-12B, Llama 3.1-8B, ecc.
  • Configurazione ICL: 5/10/20 esempi, lunghezza massima della sequenza 2048
  • Iperparametri: Tasso di apprendimento {3e-5, 5e-5, 1e-4}, margine {0,1, 0,2, 0,5, 1,0}

Risultati Sperimentali

Risultati Principali

Prestazioni su FrameNet in Inglese

ModelloMetodo di AddestramentoBCF Raggruppamento a Un PassaggioBCF Raggruppamento a Due Passaggi
RoBERTalarge + DMLDML67,969,6
Gemma 3 + DMLDML71,970,6
Llama 3.1 + DMLDML70,870,9

Scoperte Chiave:

  • Il metodo CLM+DML supera significativamente il miglior metodo MLM
  • Gemma 3 raggiunge il massimo 71,9 BCF nel raggruppamento a un passaggio
  • Il metodo ICL mostra miglioramenti di prestazioni con l'aumento del numero di esempi

Prestazioni su FrameNet Giapponese

ModelloMetodo di AddestramentoBCF Raggruppamento a Un PassaggioBCF Raggruppamento a Due Passaggi
Japanese ModernBERTbase + DMLDML60,058,4
LLM-jp-3 + DMLDML61,359,2
Llama 3.1 + ICL(5-shot)ICL59,957,4

Scoperte Importanti:

  • Con soli 5 esempi ICL si raggiungono prestazioni comparabili al DML
  • Dimostra i vantaggi dei CLM sulle lingue a bassa risorsa

Esperimenti di Ablazione

Analisi dell'Impatto del Termine "FrameNet"

La rimozione del termine "FrameNet" dal prompt ha un impatto limitato sulle prestazioni:

  • La riduzione delle prestazioni è inferiore all'1% nelle configurazioni ICL e DML
  • Dimostra che il modello non dipende semplicemente dalla conoscenza di FrameNet nel pre-addestramento

Scoperte Sperimentali

  1. Vantaggi dei CLM: Con dati di addestramento sufficienti, CLM+DML supera significativamente i metodi MLM
  2. Potenziale dell'ICL: Un piccolo numero di esempi può ottenere prestazioni competitive, particolarmente adatto per scenari a bassa risorsa
  3. Strategia di Raggruppamento: Dopo l'ottimizzazione DML/ICL, il raggruppamento a un passaggio è già sufficientemente efficace
  4. Capacità Multilingue: I CLM dimostrano una buona capacità di comprensione di frame multilingue

Lavori Correlati

Ricerca sull'Induzione di Frame Semantici

  • Metodi Non Supervisionati: Utilizza embedding contestualizzati di MLM come BERT per il raggruppamento
  • Metodi Supervisionati: Ottimizza lo spazio degli embedding attraverso l'apprendimento metrico profondo
  • Raggruppamento a Due Passaggi: Risolve il problema della dispersione eccessiva dei metodi tradizionali

Embedding di Testo Basato su Prompt

  • PromptBERT: Utilizza la previsione mascherata per ottenere embedding di frasi
  • PromptEOL: Utilizza la capacità di previsione del prossimo token dei CLM per ottenere embedding
  • Contributo di questo Articolo: Specializza i metodi di embedding generici per il compito di embedding di frame

Conclusioni e Discussione

Conclusioni Principali

  1. Prima Applicazione di Successo: I CLM possono essere efficacemente utilizzati per l'induzione di frame semantici, con prestazioni superiori ai metodi MLM tradizionali
  2. Vantaggi nelle Risorse Limitate: Il metodo ICL dimostra un enorme potenziale in scenari con dati scarsi
  3. Efficacia Multilingue: Il metodo raggiunge prestazioni eccellenti sia in inglese che in giapponese

Limitazioni

  1. Risorse Computazionali: I CLM su larga scala richiedono risorse computazionali significative
  2. Copertura Linguistica: Verificato solo in inglese e giapponese, la generalizzabilità ad altre lingue rimane sconosciuta
  3. Adattamento al Dominio: L'applicabilità in domini specifici richiede ulteriore verifica

Direzioni Future

  1. Estensione Multilingue: Verificare l'efficacia del metodo su più lingue
  2. Adattamento al Dominio: Esplorare gli effetti dell'applicazione in domini specifici
  3. Ottimizzazione dell'Efficienza: Sviluppare metodi di addestramento e inferenza più efficienti

Valutazione Approfondita

Punti di Forza

  1. Forte Innovazione: Prima applicazione sistematica di CLM all'induzione di frame semantici
  2. Metodo Completo: Fornisce due strategie di ottimizzazione ICL e DML, adatte a diverse condizioni di risorsa
  3. Valutazione Completa: Valutazione approfondita su due lingue e modelli multipli
  4. Valore Pratico: Fornisce una soluzione praticabile per la costruzione di frame in lingue a bassa risorsa

Insufficienze

  1. Analisi Teorica: Manca un'analisi teorica approfondita del motivo per cui i CLM funzionano meglio in questo compito
  2. Costo Computazionale: Non discute sufficientemente il confronto dei costi computazionali con i metodi MLM
  3. Analisi degli Errori: Manca un'analisi dettagliata dei casi di fallimento
  4. Generalizzabilità: Verificato solo su dati FrameNet, l'applicabilità ad altre risorse di frame rimane sconosciuta

Impatto

  1. Contributo Accademico: Apre un nuovo percorso tecnico per la ricerca sui frame semantici
  2. Valore Pratico: Fornisce strumenti pratici per la costruzione di risorse di frame multilingue
  3. Riproducibilità: Fornisce configurazioni sperimentali dettagliate e configurazioni di iperparametri

Scenari Applicabili

  1. Lingue a Bassa Risorsa: Lingue dove le risorse di frame sono scarse
  2. Adattamento al Dominio: Scenari che richiedono la costruzione di frame specifici del dominio
  3. Prototipazione Rapida: Applicazioni che richiedono la costruzione rapida di sistemi di frame

Bibliografia

Questo articolo cita importanti lavori in molteplici aree inclusi frame semantici, apprendimento metrico profondo e apprendimento basato su prompt, fornendo una base teorica solida per la progettazione del metodo. Particolarmente degni di nota sono i lavori fondamentali di Yamada et al. (2021, 2023) nell'induzione di frame basata su MLM, e il metodo PromptEOL proposto da Jiang et al. (2024).

Valutazione Complessiva: Questo è un articolo di ricerca di alta qualità che introduce con successo i modelli di linguaggio causali al compito di induzione di frame semantici, con contributi significativi in innovazione metodologica, verifica sperimentale e valore pratico. In particolare, le prestazioni rivoluzionarie in scenari di lingue a bassa risorsa forniscono importanti riferimenti per lo sviluppo del campo correlato.