2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.

Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.

academic

FrameEOL: Semantische Rahmeninduktion mittels kausaler Sprachmodelle

Grundlegende Informationen

Paper-ID: 2510.09097
Titel: FrameEOL: Semantic Frame Induction using Causal Language Models
Autoren: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
Institutionen: ¹Nagoya-Universität, ²CyberAgent, ³Nationales Institut für Informatik
Klassifizierung: cs.CL (Computerlinguistik)
Veröffentlichungsdatum: 10. Oktober 2025 (arXiv-Preprint)
Paper-Link: https://arxiv.org/abs/2510.09097

Zusammenfassung

Die semantische Rahmeninduktion ist eine Aufgabe, bei der Rahmenauslöser-Wörter entsprechend ihrer semantischen Rahmen gruppiert werden. In jüngster Zeit haben Rahmenauslöser-Einbettungen, die mit maskierten Sprachmodellen (MLMs) wie BERT gewonnen wurden, hohe Leistungen bei der semantischen Rahmeninduktion erzielt. Obwohl kausale Sprachmodelle (CLMs) wie GPT und Llama-Serien bei einer Vielzahl von Sprachverständnisaufgaben erfolgreich sind und Rahmen wie in Gesprächen verstehen können, wurden sie bisher nicht auf die semantische Rahmeninduktion angewendet. Dieser Artikel schlägt FrameEOL vor, eine neue Methode zur semantischen Rahmeninduktion basierend auf CLMs, die ein prompt-basierter Ansatz ist, um Rahmeneinbettungen zu erhalten, die einen Rahmennamen als Etikett ausgeben. Um Einbettungen zu erhalten, die besser für die Rahmeninduktion geeignet sind, nutzen wir In-Context Learning (ICL) und Deep Metric Learning (DML). Experimentelle Ergebnisse zeigen, dass die Methode bestehende Methoden auf englischen und japanischen FrameNet-Datensätzen übertrifft. Besonders für Japanisch, das über begrenzte Rahmenressourcen verfügt, erreicht die CLM-Methode mit nur 5 ICL-Beispielen eine Leistung, die mit der DML-mikrogestimmten MLM-Methode vergleichbar ist.

Forschungshintergrund und Motivation

Problemdefinition

Die semantische Rahmeninduktion zielt darauf ab, automatisch zu erkennen und zu gruppieren, welche Verbinstanzen denselben semantischen Rahmen auslösen. Beispielsweise kann das Verb „lost" in verschiedenen Kontexten unterschiedliche semantische Rahmen auslösen:

"He lost the gold medal by just .02 points" → FINISH_COMPETITION-Rahmen
"He lost his gold medal at the restaurant" → LOSING-Rahmen

Forschungsbedeutung

Ressourcenknappheit: Die manuelle Konstruktion von semantischen Rahmenressourcen ist kostspielig; automatische Konstruktion wird dringend benötigt
Mehrsprachige Anforderungen: Außer Englisch sind Rahmenressourcen für andere Sprachen äußerst begrenzt
Domänenanpassung: Spezifische Domänen können unterschiedliche Granularitäten der Rahmendarstellung erfordern

Einschränkungen bestehender Methoden

MLM-Abhängigkeit: Bestehende Methoden basieren hauptsächlich auf maskierten Sprachmodellen wie BERT
Ressourcenabhängigkeit: Erfordert große Mengen annotierter Daten für effektives Training
Sprachliche Einschränkungen: Schlechte Leistung bei Sprachen mit geringen Ressourcen

Forschungsmotivation

Obwohl moderne CLMs wie GPT-4o die Fähigkeit zeigen, semantische Rahmen zu verstehen (wie in Abbildung 1 gezeigtes ChatGPT-Beispiel), wurden sie bisher nicht systematisch auf die Aufgabe der semantischen Rahmeninduktion angewendet. Dieser Artikel zielt darauf ab, diese Lücke zu schließen.

Kernbeiträge

Erstmalige Anwendung von CLMs auf semantische Rahmeninduktion: Vorschlag der FrameEOL-Methode, Erweiterung von PromptEOL zur Rahmeneinbettungsgewinnung
Multi-Strategie-Optimierung: Kombination von In-Context Learning (ICL) und Deep Metric Learning (DML) zur Verbesserung der Einbettungsqualität
Überwindung bestehender Methoden: Erreichung der besten Leistung auf englischem FrameNet mit BcF-Score von 71,9
Durchbruch bei Sprachen mit geringen Ressourcen: Auf japanischem FrameNet erreicht die Methode mit nur 5 ICL-Beispielen eine Leistung, die mit DML-mikrogestimmtem MLM vergleichbar ist
Zweisprachige Validierung: Validierung der Methodeneffektivität auf englischen und japanischen Datensätzen

Methodische Details

Aufgabendefinition

Eingabe: Menge von Sätzen mit Rahmenauslöser-Verben Ausgabe: Gruppierung von Verbinstanzen nach ihren ausgelösten semantischen Rahmen Einschränkung: Keine vordefinierten Rahmenetikett-Mengen erforderlich

Modellarchitektur

3.1 FrameEOL-Kernmethode

FrameEOL ist von PromptEOL inspiriert und gewinnt Rahmeneinbettungen durch speziell gestaltete Prompt-Vorlagen:

Prompt-Vorlage:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

Schlüsseldesign:

[verb]: Platzhalter für Rahmenauslöser-Verb
[sentence]: Platzhalter für Satz mit diesem Verb
Verwendung der Einbettung des letzten Tokens "is" der letzten Schicht als Rahmeneinbettung

3.2 In-Context Learning-Optimierung (ICL)

Zur Bewältigung von Herausforderungen bei Sprachen mit geringen Ressourcen wird die ICL-Methode eingeführt:

Beispielkonstruktion:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

Vorteile: Durch wenige Beispiele (5-20) kann die Leistung erheblich verbessert werden, besonders geeignet für Szenarien mit knappen Trainingsdaten.

3.3 Deep Metric Learning-Optimierung (DML)

Verwendung der Triplet-Loss-Funktion zur Optimierung des Einbettungsraums:

$L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)$

Wobei:

$x_a, x_p, x_n$ : Ankerpunkt-, positive und negative Stichproben-Rahmeneinbettungen
$D(\cdot, \cdot)$ : Euklidischer Abstand normalisierter Einbettungen
$m$ : Margin-Parameter

Implementierungsdetails:

Verwendung von LoRA für parametereffizientes Feintuning
LoRA-Rang r=8, α=32
Training über 20 Epochen, Batch-Größe 32

Technische Innovationen

Prompt-Design-Innovation: Spezialisierung der generischen Satzeinbettungsmethode von PromptEOL auf die Rahmeneinbettungsaufgabe
Duale Optimierungsstrategie: ICL für Szenarien mit geringen Ressourcen, DML für überwachte Szenarien
Parametereffizientes Training: Verwendung von LoRA zur Reduzierung von Rechenressourcen
Sprachübergreifende Anpassung: Mehrsprachige Unterstützung durch einfache Prompt-Übersetzung

Experimentelle Einrichtung

Datensätze

Englisches FrameNet 1.7

Umfang: 82.610 Instanzen, 642 Rahmen, 2.492 Verben
Aufteilung: Dreifache Kreuzvalidierung, durchschnittlich 27.537 Trainingsinstanzen
Merkmale: Testmenge enthält während des Trainings unsichtbare Rahmen (durchschnittlich 135,3/434,3)

Japanisches FrameNet

Umfang: 3.130 Instanzen, 344 Rahmen, 766 Verben
Aufteilung: Dreifache Kreuzvalidierung, durchschnittlich 1.043 Trainingsinstanzen
Herausforderung: Nur 3,2% des englischen Datensatzes

Bewertungsmetriken

Verwendung von B-cubed Precision (BCP), Recall (BCR) und F-Score (BCF) als Hauptbewertungsmetriken, wobei BCF das primäre Bewertungskriterium ist.

Vergleichsmethoden

MLM-Baselines: BERTbase/large, ModernBERTbase/large, RoBERTalarge
Clustering-Methoden: Einstufiges Clustering (Gruppendurchschnitt) und zweistufiges Clustering (X-means + Gruppendurchschnitt)
Trainingseinstellungen: Keine Feinabstimmung und DML-Feinabstimmung

Implementierungsdetails

Modelle: Gemma 3-12B, Llama 3.1-8B usw.
ICL-Einstellungen: 5/10/20 Beispiele, maximale Sequenzlänge 2048
Hyperparameter: Lernrate {3e-5, 5e-5, 1e-4}, Margin {0,1, 0,2, 0,5, 1,0}

Experimentelle Ergebnisse

Hauptergebnisse

Englische FrameNet-Leistung

Modell	Trainingsmethode	Einstufiges Clustering BCF	Zweistufiges Clustering BCF
RoBERTalarge + DML	DML	67,9	69,6
Gemma 3 + DML	DML	71,9	70,6
Llama 3.1 + DML	DML	70,8	70,9

Wichtigste Erkenntnisse:

CLM+DML-Methode übertrifft beste MLM-Methode erheblich
Gemma 3 erreicht höchste 71,9 BCF beim einstufigen Clustering
ICL-Methode zeigt Leistungsverbesserung mit zunehmender Beispielzahl

Japanische FrameNet-Leistung

Modell	Trainingsmethode	Einstufiges Clustering BCF	Zweistufiges Clustering BCF
Japanese ModernBERTbase + DML	DML	60,0	58,4
LLM-jp-3 + DML	DML	61,3	59,2
Llama 3.1 + ICL(5-shot)	ICL	59,9	57,4

Wichtige Erkenntnisse:

Mit nur 5 ICL-Beispielen wird Leistung vergleichbar mit DML erreicht
Demonstriert Vorteile von CLM bei Sprachen mit geringen Ressourcen

Ablationsstudien

Auswirkungsanalyse des Begriffs "FrameNet"

Das Entfernen des Begriffs "FrameNet" aus dem Prompt hat begrenzte Auswirkungen auf die Leistung:

Leistungsabfall unter 1% in ICL- und DML-Einstellungen
Beweist, dass das Modell nicht einfach auf FrameNet-Wissen aus dem Pretraining angewiesen ist

Experimentelle Erkenntnisse

CLM-Vorteile: Bei ausreichenden Trainingsdaten übertrifft CLM+DML MLM-Methoden erheblich
ICL-Potenzial: Wenige Beispiele erreichen wettbewerbsfähige Leistung, besonders geeignet für Szenarien mit geringen Ressourcen
Clustering-Strategie: Nach DML/ICL-Optimierung ist einstufiges Clustering bereits ausreichend wirksam
Sprachübergreifende Fähigkeiten: CLM zeigt gutes Verständnis von Rahmen in mehreren Sprachen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

Erstmalige erfolgreiche Anwendung: CLMs können effektiv für die semantische Rahmeninduktion eingesetzt werden und übertreffen traditionelle MLM-Methoden
Vorteile bei geringen Ressourcen: ICL-Methode zeigt enormes Potenzial in datenknappen Szenarien
Sprachübergreifende Effektivität: Methode zeigt hervorragende Leistung auf Englisch und Japanisch

Einschränkungen

Rechenressourcen: Großflächige CLMs erfordern erhebliche Rechenressourcen
Sprachabdeckung: Validierung nur auf Englisch und Japanisch; Generalisierbarkeit auf andere Sprachen unbekannt
Domänenanpassung: Anwendbarkeit in spezifischen Domänen erfordert weitere Verifikation

Zukünftige Richtungen

Mehrsprachige Erweiterung: Validierung der Methodeneffektivität in mehr Sprachen
Domänenanpassung: Erkundung der Anwendungseffekte in spezifischen Domänen
Effizienzoptimierung: Entwicklung effizienterer Trainings- und Inferenzmethoden

Tiefgreifende Bewertung

Stärken

Starke Innovation: Erstmalige systematische Anwendung von CLMs auf semantische Rahmeninduktion
Vollständige Methode: Bereitstellung von ICL- und DML-Optimierungsstrategien für unterschiedliche Ressourcenbedingungen
Umfassende Experimente: Vollständige Evaluierung über zwei Sprachen und mehrere Modelle
Praktischer Wert: Bereitstellung praktischer Lösungen für Rahmenkonstruktion in Sprachen mit geringen Ressourcen

Mängel

Theoretische Analyse: Mangel an tiefgreifender theoretischer Erklärung, warum CLMs bei dieser Aufgabe besser abschneiden
Rechenkosten: Unzureichende Diskussion des Rechenkosten-Vergleichs mit MLM-Methoden
Fehleranalyse: Mangel an detaillierter Analyse fehlgeschlagener Fälle
Generalisierbarkeit: Validierung nur auf FrameNet-Daten; Anwendbarkeit auf andere Rahmenressourcen unbekannt

Auswirkungen

Akademischer Beitrag: Eröffnung neuer technischer Wege für die semantische Rahmenforschung
Praktischer Wert: Bereitstellung praktischer Werkzeuge für mehrsprachige Rahmenkonstruktion
Reproduzierbarkeit: Bereitstellung detaillierter experimenteller Einstellungen und Hyperparameter-Konfigurationen

Anwendungsszenarien

Sprachen mit geringen Ressourcen: Sprachen mit knappen Rahmenressourcen
Domänenanpassung: Szenarien, die Rahmensysteme für spezifische Domänen erfordern
Schnelle Prototypisierung: Anwendungen, die schnelle Rahmensystem-Konstruktion benötigen

Literaturverzeichnis

Dieser Artikel zitiert wichtige Arbeiten aus mehreren Bereichen wie semantische Rahmen, Deep Metric Learning und Prompt-basiertes Lernen und bietet eine solide theoretische Grundlage für das Methodendesign. Besonders hervorzuheben sind die grundlegenden Arbeiten von Yamada et al. (2021, 2023) zur MLM-basierten Rahmeninduktion sowie die von Jiang et al. (2024) vorgeschlagene PromptEOL-Methode.

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das kausale Sprachmodelle erfolgreich in die Aufgabe der semantischen Rahmeninduktion einführt und in Bezug auf methodische Innovation, experimentelle Validierung und praktischen Wert erhebliche Beiträge leistet. Besonders der Durchbruch bei Sprachen mit geringen Ressourcen bietet wichtige Referenzen für die Entwicklung verwandter Bereiche.