2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.

Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.

academic

FrameEOL: कारणात्मक भाषा मॉडल का उपयोग करके शब्दार्थ फ्रेम प्रेरण

मूल जानकारी

पेपर ID: 2510.09097
शीर्षक: FrameEOL: कारणात्मक भाषा मॉडल का उपयोग करके शब्दार्थ फ्रेम प्रेरण
लेखक: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
संस्थान: ¹नागोया विश्वविद्यालय, ²CyberAgent, ³राष्ट्रीय सूचना विज्ञान संस्थान
वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
प्रकाशन तिथि: 10 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.09097

सारांश

शब्दार्थ फ्रेम प्रेरण फ्रेम-सक्रिय शब्दों द्वारा जागृत शब्दार्थ फ्रेम के अनुसार उन्हें समूहबद्ध करने का कार्य है। हाल के वर्षों में, BERT जैसे मुखौटा भाषा मॉडल (MLMs) से प्राप्त फ्रेम-सक्रिय शब्द एम्बेडिंग ने शब्दार्थ फ्रेम प्रेरण में उच्च प्रदर्शन प्राप्त किया है। यद्यपि GPT और Llama श्रृंखला जैसे कारणात्मक भाषा मॉडल (CLMs) व्यापक भाषा समझ कार्यों में सफल रहे हैं और फ्रेम को समझने जैसी बातचीत कर सकते हैं, लेकिन अभी तक शब्दार्थ फ्रेम प्रेरण में लागू नहीं किए गए हैं। यह पेपर CLMs पर आधारित शब्दार्थ फ्रेम प्रेरण के लिए एक नई विधि FrameEOL प्रस्तावित करता है, जो एक प्रॉम्प्ट-आधारित विधि है जो एक फ्रेम नाम को लेबल के रूप में आउटपुट करने वाली फ्रेम एम्बेडिंग प्राप्त करने के लिए है। फ्रेम प्रेरण के लिए अधिक उपयुक्त एम्बेडिंग प्राप्त करने के लिए, हम संदर्भ-में-सीखना (ICL) और गहन मीट्रिक सीखना (DML) का उपयोग करते हैं। प्रयोगात्मक परिणाम अंग्रेजी और जापानी FrameNet डेटासेट पर मौजूदा विधियों से बेहतर प्रदर्शन दिखाते हैं। विशेष रूप से व्यापक फ्रेम संसाधनों की कमी वाली जापानी भाषा के लिए, केवल 5 ICL उदाहरणों का उपयोग करके CLM विधि DML माइक्रो-ट्यूनिंग के साथ MLM विधि के बराबर प्रदर्शन प्राप्त करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

शब्दार्थ फ्रेम प्रेरण का लक्ष्य यह स्वचालित रूप से पहचानना है कि कैसे समान शब्दार्थ फ्रेम वाले क्रिया उदाहरणों को समूहबद्ध किया जाए। उदाहरण के लिए, क्रिया "lost" विभिन्न संदर्भों में विभिन्न शब्दार्थ फ्रेम को जागृत कर सकती है:

"He lost the gold medal by just .02 points" → FINISH_COMPETITION फ्रेम
"He lost his gold medal at the restaurant" → LOSING फ्रेम

अनुसंधान का महत्व

संसाधन की कमी: शब्दार्थ फ्रेम संसाधनों का हाथ से निर्माण बहुत महंगा है, स्वचालित निर्माण एक तत्काल आवश्यकता है
बहुभाषी आवश्यकता: अंग्रेजी के अलावा अन्य भाषाओं के फ्रेम संसाधन अत्यंत सीमित हैं
डोमेन अनुकूलन: विशिष्ट डोमेन को विभिन्न दानेदारता के फ्रेम प्रतिनिधित्व की आवश्यकता हो सकती है

मौजूदा विधियों की सीमाएं

MLMs पर निर्भरता: मौजूदा विधियां मुख्य रूप से BERT जैसे मुखौटा भाषा मॉडल पर आधारित हैं
संसाधन निर्भरता: प्रभावी प्रशिक्षण के लिए बड़ी मात्रा में एनोटेट किए गए डेटा की आवश्यकता है
भाषा सीमा: कम संसाधन वाली भाषाओं पर खराब प्रदर्शन

अनुसंधान प्रेरणा

यद्यपि GPT-4o जैसे आधुनिक CLMs शब्दार्थ फ्रेम को समझने की क्षमता प्रदर्शित करते हैं (जैसा कि चित्र 1 में ChatGPT उदाहरण द्वारा दिखाया गया है), लेकिन अभी तक शब्दार्थ फ्रेम प्रेरण कार्य में व्यवस्थित रूप से लागू नहीं किए गए हैं। यह पेपर इस अंतर को भरने का लक्ष्य रखता है।

मुख्य योगदान

CLMs को शब्दार्थ फ्रेम प्रेरण में पहली बार लागू करना: FrameEOL विधि प्रस्तावित करना, फ्रेम एम्बेडिंग प्राप्ति के लिए PromptEOL का विस्तार करना
बहु-रणनीति अनुकूलन: संदर्भ-में-सीखना (ICL) और गहन मीट्रिक सीखना (DML) को एम्बेडिंग गुणवत्ता में सुधार के लिए जोड़ना
मौजूदा विधियों से परे: अंग्रेजी FrameNet पर सर्वोत्तम प्रदर्शन प्राप्त करना, BcF स्कोर 71.9 तक पहुंचना
कम संसाधन वाली भाषा में सफलता: जापानी FrameNet पर, केवल 5 ICL उदाहरणों के साथ DML माइक्रो-ट्यूनिंग MLM के बराबर प्रदर्शन प्राप्त करना
द्विभाषी सत्यापन: अंग्रेजी और जापानी दोनों डेटासेट पर विधि की प्रभावशीलता को सत्यापित करना

विधि विवरण

कार्य परिभाषा

इनपुट: फ्रेम-सक्रिय क्रिया युक्त वाक्यों का समूह आउटपुट: जागृत शब्दार्थ फ्रेम के अनुसार क्रिया उदाहरणों को समूहबद्ध करना बाधा: पूर्वनिर्धारित फ्रेम लेबल सेट की आवश्यकता नहीं है

मॉडल आर्किटेक्चर

3.1 FrameEOL मुख्य विधि

FrameEOL PromptEOL से प्रेरित है, विशेष रूप से डिज़ाइन किए गए प्रॉम्प्ट टेम्पलेट के माध्यम से फ्रेम एम्बेडिंग प्राप्त करता है:

प्रॉम्प्ट टेम्पलेट:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

मुख्य डिजाइन:

[verb]: फ्रेम-सक्रिय क्रिया प्लेसहोल्डर
[sentence]: उस क्रिया युक्त वाक्य प्लेसहोल्डर
अंतिम टोकन "is" की अंतिम परत एम्बेडिंग को फ्रेम एम्बेडिंग के रूप में उपयोग करना

3.2 संदर्भ-में-सीखना अनुकूलन (ICL)

कम संसाधन वाली भाषा चुनौतियों का सामना करने के लिए, ICL विधि का परिचय दिया गया है:

उदाहरण निर्माण:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

लाभ: कुछ उदाहरणों (5-20) के माध्यम से प्रदर्शन में महत्वपूर्ण सुधार, विशेष रूप से प्रशिक्षण डेटा की कमी वाले परिदृश्यों के लिए उपयुक्त।

3.3 गहन मीट्रिक सीखना अनुकूलन (DML)

ट्रिपलेट हानि फ़ंक्शन का उपयोग करके एम्बेडिंग स्पेस को अनुकूलित करना:

$L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)$

जहां:

$x_a, x_p, x_n$ : एंकर, सकारात्मक नमूना, नकारात्मक नमूना की फ्रेम एम्बेडिंग
$D(\cdot, \cdot)$ : सामान्यीकृत एम्बेडिंग की यूक्लिडियन दूरी
$m$ : मार्जिन पैरामीटर

कार्यान्वयन विवरण:

पैरामीटर-कुशल माइक्रो-ट्यूनिंग के लिए LoRA का उपयोग
LoRA rank r=8, α=32
20 epochs के लिए प्रशिक्षण, बैच आकार 32

तकनीकी नवाचार बिंदु

प्रॉम्प्ट डिजाइन नवाचार: PromptEOL की सामान्य वाक्य एम्बेडिंग विधि को फ्रेम एम्बेडिंग कार्य के लिए विशेषीकृत करना
दोहरी अनुकूलन रणनीति: ICL कम संसाधन परिदृश्यों के लिए उपयुक्त, DML पर्यवेक्षित परिदृश्यों के लिए उपयुक्त
पैरामीटर-कुशल प्रशिक्षण: कम्प्यूटेशनल संसाधन आवश्यकताओं को कम करने के लिए LoRA का उपयोग
क्रॉस-भाषा अनुकूलन: सरल प्रॉम्प्ट अनुवाद के माध्यम से बहुभाषी समर्थन प्राप्त करना

प्रयोगात्मक सेटअप

डेटासेट

अंग्रेजी FrameNet 1.7

आकार: 82,610 उदाहरण, 642 फ्रेम, 2,492 क्रिया
विभाजन: तीन-गुना क्रॉस-सत्यापन, औसत 27,537 प्रशिक्षण उदाहरण
विशेषता: परीक्षण सेट में प्रशिक्षण के दौरान अदेखे फ्रेम शामिल हैं (औसत 135.3/434.3)

जापानी FrameNet

आकार: 3,130 उदाहरण, 344 फ्रेम, 766 क्रिया
विभाजन: तीन-गुना क्रॉस-सत्यापन, औसत 1,043 प्रशिक्षण उदाहरण
चुनौती: अंग्रेजी डेटासेट का केवल 3.2%

मूल्यांकन मेट्रिक्स

B-cubed सटीकता (BCP), रिकॉल (BCR) और F-मान (BCF) का उपयोग मुख्य मूल्यांकन मेट्रिक्स के रूप में किया जाता है, BCF मुख्य मूल्यांकन मानदंड है।

तुलनात्मक विधियां

MLM आधारभूत: BERTbase/large, ModernBERTbase/large, RoBERTalarge
क्लस्टरिंग विधियां: एक-चरण क्लस्टरिंग (समूह औसत) और दो-चरण क्लस्टरिंग (X-means + समूह औसत)
प्रशिक्षण सेटअप: कोई माइक्रो-ट्यूनिंग नहीं और DML माइक्रो-ट्यूनिंग दोनों कॉन्फ़िगरेशन

कार्यान्वयन विवरण

मॉडल: Gemma 3-12B, Llama 3.1-8B आदि
ICL सेटअप: 5/10/20 उदाहरण, अधिकतम अनुक्रम लंबाई 2048
हाइपरपैरामीटर: सीखने की दर {3e-5, 5e-5, 1e-4}, मार्जिन {0.1, 0.2, 0.5, 1.0}

प्रयोगात्मक परिणाम

मुख्य परिणाम

अंग्रेजी FrameNet प्रदर्शन

मॉडल	प्रशिक्षण विधि	एक-चरण क्लस्टरिंग BCF	दो-चरण क्लस्टरिंग BCF
RoBERTalarge + DML	DML	67.9	69.6
Gemma 3 + DML	DML	71.9	70.6
Llama 3.1 + DML	DML	70.8	70.9

मुख्य निष्कर्ष:

CLM+DML विधि सर्वोत्तम MLM विधि से काफी बेहतर है
Gemma 3 एक-चरण क्लस्टरिंग में 71.9 BCF का उच्चतम प्राप्त करता है
ICL विधि उदाहरण संख्या बढ़ने के साथ प्रदर्शन में सुधार दिखाती है

जापानी FrameNet प्रदर्शन

मॉडल	प्रशिक्षण विधि	एक-चरण क्लस्टरिंग BCF	दो-चरण क्लस्टरिंग BCF
Japanese ModernBERTbase + DML	DML	60.0	58.4
LLM-jp-3 + DML	DML	61.3	59.2
Llama 3.1 + ICL(5-shot)	ICL	59.9	57.4

महत्वपूर्ण निष्कर्ष:

केवल 5 ICL उदाहरणों के साथ DML के बराबर प्रदर्शन प्राप्त करना
कम संसाधन वाली भाषाओं पर CLM के लाभ को प्रमाणित करता है

विलोपन प्रयोग

"FrameNet" शब्दावली प्रभाव विश्लेषण

प्रॉम्प्ट से "FrameNet" शब्दावली को हटाने का प्रदर्शन पर सीमित प्रभाव पड़ता है:

ICL और DML सेटअप में प्रदर्शन में 1% से कम गिरावट
यह प्रमाणित करता है कि मॉडल प्रशिक्षण में FrameNet ज्ञान पर सरलता से निर्भर नहीं है

प्रयोगात्मक निष्कर्ष

CLM लाभ: पर्याप्त प्रशिक्षण डेटा होने पर, CLM+DML MLM विधि से काफी बेहतर है
ICL संभावना: कुछ उदाहरणों के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करना, विशेष रूप से कम संसाधन परिदृश्यों के लिए उपयुक्त
क्लस्टरिंग रणनीति: DML/ICL अनुकूलन के बाद, एक-चरण क्लस्टरिंग पहले से ही पर्याप्त प्रभावी है
क्रॉस-भाषा क्षमता: CLM शब्दार्थ फ्रेम समझ में अच्छी बहुभाषी क्षमता प्रदर्शित करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

पहली बार सफल अनुप्रयोग: CLMs को शब्दार्थ फ्रेम प्रेरण के लिए प्रभावी ढंग से उपयोग किया जा सकता है, पारंपरिक MLM विधियों से बेहतर प्रदर्शन
कम संसाधन लाभ: ICL विधि डेटा की कमी वाले परिदृश्यों में विशाल संभावना प्रदर्शित करती है
क्रॉस-भाषा प्रभावशीलता: विधि अंग्रेजी और जापानी दोनों पर उत्कृष्ट प्रदर्शन प्राप्त करती है

सीमाएं

कम्प्यूटेशनल संसाधन: बड़े पैमाने पर CLM को महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता है
भाषा कवरेज: केवल अंग्रेजी और जापानी पर सत्यापित, अन्य भाषाओं पर सामान्यीकरण अज्ञात है
डोमेन अनुकूलन: विशिष्ट डोमेन पर प्रयोज्यता को आगे सत्यापन की आवश्यकता है

भविष्य की दिशाएं

बहुभाषी विस्तार: अधिक भाषाओं पर विधि की प्रभावशीलता को सत्यापित करना
डोमेन अनुकूलन: विशिष्ट डोमेन में अनुप्रयोग प्रभाव की खोज करना
दक्षता अनुकूलन: अधिक कुशल प्रशिक्षण और अनुमान विधियां विकसित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: शब्दार्थ फ्रेम प्रेरण में CLM को पहली बार व्यवस्थित रूप से लागू करना
पूर्ण विधि: ICL और DML दोनों अनुकूलन रणनीतियां प्रदान करना, विभिन्न संसाधन स्थितियों के अनुकूल
व्यापक प्रयोग: दो भाषाओं, कई मॉडलों पर व्यापक मूल्यांकन
व्यावहारिक मूल्य: कम संसाधन वाली भाषाओं के लिए फ्रेम निर्माण के लिए व्यावहारिक समाधान प्रदान करना

कमियां

सैद्धांतिक विश्लेषण: CLM इस कार्य पर बेहतर प्रदर्शन क्यों करता है इसके गहन सैद्धांतिक विश्लेषण की कमी
कम्प्यूटेशनल लागत: MLM विधि के साथ कम्प्यूटेशनल लागत तुलना पर पर्याप्त चर्चा नहीं
त्रुटि विश्लेषण: विफल मामलों का विस्तृत विश्लेषण नहीं
सामान्यीकरण: केवल FrameNet डेटा पर सत्यापित, अन्य फ्रेम संसाधनों पर प्रयोज्यता अज्ञात

प्रभाव

शैक्षणिक योगदान: शब्दार्थ फ्रेम अनुसंधान के लिए नई तकनीकी दिशा खोलना
व्यावहारिक मूल्य: बहुभाषी फ्रेम संसाधन निर्माण के लिए व्यावहारिक उपकरण प्रदान करना
पुनरुत्पादनीयता: विस्तृत प्रयोगात्मक सेटअप और हाइपरपैरामीटर कॉन्फ़िगरेशन प्रदान करना

प्रयोज्य परिदृश्य

कम संसाधन वाली भाषाएं: फ्रेम संसाधन दुर्लभ भाषाएं
डोमेन अनुकूलन: विशिष्ट डोमेन फ्रेम निर्माण की आवश्यकता वाले परिदृश्य
तीव्र प्रोटोटाइपिंग: फ्रेम सिस्टम का तीव्र निर्माण आवश्यक अनुप्रयोग

संदर्भ

यह पेपर शब्दार्थ फ्रेम, गहन मीट्रिक सीखना, प्रॉम्प्ट-आधारित सीखना आदि कई क्षेत्रों के महत्वपूर्ण कार्यों का हवाला देता है, जो विधि डिजाइन के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है। विशेष रूप से Yamada et al. (2021, 2023) द्वारा MLM-आधारित फ्रेम प्रेरण में अग्रणी कार्य, और Jiang et al. (2024) द्वारा प्रस्तावित PromptEOL विधि पर ध्यान देने योग्य है।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है जो कारणात्मक भाषा मॉडलों को शब्दार्थ फ्रेम प्रेरण कार्य में सफलतापूर्वक पेश करता है, विधि नवाचार, प्रयोगात्मक सत्यापन और व्यावहारिक मूल्य के संदर्भ में महत्वपूर्ण योगदान प्रदान करता है। विशेष रूप से कम संसाधन वाली भाषा परिदृश्यों में सफलता, संबंधित क्षेत्र के विकास के लिए महत्वपूर्ण संदर्भ प्रदान करती है।