2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.

Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.

academic

FrameEOL: কার্যকারণ ভাষা মডেল ব্যবহার করে শব্দার্থিক ফ্রেম আবেগ

মৌলিক তথ্য

পেপার আইডি: 2510.09097
শিরোনাম: FrameEOL: কার্যকারণ ভাষা মডেল ব্যবহার করে শব্দার্থিক ফ্রেম আবেগ
লেখক: চিহিরো ইয়ানো¹, কোসুকে ইয়ামাদা¹'², হায়াতো সুকাগোশি¹, রিয়োহেই সাসানো¹, কোইচি তাকেদা³
প্রতিষ্ঠান: ¹নাগোয়া বিশ্ববিদ্যালয়, ²সাইবার এজেন্ট, ³জাতীয় তথ্যবিজ্ঞান গবেষণা প্রতিষ্ঠান
শ্রেণীবিভাগ: cs.CL (গণনামূলক ভাষাবিজ্ঞান)
প্রকাশনার সময়: ২০২৫ সালের ১০ অক্টোবর (arXiv প্রাক-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.09097

সারসংক্ষেপ

শব্দার্থিক ফ্রেম আবেগ হল ফ্রেম-উদ্দীপক শব্দ দ্বারা জাগ্রত শব্দার্থিক ফ্রেমগুলির উপর ভিত্তি করে সেগুলিকে ক্লাস্টার করার কাজ। সম্প্রতি, BERT এর মতো মুখোশ ভাষা মডেল (MLM) থেকে প্রাপ্ত ফ্রেম-উদ্দীপক শব্দ এমবেডিং শব্দার্থিক ফ্রেম আবেগে উচ্চ কর্মক্ষমতা অর্জন করেছে। যদিও GPT এবং Llama সিরিজের মতো কার্যকারণ ভাষা মডেল (CLM) বিস্তৃত ভাষা বোঝার কাজে সাফল্য অর্জন করেছে এবং ফ্রেম বোঝার মতো কথোপকথন করতে পারে, তবে এখনও শব্দার্থিক ফ্রেম আবেগে প্রয়োগ করা হয়নি। এই পেপারটি CLM-ভিত্তিক শব্দার্থিক ফ্রেম আবেগের জন্য একটি নতুন পদ্ধতি FrameEOL প্রস্তাব করে, যা একটি ফ্রেম নাম লেবেল হিসাবে আউটপুট করার জন্য ফ্রেম এমবেডিং পেতে একটি প্রম্পট-ভিত্তিক পদ্ধতি। ফ্রেম আবেগের জন্য আরও উপযুক্ত এমবেডিং পেতে, আমরা প্রসঙ্গ-মধ্যে শেখা (ICL) এবং গভীর মেট্রিক শেখা (DML) ব্যবহার করি। পরীক্ষামূলক ফলাফল দেখায় যে এই পদ্ধতি ইংরেজি এবং জাপানি FrameNet ডেটাসেটে বিদ্যমান পদ্ধতিকে অতিক্রম করে। বিশেষত ব্যাপক ফ্রেম সম্পদের অভাব রয়েছে এমন জাপানি ভাষার জন্য, মাত্র ৫টি ICL উদাহরণ সহ CLM পদ্ধতি DML সূক্ষ্ম-সুর করা MLM পদ্ধতির সমতুল্য কর্মক্ষমতা অর্জন করেছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

শব্দার্থিক ফ্রেম আবেগ স্বয়ংক্রিয়ভাবে একই শব্দার্থিক ফ্রেম জাগ্রত করে এমন ক্রিয়া উদাহরণগুলি চিহ্নিত এবং ক্লাস্টার করার সমস্যা সমাধান করার লক্ষ্য রাখে। উদাহরণস্বরূপ, ক্রিয়া "lost" বিভিন্ন প্রসঙ্গে বিভিন্ন শব্দার্থিক ফ্রেম জাগ্রত করতে পারে:

"He lost the gold medal by just .02 points" → FINISH_COMPETITION ফ্রেম
"He lost his gold medal at the restaurant" → LOSING ফ্রেম

গবেষণার গুরুত্ব

১. সম্পদ স্বল্পতা: হাতে তৈরি শব্দার্থিক ফ্রেম সম্পদ নির্মাণের খরচ বিশাল, স্বয়ংক্রিয় নির্মাণ জরুরি প্রয়োজন হয়ে উঠেছে २. বহুভাষিক চাহিদা: ইংরেজি ছাড়া অন্যান্য ভাষার ফ্রেম সম্পদ অত্যন্ত সীমিত ३. ডোমেইন অভিযোজন: নির্দিষ্ট ডোমেইনের জন্য বিভিন্ন দানাদারিত্বের ফ্রেম প্রতিনিধিত্ব প্রয়োজন হতে পারে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. MLM উপর নির্ভরতা: বিদ্যমান পদ্ধতিগুলি প্রধানত BERT এর মতো মুখোশ ভাষা মডেলের উপর ভিত্তি করে २. সম্পদ নির্ভরতা: কার্যকর প্রশিক্ষণের জন্য প্রচুর মন্তব্যকৃত ডেটা প্রয়োজন ३. ভাষা সীমাবদ্ধতা: কম সম্পদ ভাষায় দুর্বল কর্মক্ষমতা

গবেষণা প্রেরণা

যদিও GPT-4o এর মতো আধুনিক CLM শব্দার্থিক ফ্রেম বোঝার ক্ষমতা প্রদর্শন করে (চিত্র ১-এ দেখানো ChatGPT উদাহরণের মতো), তবে এখনও শব্দার্থিক ফ্রেম আবেগ কাজে পদ্ধতিগতভাবে প্রয়োগ করা হয়নি। এই পেপারটি এই ফাঁক পূরণ করার লক্ষ্য রাখে।

মূল অবদান

१. CLM প্রথম প্রয়োগ শব্দার্থিক ফ্রেম আবেগে: FrameEOL পদ্ধতি প্রস্তাব করুন, ফ্রেম এমবেডিং পেতে PromptEOL প্রসারিত করুন २. বহু-কৌশল অপ্টিমাইজেশন: প্রসঙ্গ-মধ্যে শেখা (ICL) এবং গভীর মেট্রিক শেখা (DML) একত্রিত করে এমবেডিং গুণমান উন্নত করুন ३. বিদ্যমান পদ্ধতি অতিক্রম করুন: ইংরেজি FrameNet-এ সর্বোত্তম কর্মক্ষমতা অর্জন করুন, BcF স্কোর ৭१.९ এ পৌঁছান ४. কম সম্পদ ভাষা অগ্রগতি: জাপানি FrameNet-এ, মাত্র ৫টি ICL উদাহরণ সহ DML সূক্ষ্ম-সুর করা MLM এর সমতুল্য কর্মক্ষমতা অর্জন করুন ५. দ্বিভাষিক যাচাইকরণ: ইংরেজি এবং জাপানি ডেটাসেটে পদ্ধতির কার্যকারিতা যাচাই করুন

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

ইনপুট: ফ্রেম-উদ্দীপক ক্রিয়া সহ বাক্যের সেট আউটপুট: জাগ্রত শব্দার্থিক ফ্রেমের উপর ভিত্তি করে ক্রিয়া উদাহরণগুলি ক্লাস্টার করুন সীমাবদ্ধতা: পূর্বনির্ধারিত ফ্রেম লেবেল সেটের প্রয়োজন নেই

মডেল আর্কিটেকচার

३.१ FrameEOL মূল পদ্ধতি

FrameEOL PromptEOL দ্বারা অনুপ্রাণিত, বিশেষভাবে ডিজাইন করা প্রম্পট টেমপ্লেটের মাধ্যমে ফ্রেম এমবেডিং পান:

প্রম্পট টেমপ্লেট:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

মূল ডিজাইন:

[verb]: ফ্রেম-উদ্দীপক ক্রিয়া প্লেসহোল্ডার
[sentence]: সেই ক্রিয়া সহ বাক্য প্লেসহোল্ডার
চূড়ান্ত স্তরের শেষ টোকেন "is" এর এমবেডিং ফ্রেম এমবেডিং হিসাবে ব্যবহার করুন

३.२ প্রসঙ্গ-মধ্যে শেখা অপ্টিমাইজেশন (ICL)

কম সম্পদ ভাষার চ্যালেঞ্জ মোকাবেলা করতে, ICL পদ্ধতি প্রবর্তন করুন:

উদাহরণ নির্মাণ:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

সুবিধা: অল্প সংখ্যক উদাহরণ (৫-२০টি) এর মাধ্যমে কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করুন, বিশেষত প্রশিক্ষণ ডেটা স্বল্প পরিস্থিতিতে উপযুক্ত।

३.३ গভীর মেট্রিক শেখা অপ্টিমাইজেশন (DML)

ট্রিপলেট ক্ষতি ফাংশন ব্যবহার করে এমবেডিং স্থান অপ্টিমাইজ করুন:

$L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)$

যেখানে:

$x_a, x_p, x_n$ : অ্যাঙ্কর, ইতিবাচক নমুনা, নেতিবাচক নমুনার ফ্রেম এমবেডিং
$D(\cdot, \cdot)$ : স্বাভাবিকীকৃত এমবেডিংয়ের ইউক্লিডীয় দূরত্ব
$m$ : মার্জিন প্যারামিটার

বাস্তবায়ন বিবরণ:

প্যারামিটার-দক্ষ সূক্ষ্ম-সুর করার জন্য LoRA ব্যবহার করুন
LoRA rank r=८, α=३२
२० epoch প্রশিক্ষণ, ব্যাচ আকার ३२

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. প্রম্পট ডিজাইন উদ্ভাবন: PromptEOL এর সাধারণ বাক্য এমবেডিং পদ্ধতি ফ্রেম এমবেডিং কাজে বিশেষায়িত করুন २. দ্বৈত অপ্টিমাইজেশন কৌশল: ICL কম সম্পদ পরিস্থিতিতে উপযুক্ত, DML তদারকি পরিস্থিতিতে উপযুক্ত ३. প্যারামিটার-দক্ষ প্রশিক্ষণ: LoRA ব্যবহার করে গণনা সম্পদের প্রয়োজন হ্রাস করুন ४. ক্রস-ভাষা অভিযোজন: সহজ প্রম্পট অনুবাদের মাধ্যমে বহুভাষিক সমর্থন অর্জন করুন

পরীক্ষামূলক সেটআপ

ডেটাসেট

ইংরেজি FrameNet १.७

স্কেল: ८२,६१० উদাহরণ, ६४२ ফ্রেম, २,४९२ ক্রিয়া
বিভাজন: তিন-ভাঁজ ক্রস-যাচাইকরণ, গড় २७,५३७ প্রশিক্ষণ উদাহরণ
বৈশিষ্ট্য: পরীক্ষা সেট প্রশিক্ষণে অদেখা ফ্রেম অন্তর্ভুক্ত করে (গড় १३५.३/४३४.३)

জাপানি FrameNet

স্কেল: ३,१३० উদাহরণ, ३४४ ফ্রেম, ७६६ ক্রিয়া
বিভাজন: তিন-ভাঁজ ক্রস-যাচাইকরণ, গড় १,०४३ প্রশিক্ষণ উদাহরণ
চ্যালেঞ্জ: ইংরেজি ডেটাসেটের মাত্র ३.२%

মূল্যায়ন মেট্রিক্স

B-cubed নির্ভুলতা (BCP), স্মরণ (BCR) এবং F মান (BCF) প্রধান মূল্যায়ন মেট্রিক্স হিসাবে ব্যবহার করুন, BCF প্রধান মূল্যায়ন মান।

তুলনা পদ্ধতি

MLM বেসলাইন: BERTbase/large, ModernBERTbase/large, RoBERTalarge
ক্লাস্টারিং পদ্ধতি: এক-ধাপ ক্লাস্টারিং (গ্রুপ গড়) এবং দুই-ধাপ ক্লাস্টারিং (X-means + গ্রুপ গড়)
প্রশিক্ষণ সেটআপ: কোন সূক্ষ্ম-সুর এবং DML সূক্ষ্ম-সুর দুটি কনফিগারেশন

বাস্তবায়ন বিবরণ

মডেল: Gemma ३-१२B, Llama ३.१-८B ইত্যাদি
ICL সেটআপ: ५/१०/२० উদাহরণ, সর্বোচ্চ ক্রম দৈর্ঘ্য २०४८
হাইপারপ্যারামিটার: শেখার হার {३e-५, ५e-५, १e-४}, মার্জিন {०.१, ०.२, ०.५, १.०}

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

ইংরেজি FrameNet কর্মক্ষমতা

মডেল	প্রশিক্ষণ পদ্ধতি	এক-ধাপ ক্লাস্টারিং BCF	দুই-ধাপ ক্লাস্টারিং BCF
RoBERTalarge + DML	DML	६७.९	६९.६
Gemma ३ + DML	DML	७१.९	७०.६
Llama ३.१ + DML	DML	७०.८	७०.९

মূল আবিষ্কার:

CLM+DML পদ্ধতি সর্বোত্তম MLM পদ্ধতি উল্লেখযোগ্যভাবে অতিক্রম করে
Gemma ३ এক-ধাপ ক্লাস্টারিংয়ে সর্বোচ্চ ७१.९ BCF অর্জন করে
ICL পদ্ধতি উদাহরণ সংখ্যা বৃদ্ধির সাথে কর্মক্ষমতা উন্নতি করে

জাপানি FrameNet কর্মক্ষমতা

মডেল	প্রশিক্ষণ পদ্ধতি	এক-ধাপ ক্লাস্টারিং BCF	দুই-ধাপ ক্লাস্টারিং BCF
Japanese ModernBERTbase + DML	DML	६०.०	५८.४
LLM-jp-३ + DML	DML	६१.३	५९.२
Llama ३.१ + ICL(५-shot)	ICL	५९.९	५७.४

গুরুত্বপূর্ণ আবিষ্কার:

মাত্র ५টি ICL উদাহরণ DML এর সমতুল্য কর্মক্ষমতা অর্জন করে
কম সম্পদ ভাষায় CLM এর সুবিধা প্রমাণ করে

অপসারণ পরীক্ষা

"FrameNet" শব্দ প্রভাব বিশ্লেষণ

প্রম্পট থেকে "FrameNet" শব্দ সরানো কর্মক্ষমতা প্রভাব সীমিত:

ICL এবং DML সেটআপে কর্মক্ষমতা হ্রাস १% এর চেয়ে কম
মডেল প্রশিক্ষণে FrameNet জ্ঞানের উপর সহজভাবে নির্ভর করছে না প্রমাণ করে

পরীক্ষামূলক আবিষ্কার

१. CLM সুবিধা: পর্যাপ্ত প্রশিক্ষণ ডেটা থাকলে, CLM+DML MLM পদ্ধতি উল্লেখযোগ্যভাবে অতিক্রম করে २. ICL সম্ভাবনা: অল্প সংখ্যক উদাহরণ প্রতিযোগিতামূলক কর্মক্ষমতা অর্জন করতে পারে, বিশেষত কম সম্পদ পরিস্থিতিতে উপযুক্ত ३. ক্লাস্টারিং কৌশল: DML/ICL অপ্টিমাইজেশনের পরে, এক-ধাপ ক্লাস্টারিং ইতিমধ্যে যথেষ্ট কার্যকর ४. ক্রস-ভাষা ক্ষমতা: CLM ভাল বহুভাষিক ফ্রেম বোঝার ক্ষমতা প্রদর্শন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. প্রথম সফল প্রয়োগ: CLM শব্দার্থিক ফ্রেম আবেগে কার্যকরভাবে ব্যবহার করা যায়, ঐতিহ্যবাহী MLM পদ্ধতি অতিক্রম করে २. কম সম্পদ সুবিধা: ICL পদ্ধতি ডেটা স্বল্প পরিস্থিতিতে বিশাল সম্ভাবনা প্রদর্শন করে ३. ক্রস-ভাষা কার্যকারিতা: পদ্ধতি ইংরেজি এবং জাপানিতে উভয়ই চমৎকার কর্মক্ষমতা অর্জন করে

সীমাবদ্ধতা

१. গণনা সম্পদ: বড় আকারের CLM উল্লেখযোগ্য গণনা সম্পদ প্রয়োজন २. ভাষা কভারেজ: শুধুমাত্র ইংরেজি এবং জাপানিতে যাচাই করা হয়েছে, অন্যান্য ভাষায় সাধারণীকরণ অজানা ३. ডোমেইন অভিযোজন: নির্দিষ্ট ডোমেইনে প্রয়োগযোগ্যতা আরও যাচাইকরণের অপেক্ষায়

ভবিষ্যত দিকনির্দেশনা

१. বহুভাষিক সম্প্রসারণ: আরও ভাষায় পদ্ধতির কার্যকারিতা যাচাই করুন २. ডোমেইন অভিযোজন: নির্দিষ্ট ডোমেইনে প্রয়োগ প্রভাব অন্বেষণ করুন ३. দক্ষতা অপ্টিমাইজেশন: আরও দক্ষ প্রশিক্ষণ এবং অনুমান পদ্ধতি বিকাশ করুন

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো শব্দার্থিক ফ্রেম আবেগ কাজে CLM পদ্ধতিগতভাবে প্রয়োগ করুন २. সম্পূর্ণ পদ্ধতি: ICL এবং DML দুটি অপ্টিমাইজেশন কৌশল প্রদান করুন, বিভিন্ন সম্পদ শর্তে অভিযোজন করুন ३. ব্যাপক পরীক্ষা: দুটি ভাষা, একাধিক মডেলে সম্পূর্ণ মূল্যায়ন পরিচালনা করুন ४. ব্যবহারিক মূল্য: কম সম্পদ ভাষার ফ্রেম নির্মাণের জন্য সম্ভাব্য সমাধান প্রদান করুন

অপূর্ণতা

१. তাত্ত্বিক বিশ্লেষণ: CLM এই কাজে কেন আরও ভাল কর্মক্ষমতা করে তার গভীর তাত্ত্বিক ব্যাখ্যা অভাব २. গণনা খরচ: MLM পদ্ধতির সাথে গণনা খরচ তুলনা পর্যাপ্তভাবে আলোচনা করা হয়নি ३. ত্রুটি বিশ্লেষণ: ব্যর্থ কেসের বিস্তারিত বিশ্লেষণ অভাব ४. সাধারণীকরণ: শুধুমাত্র FrameNet ডেটায় যাচাই করা হয়েছে, অন্যান্য ফ্রেম সম্পদে প্রয়োগযোগ্যতা অজানা

প্রভাব

१. একাডেমিক অবদান: শব্দার্থিক ফ্রেম গবেষণার জন্য নতুন প্রযুক্তিগত পথ খুলে দেয় २. ব্যবহারিক মূল্য: বহুভাষিক ফ্রেম সম্পদ নির্মাণের জন্য ব্যবহারিক সরঞ্জাম প্রদান করে ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত পরীক্ষামূলক সেটআপ এবং হাইপারপ্যারামিটার কনফিগারেশন প্রদান করে

প্রয়োগযোগ্য পরিস্থিতি

१. কম সম্পদ ভাষা: ফ্রেম সম্পদ স্বল্প ভাষা २. ডোমেইন অভিযোজন: নির্দিষ্ট ডোমেইন ফ্রেম নির্মাণের প্রয়োজন পরিস্থিতি ३. দ্রুত প্রোটোটাইপিং: দ্রুত ফ্রেম সিস্টেম নির্মাণের প্রয়োজন প্রয়োগ

সংদর্ভ

এই পেপারটি শব্দার্থিক ফ্রেম, গভীর মেট্রিক শেখা, প্রম্পট-ভিত্তিক শেখা এবং অন্যান্য ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করেছে, যা পদ্ধতি ডিজাইনের জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে। বিশেষত মনোযোগের যোগ্য হল Yamada et al. (२०२१, २०२३) এর MLM-ভিত্তিক ফ্রেম আবেগে ভিত্তিস্থাপনকারী কাজ এবং Jiang et al. (२०२४) দ্বারা প্রস্তাবিত PromptEOL পদ্ধতি।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার যা সফলভাবে কার্যকারণ ভাষা মডেলকে শব্দার্থিক ফ্রেম আবেগ কাজে প্রবর্তন করে, পদ্ধতি উদ্ভাবন, পরীক্ষামূলক যাচাইকরণ এবং ব্যবহারিক মূল্যে উল্লেখযোগ্য অবদান রাখে। বিশেষত কম সম্পদ ভাষা পরিস্থিতিতে যুগান্তকারী কর্মক্ষমতা সম্পর্কিত ক্ষেত্রের উন্নয়নের জন্য গুরুত্বপূর্ণ রেফারেন্স প্রদান করে।