2025-11-19T19:10:14.291595

FrameEOL: Semantic Frame Induction using Causal Language Models

Yano, Yamada, Tsukagoshi et al.

Semantic frame induction is the task of clustering frame-evoking words according to the semantic frames they evoke. In recent years, leveraging embeddings of frame-evoking words that are obtained using masked language models (MLMs) such as BERT has led to high-performance semantic frame induction. Although causal language models (CLMs) such as the GPT and Llama series succeed in a wide range of language comprehension tasks and can engage in dialogue as if they understood frames, they have not yet been applied to semantic frame induction. We propose a new method for semantic frame induction based on CLMs. Specifically, we introduce FrameEOL, a prompt-based method for obtaining Frame Embeddings that outputs One frame-name as a Label representing the given situation. To obtain embeddings more suitable for frame induction, we leverage in-context learning (ICL) and deep metric learning (DML). Frame induction is then performed by clustering the resulting embeddings. Experimental results on the English and Japanese FrameNet datasets demonstrate that the proposed methods outperform existing frame induction methods. In particular, for Japanese, which lacks extensive frame resources, the CLM-based method using only 5 ICL examples achieved comparable performance to the MLM-based method fine-tuned with DML.

academic

FrameEOL: استحثاث الإطارات الدلالية باستخدام نماذج اللغة السببية

المعلومات الأساسية

معرّف الورقة: 2510.09097
العنوان: FrameEOL: استحثاث الإطارات الدلالية باستخدام نماذج اللغة السببية
المؤلفون: Chihiro Yano¹, Kosuke Yamada¹'², Hayato Tsukagoshi¹, Ryohei Sasano¹, Koichi Takeda³
المؤسسات: ¹جامعة ناغويا، ²CyberAgent، ³معهد المعلومات الوطني
التصنيف: cs.CL (اللسانيات الحاسوبية)
تاريخ النشر: 10 أكتوبر 2025 (نسخة arXiv المسبقة)
رابط الورقة: https://arxiv.org/abs/2510.09097

الملخص

استحثاث الإطارات الدلالية هو مهمة تجميع الكلمات المثيرة للإطارات وفقاً للإطارات الدلالية التي تستحثها. حققت التضمينات المستخرجة من نماذج اللغة المقنعة (MLMs) مثل BERT أداءً عالياً في استحثاث الإطارات الدلالية في السنوات الأخيرة. على الرغم من نجاح نماذج اللغة السببية (CLMs) مثل سلاسل GPT و Llama في مهام فهم اللغة الواسعة وقدرتها على فهم الإطارات كما في الحوارات، إلا أنها لم تُطبّق بعد على استحثاث الإطارات الدلالية. تقترح هذه الورقة FrameEOL، وهي طريقة جديدة لاستحثاث الإطارات الدلالية قائمة على CLMs، وهي طريقة قائمة على المحفزات للحصول على تضمينات الإطارات التي تُخرج اسم إطار كعلامة. للحصول على تضمينات أكثر ملاءمة لاستحثاث الإطارات، نستفيد من التعلم السياقي (ICL) والتعلم المتري العميق (DML). تُظهر النتائج التجريبية أن الطريقة تتفوق على الطرق الموجودة على مجموعات بيانات FrameNet الإنجليزية واليابانية. بشكل خاص، بالنسبة للغة اليابانية التي تفتقر إلى موارد إطارات واسعة، حققت طريقة CLM باستخدام 5 أمثلة ICL فقط أداءً مماثلاً لطريقة MLM المضبوطة بـ DML.

خلفية البحث والدافع

تعريف المشكلة

يهدف استحثاث الإطارات الدلالية إلى حل كيفية التعرف التلقائي وتجميع حالات الأفعال التي تستحث نفس الإطار الدلالي. على سبيل المثال، قد يستحث الفعل "lost" في سياقات مختلفة إطارات دلالية مختلفة:

"He lost the gold medal by just .02 points" → إطار FINISH_COMPETITION
"He lost his gold medal at the restaurant" → إطار LOSING

أهمية البحث

ندرة الموارد: بناء موارد الإطارات الدلالية يدويًا مكلف جداً، مما يجعل البناء التلقائي ضرورة ملحة
الاحتياجات متعددة اللغات: الموارد الإطارية محدودة جداً خارج اللغة الإنجليزية
التكيف مع المجال: قد تتطلب المجالات المحددة تمثيلات إطارات بدرجات دقة مختلفة

قيود الطرق الموجودة

الاعتماد على MLMs: تعتمد الطرق الموجودة بشكل أساسي على نماذج اللغة المقنعة مثل BERT
الاعتماد على الموارد: تتطلب كميات كبيرة من البيانات المشروحة للتدريب الفعال
القيود اللغوية: الأداء الضعيفة على اللغات منخفضة الموارد

دافع البحث

على الرغم من أن نماذج اللغة السببية الحديثة مثل GPT-4o تُظهر قدرة على فهم الإطارات الدلالية (كما هو موضح في مثال ChatGPT في الشكل 1)، إلا أنها لم تُطبّق بشكل منهجي على مهمة استحثاث الإطارات الدلالية. تهدف هذه الورقة إلى سد هذه الفجوة.

المساهمات الأساسية

تطبيق أول لـ CLMs على استحثاث الإطارات الدلالية: اقتراح طريقة FrameEOL، توسيع PromptEOL للحصول على تضمينات الإطارات
تحسين متعدد الاستراتيجيات: دمج التعلم السياقي (ICL) والتعلم المتري العميق (DML) لتحسين جودة التضمين
تجاوز الطرق الموجودة: تحقيق أفضل أداء على FrameNet الإنجليزي بنقاط BcF تبلغ 71.9
اختراق اللغات منخفضة الموارد: على FrameNet اليابانية، تحقيق أداء مماثلة لـ MLM المضبوطة بـ DML باستخدام 5 أمثلة ICL فقط
التحقق ثنائي اللغة: التحقق من فعالية الطريقة على مجموعات البيانات الإنجليزية واليابانية

شرح الطريقة

تعريف المهمة

الإدخال: مجموعة من الجمل تحتوي على أفعال مثيرة للإطارات الإخراج: تجميع حالات الأفعال وفقاً للإطارات الدلالية المستحثة القيود: لا حاجة لمجموعة محددة مسبقاً من علامات الإطارات

معمارية النموذج

3.1 طريقة FrameEOL الأساسية

استُلهمت FrameEOL من PromptEOL، وتحصل على تضمينات الإطارات من خلال قالب محفز مصمم بعناية:

قالب المحفز:

The FrameNet frame evoked by "[verb]" in "[sentence]" is

التصاميم الرئيسية:

[verb]: عنصر نائب للفعل المثير للإطار
[sentence]: عنصر نائب للجملة التي تحتوي على هذا الفعل
استخدام تضمين الطبقة الأخيرة للرمز الأخير "is" كتضمين الإطار

3.2 تحسين التعلم السياقي (ICL)

لمعالجة تحديات اللغات منخفضة الموارد، يتم إدخال طريقة ICL:

بناء الأمثلة:

The FrameNet frame evoked by "wear" in "On his head he wore a white nightcap..." is Wearing.
The FrameNet frame evoked by "type" in "I typed it out for Diana Morrison." is Text_creation.
The FrameNet frame evoked by "kneel" in "He knelt up and leaned towards Lucien." is Change_posture.

The FrameNet frame evoked by "lost" in "He lost his gold medal at the restaurant." is

المزايا: تحسين الأداء بشكل كبير من خلال عدد قليل من الأمثلة (5-20)، وهو مناسب بشكل خاص للسيناريوهات التي تفتقر إلى بيانات التدريب.

3.3 تحسين التعلم المتري العميق (DML)

استخدام دالة خسارة ثلاثية الأطراف لتحسين فضاء التضمين:

$L_{tri} = \max(D(x_a, x_p) - D(x_a, x_n) + m, 0)$

حيث:

$x_a, x_p, x_n$ : تضمينات الإطار للنقطة الأساسية والعينة الموجبة والعينة السالبة
$D(\cdot, \cdot)$ : المسافة الإقليدية للتضمينات المعايرة
$m$ : معامل الهامش

تفاصيل التنفيذ:

استخدام LoRA للضبط الفعال من حيث المعاملات
LoRA rank r=8, α=32
التدريب لـ 20 حقبة، حجم الدفعة 32

نقاط الابتكار التقني

ابتكار تصميم المحفز: تخصيص طريقة PromptEOL من تضمينات الجمل العامة لمهمة تضمينات الإطارات
استراتيجية تحسين مزدوجة: ICL مناسبة للسيناريوهات منخفضة الموارد، DML مناسبة للسيناريوهات الموجهة
التدريب الفعال من حيث المعاملات: استخدام LoRA لتقليل متطلبات الموارد الحسابية
التكيف عبر اللغات: تحقيق الدعم متعدد اللغات من خلال ترجمة محفز بسيطة

إعداد التجارب

مجموعات البيانات

FrameNet الإنجليزي 1.7

الحجم: 82,610 حالة، 642 إطار، 2,492 فعل
التقسيم: التحقق المتقاطع ثلاثي الأضعاف، متوسط 27,537 حالة تدريب
الخصائص: تحتوي مجموعة الاختبار على إطارات لم تُرَ أثناء التدريب (متوسط 135.3/434.3)

FrameNet اليابانية

الحجم: 3,130 حالة، 344 إطار، 766 فعل
التقسيم: التحقق المتقاطع ثلاثي الأضعاف، متوسط 1,043 حالة تدريب
التحدي: 3.2% فقط من حجم مجموعة البيانات الإنجليزية

مقاييس التقييم

استخدام دقة B-cubed (BCP)، الاستدعاء (BCR)، وقيمة F (BCF) كمقاييس تقييم رئيسية، مع BCF كمعيار تقييم أساسي.

طرق المقارنة

خطوط الأساس MLM: BERTbase/large, ModernBERTbase/large, RoBERTalarge
طرق التجميع: التجميع أحادي الخطوة (المتوسط المجموعي) والتجميع ثنائي الخطوة (X-means + المتوسط المجموعي)
إعدادات التدريب: بدون ضبط وضبط DML

تفاصيل التنفيذ

النماذج: Gemma 3-12B, Llama 3.1-8B وغيرها
إعدادات ICL: 5/10/20 مثال، أقصى طول تسلسل 2048
المعاملات الفائقة: معدل التعلم {3e-5, 5e-5, 1e-4}، الهامش {0.1, 0.2, 0.5, 1.0}

نتائج التجارب

النتائج الرئيسية

أداء FrameNet الإنجليزي

النموذج	طريقة التدريب	BCF أحادي الخطوة	BCF ثنائي الخطوة
RoBERTalarge + DML	DML	67.9	69.6
Gemma 3 + DML	DML	71.9	70.6
Llama 3.1 + DML	DML	70.8	70.9

النتائج الرئيسية:

طريقة CLM+DML تتفوق بشكل كبير على أفضل طريقة MLM
Gemma 3 يحقق أعلى 71.9 BCF في التجميع أحادي الخطوة
طريقة ICL تحسن الأداء مع زيادة عدد الأمثلة

أداء FrameNet اليابانية

النموذج	طريقة التدريب	BCF أحادي الخطوة	BCF ثنائي الخطوة
Japanese ModernBERTbase + DML	DML	60.0	58.4
LLM-jp-3 + DML	DML	61.3	59.2
Llama 3.1 + ICL(5-shot)	ICL	59.9	57.4

النتائج المهمة:

تحقيق أداء مماثلة لـ DML باستخدام 5 أمثلة ICL فقط
إثبات مزايا CLM على اللغات منخفضة الموارد

تجارب الاستئصال

تحليل تأثير مصطلح "FrameNet"

إزالة مصطلح "FrameNet" من المحفز لها تأثير محدود على الأداء:

انخفاض الأداء أقل من 1% في إعدادات ICL و DML
إثبات أن النموذج لا يعتمد ببساطة على معرفة FrameNet من التدريب المسبق

نتائج التجارب

مزايا CLM: عند توفر بيانات تدريب كافية، CLM+DML يتفوق بشكل كبير على طرق MLM
إمكانية ICL: عدد قليل من الأمثلة يمكن أن يحقق أداءً تنافسياً، خاصة للسيناريوهات منخفضة الموارد
استراتيجية التجميع: بعد تحسين DML/ICL، التجميع أحادي الخطوة فعال بالفعل
القدرة عبر اللغات: تُظهر CLM فهماً جيداً للإطارات الدلالية متعددة اللغات

الأعمال ذات الصلة

أبحاث استحثاث الإطارات الدلالية

الطرق غير الموجهة: استخدام التضمينات السياقية من MLMs مثل BERT للتجميع
الطرق الموجهة: تحسين فضاء التضمين من خلال التعلم المتري العميق
التجميع ثنائي الخطوة: حل مشكلة التشتت الزائد في الطرق التقليدية

تضمينات النصوص القائمة على المحفزات

PromptBERT: استخدام التنبؤ المقنع للحصول على تضمينات الجمل
PromptEOL: استخدام قدرة التنبؤ بالكلمة التالية في CLM للحصول على التضمينات
مساهمة هذه الورقة: تخصيص طرق التضمين العامة لمهمة تضمينات الإطارات

الخلاصة والنقاش

الاستنتاجات الرئيسية

التطبيق الأول الناجح: يمكن استخدام CLMs بفعالية لاستحثاث الإطارات الدلالية، مع أداء تتفوق على طرق MLM التقليدية
مزايا منخفضة الموارد: تُظهر طريقة ICL إمكانات هائلة في السيناريوهات التي تفتقر إلى البيانات
الفعالية عبر اللغات: حققت الطريقة أداءً ممتازاً على اللغات الإنجليزية واليابانية

القيود

الموارد الحسابية: نماذج CLM على نطاق واسع تتطلب موارد حسابية كبيرة
تغطية اللغات: تم التحقق فقط على اللغات الإنجليزية واليابانية، والقابلية للتعميم على لغات أخرى غير معروفة
التكيف مع المجال: لا تزال قابلية التطبيق في المجالات المحددة بحاجة إلى مزيد من التحقق

الاتجاهات المستقبلية

التوسع متعدد اللغات: التحقق من فعالية الطريقة على لغات أكثر
التكيف مع المجال: استكشاف تأثيرات التطبيق في مجالات محددة
تحسين الكفاءة: تطوير طرق تدريب واستدلال أكثر كفاءة

التقييم المتعمق

المزايا

ابتكار قوي: أول تطبيق منهجي لـ CLM على استحثاث الإطارات الدلالية
طريقة شاملة: توفير استراتيجيتي تحسين ICL و DML، تناسب ظروف موارد مختلفة
تقييم شامل: تقييم شامل على لغتين وعدة نماذج
القيمة العملية: توفير حل عملي لبناء الإطارات للغات منخفضة الموارد

أوجه القصور

التحليل النظري: نقص التحليل النظري العميق لسبب أداء CLM الأفضل في هذه المهمة
التكاليف الحسابية: لم يتم مناقشة تكاليف الحساب بشكل كافٍ مقابل طرق MLM
تحليل الأخطاء: نقص التحليل التفصيلي لحالات الفشل
القابلية للتعميم: تم التحقق فقط على بيانات FrameNet، وقابلية التطبيق على موارد إطارات أخرى غير معروفة

التأثير

المساهمة الأكاديمية: فتح مسار تقني جديد لأبحاث الإطارات الدلالية
القيمة العملية: توفير أداة عملية لبناء موارد الإطارات متعددة اللغات
قابلية التكرار: توفير إعدادات تجريبية وتكوينات معاملات فائقة مفصلة

السيناريوهات المناسبة

اللغات منخفضة الموارد: اللغات التي تفتقر إلى موارد الإطارات
التكيف مع المجال: السيناريوهات التي تتطلب بناء إطارات خاصة بمجال معين
النماذج الأولية السريعة: التطبيقات التي تتطلب بناء أنظمة إطارات بسرعة

المراجع

تستشهد هذه الورقة بأعمال مهمة من عدة مجالات تشمل الإطارات الدلالية والتعلم المتري العميق والتعلم القائم على المحفزات، مما يوفر أساساً نظرياً متيناً لتصميم الطريقة. من الجدير بالملاحظة بشكل خاص أعمال Yamada et al. (2021, 2023) الأساسية في استحثاث الإطارات القائم على MLM، وطريقة PromptEOL المقترحة من قبل Jiang et al. (2024).

التقييم الشامل: هذه ورقة بحثية عالية الجودة نجحت في إدخال نماذج اللغة السببية إلى مهمة استحثاث الإطارات الدلالية، مع مساهمات كبيرة في الابتكار الطريقة والتحقق التجريبي والقيمة العملية. الأداء الرائدة بشكل خاص في السيناريوهات منخفضة الموارد توفر مرجعاً مهماً لتطوير المجالات ذات الصلة.