جملة واحدة، تضمينان: التعلم التباعدي للتمثيلات الدلالية الصريحة والضمنية

المعلومات الأساسية

• معرّف الورقة: 2510.09293
• العنوان: One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
• المؤلفون: Kohei Oda¹, Po-Min Chuang², Kiyoaki Shirai¹, Natthawut Kertkeidkachorn¹
• المؤسسات: ¹معهد العلوم والتكنولوجيا المتقدمة في اليابان، ²شركة توشيبا
• التصنيف: cs.CL (الحوسبة واللغة)
• تاريخ النشر: 10 أكتوبر 2025
• رابط الورقة: https://arxiv.org/abs/2510.09293v1

الملخص

حققت طرق تضمين الجمل تقدماً ملحوظاً، لكنها تواجه صعوبات في التقاط الدلالات الضمنية داخل الجملة. يعزى هذا إلى القيد المتأصل في طرق تضمين الجمل التقليدية التي تخصص متجهاً واحداً فقط لكل جملة. للتغلب على هذا القيد، تقترح هذه الورقة DualCSE، وهي طريقة تخصص تضمينين لكل جملة: أحدهما يمثل الدلالة الصريحة والآخر يمثل الدلالة الضمنية. يتعايش هذان التضمينان في فضاء مشترك، مما يتيح اختيار الدلالة المطلوبة لأغراض محددة مثل استرجاع المعلومات وتصنيف النصوص. تُظهر النتائج التجريبية أن DualCSE قادرة على ترميز الدلالات الصريحة والضمنية بفعالية وتحسين أداء المهام اللاحقة.

خلفية البحث والدافع

تعريف المشكلة

تعاني طرق تضمين الجمل الحالية من عيوب كبيرة في التعامل مع الدلالات الضمنية. أشار Sun وآخرون (2025) إلى أنه حتى أحدث طرق تضمين الجمل تُظهر فجوة في الأداء بنسبة تقارب 20% بين الدلالات الصريحة والضمنية على معيار تصنيف MTEB.

أهمية المشكلة

1. اكتمال فهم الدلالات: تحتوي اللغة الطبيعية على معانٍ حرفية (دلالات صريحة) وكذلك معانٍ مجازية أو براغماتية (دلالات ضمنية)
2. احتياجات التطبيقات العملية: تتطلب مهام مثل استرجاع المعلومات وتصنيف النصوص فهم مستويات دلالية مختلفة
3. قيود النماذج: تستخدم الطرق التقليدية متجهاً واحداً فقط لتمثيل الجملة، مما يتجاهل وجود تفسيرات متعددة

قيود الطرق الموجودة

• قيد المتجه الواحد: تُخصص كل جملة متجهاً تضمينياً واحداً فقط
• مزج الدلالات: عدم القدرة على التمييز بين الدلالات الصريحة والضمنية
• قدرة تمثيل غير كافية: صعوبة التقاط المعاني المتعددة للجملة

المساهمات الأساسية

1. اقتراح إطار عمل DualCSE: توليد متجهي تضمين لكل جملة، يمثل كل منهما دلالة صريحة وضمنية
2. تصميم دالة خسارة تباعدية جديدة: تحسين العلاقات بين الجمل والعلاقات داخل الجملة بآن واحد
3. بناء فضاء مشترك ثنائي الدلالة: تمكين التضمينات الصريحة والضمنية من المقارنة في نفس الفضاء
4. التحقق من فعالية الطريقة: إثبات تفوق الطريقة على مهام RTE و EIS
5. توفير القدرة على تقييم الضمنية: تقدير درجة الضمنية في الجملة

شرح الطريقة

تعريف المهمة

بالنظر إلى جملة s، تقوم DualCSE بترميزها إلى تضمينين:

• r: التضمين الذي يمثل الدلالة الصريحة
• u: التضمين الذي يمثل الدلالة الضمنية

معمارية النموذج

تصميم المشفر

تقترح الورقة معماريتي مشفر:

1. المشفر المتقاطع (Cross-encoder):
   • استخدام نموذج BERT/RoBERTa واحد
   • إدخال "CLS s SEP explicit" لتوليد التضمين الصريح r
   • إدخال "CLS s SEP implicit" لتوليد التضمين الضمني u
2. المشفر الثنائي (Bi-encoder):
   • استخدام نموذجي BERT/RoBERTa مستقلين
   • تدريب منفصل لتوليد r و u

دالة الخسارة التباعدية

دالة خسارة مصممة بناءً على مجموعة بيانات INLI:

v(h₁,h₂) = e^(sim(h₁,h₂)/τ)

lᵢ = -log(v(rᵢ,r⁺ᵢ₁)/∑ⱼ(v(rᵢ,r⁺ⱼ₁) + v(rᵢ,r⁻ⱼ) + v(rᵢ,uⱼ)))
     -log(v(uᵢ,r⁺ᵢ₂)/∑ⱼ(v(uᵢ,r⁺ⱼ₂) + v(uᵢ,r⁻ⱼ) + v(uᵢ,rⱼ)))
     -log(v(r⁺ᵢ₁,u⁺ᵢ₁)/∑ⱼv(r⁺ᵢ₁,u⁺ⱼ₁))
     -log(v(r⁺ᵢ₂,u⁺ᵢ₂)/∑ⱼv(r⁺ᵢ₂,u⁺ⱼ₂))
     -log(v(r⁻ᵢ,u⁻ᵢ)/∑ⱼv(r⁻ᵢ,u⁻ⱼ))

نقاط الابتكار التقني

1. التمثيل الدلالي الثنائي: تجاوز قيد المتجه الواحد، توفير تمثيلين مختلفي الأبعاد للجملة
2. نمذجة العلاقات بين الجمل وداخلها:
   • بين الجمل: تشابه المقدمة مع الفرضية المترتبة عليها، وعدم التشابه مع الفرضية المتناقضة
   • داخل الجملة: تقارب الدلالات الصريحة والضمنية للفرضية، وتباعدها للمقدمة
3. تصميم الفضاء المشترك: تمكين مقارنة أنواع مختلفة من الدلالات في نفس الفضاء

إعدادات التجربة

مجموعات البيانات

مجموعة بيانات INLI

• الحجم: 32,000 زوج في مجموعة التدريب، 4,000 في مجموعة التطوير، 4,000 في مجموعة الاختبار
• الخصائص: توفر أربع علامات فرضية لكل مقدمة
  • implied-entailment: الاستتباع الضمني
  • explicit-entailment: الاستتباع الصريح
  • neutral: محايد
  • contradiction: تناقض

مجموعة بيانات Wang وآخرون

• الحجم: 101,320 زوج في مجموعة التدريب، 5,630 في كل من مجموعات التطوير والاختبار
• الاستخدام: مهمة تقييم درجة الضمنية

مؤشرات التقييم

• مهمة RTE: الدقة (Accuracy)
• مهمة EIS: الدقة (Accuracy)

الطرق المقارنة

1. SimCSE (SNLI+MNLI): مدربة على مجموعات بيانات NLI القياسية
2. SimCSE (INLI): SimCSE مدربة على مجموعة بيانات INLI
3. ImpScore: طريقة متخصصة لتقييم درجة الضمنية
4. نماذج اللغة الكبيرة: GPT-4 و Gemini-1.5-Pro كمراجع

تفاصيل التنفيذ

• النموذج الأساسي: BERT-base و RoBERTa-base
• حجم الدفعة: 64 للمشفر المتقاطع، 32 للمشفر الثنائي
• معدل التعلم: 5e-5 للمشفر المتقاطع، 3e-5 للمشفر الثنائي
• معامل درجة الحرارة τ: 0.05

نتائج التجارب

النتائج الرئيسية

نتائج مهمة RTE

نتائج مهمة EIS

تجارب الاستئصال

تتحقق تجارب الاستئصال من أهمية مكونات دالة الخسارة:

الاكتشافات:

• حد التناقض أكثر أهمية لمهمة RTE
• العلاقات داخل الجملة أكثر أهمية لمهمة EIS

تحليل الحالات

مثال تجربة الاسترجاع

جملة الاستعلام: "She conquered his heart."

نتائج الاسترجاع للدلالة الصريحة:

1. "She defeated his heart in battle."(المعنى الحرفي للمعركة)
2. "She overcame his cardiac defenses."
3. "She vanquished his emotional barriers."

نتائج الاسترجاع للدلالة الضمنية:

1. "She won his affection and love."(معنى الحب)
2. "She captured his romantic interest."
3. "She gained his deep emotional attachment."

الأعمال ذات الصلة

طرق تضمين الجمل

• الطرق المستندة إلى BERT: Sentence-BERT و SimCSE وغيرها
• التعلم التباعدي: تطبيقاته في تضمين الجمل
• التمثيلات الدلالية المتعددة: أعمال قليلة تحاول التقاط معانٍ متعددة

فهم الدلالات الضمنية

• أبحاث البراغماتية: المعاني المحادثية والأفعال الكلامية غير المباشرة
• امتدادات الاستدلال على الاستتباع: من الاستدلال الصريح إلى الضمني
• تقييم درجة الضمنية: قياس درجة الضمنية في الجملة

مزايا هذه الورقة

1. النهج المنظم الأول: تمثيل ثنائي متخصص للدلالات الصريحة/الضمنية
2. التدريب من طرف إلى طرف: إطار عمل موحد لتعلم كلا نوعي الدلالات
3. قوة عملية عالية: قابلة للتطبيق المباشر على مهام NLP متعددة

الخلاصة والنقاش

الاستنتاجات الرئيسية

1. فعالية DualCSE: تتفوق على الطرق الأساسية على مهام RTE و EIS
2. قيمة التمثيل الثنائي: يساعد الفصل بين الدلالات الصريحة والضمنية فعلاً على الفهم
3. تصميم دالة الخسارة معقول: نمذجة العلاقات بين الجمل وداخلها مهمة
4. مرونة المعمارية: يعمل كل من المشفر المتقاطع والثنائي بفعالية

القيود

1. الاعتماد على مجموعة البيانات: التدريب على مجموعة بيانات INLI فقط، تنوع المجال محدود
2. مهام التقييم محدودة: التحقق على مهمتين فقط، يفتقر إلى تقييم أوسع
3. التكلفة الحسابية: الحاجة إلى توليد تضمينين لكل جملة تزيد من التكلفة الحسابية
4. التعميم عبر المجالات: الأداء على مجموعة بيانات Wang وآخرون أقل من الطرق المتخصصة

الاتجاهات المستقبلية

1. توسيع مجموعات البيانات: تحويل بيانات كشف خطاب الكراهية وتحليل المشاعر إلى صيغة INLI
2. دمج نماذج اللغة الكبيرة: توسيع الطريقة لتشمل نماذج اللغة الكبيرة
3. التطبيقات العملية: التحقق من الفعالية في سيناريوهات تحليل تقييمات العملاء ومحركات البحث
4. التحليل النظري: دراسة متعمقة للخصائص الرياضية للدلالات الصريحة/الضمنية

التقييم المتعمق

المزايا

1. تعريف المشكلة واضح: تحديد دقيق للمشكلة الأساسية في الطرق الموجودة
2. قوة الابتكار في الطريقة: التمثيل الدلالي الثنائي فكرة جديدة ومعقولة
3. تصميم التجارب شامل: يتضمن التجارب الرئيسية وتجارب الاستئصال والتحليل النوعي
4. قابلية التنفيذ التقني: توفير خيارات معمارية مختلفة
5. الكود مفتوح المصدر: يعزز إمكانية إعادة الإنتاج

أوجه القصور

1. الأساس النظري ضعيف: يفتقر إلى التحليل النظري لتمييز الدلالات الصريحة/الضمنية
2. نطاق التقييم محدود: التحقق على مهمتين فقط، قوة الإقناع غير كافية
3. مقارنة الخطوط الأساسية غير كافية: نقص المقارنة مع طرق تمثيل دلالي متعددة أخرى
4. تحليل الكفاءة مفقود: عدم تحليل التكلفة الحسابية للتضمينات الثنائية
5. القدرة عبر اللغات غير معروفة: التحقق على الإنجليزية فقط

التأثير

1. القيمة الأكاديمية: توفير منظور جديد لأبحاث تضمين الجمل
2. القيمة العملية: قابلة للتطبيق على مهام NLP التي تتطلب فهم المعاني الضمنية
3. الإلهام: قد تحفز المزيد من الأبحاث حول التمثيلات الدلالية المتعددة
4. القيود: قد يكون التأثير محدوداً بسبب عمومية الطريقة

السيناريوهات المناسبة

1. استرجاع المعلومات: البحث الذي يتطلب النظر في المعاني الحرفية والضمنية
2. تصنيف النصوص: تحليل المشاعر وتحديد النية وغيرها
3. أنظمة الحوار: فهم المعاني الخفية للمستخدم
4. مراقبة المحتوى: كشف المحتوى غير المناسب بطرق غير مباشرة
5. تعليم اللغات: مساعدة على فهم المعاني المتعددة للغة

المراجع

تستشهد هذه الورقة بأعمال مهمة من مجالات متعددة تشمل تضمين الجمل والاستدلال على الاستتباع الطبيعي والتعلم التباعدي، بما في ذلك:

• Gao et al. (2021): طريقة SimCSE
• Havaldar et al. (2025): مجموعة بيانات INLI
• Wang et al. (2025): طريقة تقييم درجة الضمنية
• Reimers and Gurevych (2019): Sentence-BERT

التقييم الشامل: هذه ورقة بابتكار تقني قوي، تقترح طريقة تمثيل دلالي ثنائي مثيرة للاهتمام وعملية. على الرغم من وجود مجال للتحسن في العمق النظري واتساع التقييم، فإنها تفتح اتجاهاً جديداً لأبحاث تضمين الجمل وتتمتع بقيمة أكاديمية وإمكانيات تطبيقية معينة.