2025-11-18T22:34:14.672296

FactAppeal: Identifying Epistemic Factual Appeals in News Media

Mor-Lan, Sheafer, Shenhav
How is a factual claim made credible? We propose the novel task of Epistemic Appeal Identification, which identifies whether and how factual statements have been anchored by external sources or evidence. To advance research on this task, we present FactAppeal, a manually annotated dataset of 3,226 English-language news sentences. Unlike prior resources that focus solely on claim detection and verification, FactAppeal identifies the nuanced epistemic structures and evidentiary basis underlying these claims and used to support them. FactAppeal contains span-level annotations which identify factual statements and mentions of sources on which they rely. Moreover, the annotations include fine-grained characteristics of factual appeals such as the type of source (e.g. Active Participant, Witness, Expert, Direct Evidence), whether it is mentioned by name, mentions of the source's role and epistemic credentials, attribution to the source via direct or indirect quotation, and other features. We model the task with a range of encoder models and generative decoder models in the 2B-9B parameter range. Our best performing model, based on Gemma 2 9B, achieves a macro-F1 score of 0.73.
academic

FactAppeal: تحديد الاستئنافات الحقائقية الإبستمولوجية في وسائل الإعلام

المعلومات الأساسية

  • معرّف الورقة: 2510.10627
  • العنوان: FactAppeal: تحديد الاستئنافات الحقائقية الإبستمولوجية في وسائل الإعلام
  • المؤلفون: Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav (جامعة العبرية بالقدس)
  • التصنيف: cs.CL (اللسانيات الحاسوبية)
  • تاريخ النشر: 12 أكتوبر 2025 (نسخة arXiv المسبقة)
  • رابط الورقة: https://arxiv.org/abs/2510.10627

الملخص

تقترح هذه الورقة مهمة جديدة ومبتكرة - تحديد الاستئنافات الإبستمولوجية (Epistemic Appeal Identification)، والتي تهدف إلى تحديد ما إذا كانت البيانات الحقائقية مدعومة بمصادر خارجية أو أدلة وكيفية ذلك. لتعزيز البحث في هذه المهمة، قام المؤلفون ببناء مجموعة بيانات FactAppeal التي تحتوي على تعليقات يدوية لـ 3,226 جملة إخبارية باللغة الإنجليزية. بخلاف الموارد السابقة التي تركز فقط على كشف المطالبات والتحقق منها، يحدد FactAppeal الهياكل الإبستمولوجية الدقيقة والأساس الدليلي الذي يدعم هذه المطالبات. تحتوي مجموعة البيانات على تعليقات على مستوى الامتداد تحدد البيانات الحقائقية والإشارات المصدرية التي تعتمد عليها. بالإضافة إلى ذلك، تتضمن التعليقات ميزات دقيقة الحبيبات للاستئنافات الحقائقية، مثل نوع المصدر (مثل المشاركين النشطين والشهود والخبراء والأدلة المباشرة)، وما إذا كانت مذكورة بالاسم، ودور المصدر والإشارات إلى المؤهلات الإبستمولوجية، والإسناد إلى المصادر من خلال الاقتباسات المباشرة أو غير المباشرة. استخدم المؤلفون نماذج مشفرة وفك تشفير توليدية بنطاق معاملات 2B-9B لنمذجة هذه المهمة، حيث حقق أفضل نموذج أداء بناءً على Gemma 2 9B درجة F1 ماكرو متوسطة بقيمة 0.73.

خلفية البحث والدافع

تعريف المشكلة

في عصر انتشار المعلومات الخاطئة والشكوك المتزايدة تجاه تقارير وسائل الإعلام، أصبح فهم كيفية تقديم البيانات الحقائقية مهماً أكثر من أي وقت مضى. لا تعتمد مصداقية البيان الحقائقي على محتواه فحسب، بل أيضاً على كيفية استئنافه إلى مصادر معرفة خارجية - سواء من خلال شهادة الخبراء أو البيانات الرسمية أو الأدلة التجريبية المباشرة.

قيود الطرق الموجودة

على الرغم من التقدم الجوهري في أبحاث كشف المطالبات والتحقق منها، تركز الطرق الموجودة بشكل أساسي على محتوى البيانات المعزولة، متجاهلة الهياكل الإبستمولوجية التي تمنح هذه البيانات المصداقية والقوة الإقناعية. تفتقر أطر كشف الحقائق التقليدية إلى فهم عميق لكيفية بناء ودعم المطالبات في وسائل الإعلام الإخبارية.

دافع البحث

  1. الحاجة إلى تحليل الهياكل الإبستمولوجية: فهم كيفية دعم البيانات الحقائقية من خلال مصادر السلطة الخارجية
  2. أبحاث مصداقية وسائل الإعلام: تحليل تدفق المعرفة وآليات التحقق في وسائل الإعلام الإخبارية
  3. تحسين التحقق الآلي من الحقائق: توفير أساس لتحقق من الحقائق أكثر وعياً بالسياق
  4. التطبيقات العلوم الاجتماعية: توفير أدوات لأبحاث الفلسفة السياسية والإبستمولوجيا الاجتماعية وأبحاث الاتصالات

المساهمات الأساسية

  1. اقتراح مهمة جديدة: تعريف مهمة تحديد الاستئنافات الإبستمولوجية للمرة الأولى، متجاوزة كشف الحقائق التقليدي، مع إدخال طبقة غنية من التفكير الإبستمولوجي
  2. بناء مجموعة بيانات معلقة: إنشاء مجموعة بيانات FactAppeal تحتوي على تعليقات دقيقة الحبيبات على مستوى الامتداد لـ 3,226 جملة إخبارية
  3. إنشاء نظام تصنيفي: تطوير تصنيف منظم للاستئنافات الإبستمولوجية بناءً على القرب من المصدر والحدث (داخلي مقابل خارجي) ونوع المصدر (بشري مقابل غير بشري)
  4. تنفيذ نماذج أساسية: إنشاء خطوط أساس للمهمة باستخدام نماذج المشفر والفك التشفير التوليدية، حيث يحقق أفضل نموذج درجة F1 ماكرو متوسطة بقيمة 0.73
  5. القيمة متعددة التخصصات: توفير أداة مهمة للسانيات الحاسوبية والعلوم الاجتماعية وأبحاث وسائل الإعلام

شرح الطريقة

تعريف المهمة

تتطلب مهمة تحديد الاستئنافات الإبستمولوجية:

  1. تحديد ما إذا كانت الجملة تقدم بياناً حقائقياً
  2. إن كان الأمر كذلك، تحديد كيفية استدعائها لمصادر خارجية أو أدلة لدعم هذا البيان
  3. تحديد مصادر السلطة الإبستمولوجية
  4. تصنيف نوع وطريقة الاستئناف

نظام التعليق

أنواع العلامات الرئيسية

  1. Fact Without Appeal: بيان حقائقي بدون استئناف إبستمولوجي
  2. Fact With Appeal: بيان حقائقي مع استئناف إبستمولوجي
    • المعدلات: اقتباس مباشر (Direct quote) / اقتباس غير مباشر (Indirect quote)
  3. Source: المصدر الإبستمولوجي المنسوب إليه البيان
    • حالة التسمية: مسمى (Named) / غير مسمى (Unnamed)
    • نوع المصدر: تصنيف من 7 أنواع
  4. Source Attribute: الخصائص الإبستمولوجية ذات الصلة للمصدر
  5. Recipient: الكيان الذي يستقبل المعلومات
  6. Appeal Time: الوقت الذي يحدث فيه الاستئناف
  7. Appeal Location: المكان الذي يحدث فيه الاستئناف

نظام تصنيف نوع المصدر

يتم بناء التصنيف على بعدين:

  • القرب من الحدث: داخلي (اتصال مباشر) مقابل خارجي (معرفة مهنية عامة)
  • طبيعة المصدر: بشري مقابل غير بشري

المصادر الداخلية (بناءً على الاتصال المباشر):

  • Active Participant: مشارك نشط في الحدث
  • Witness: مراقب يقدم شهادة من الدرجة الأولى
  • Official: مشارك يتمتع بسلطة قانونية أو سياسية أو بيروقراطية
  • Direct Evidence: دليل مباشر يتم العثور عليه في الموقع

المصادر الخارجية (بناءً على المعرفة المهنية):

  • Expert: عالم أو خبير يتمتع بخبرة متخصصة
  • Expert Document: وثائق بحثية وتقارير علمية ومؤسسية
  • News Report: الإشارة إلى تقارير إخبارية سابقة

نقاط الابتكار التقني

  1. التعليق على مستوى الامتداد: يسمح بالتمييز بين الاستئنافات الحقائقية والحقائق بدون استئناف والمكونات غير الحقائقية في نص واحد
  2. دعم العلامات المتداخلة: يمكن أن تتداخل أنواع مختلفة من العلامات، مما يدعم الهياكل الإبستمولوجية المعقدة
  3. ميزات دقيقة الحبيبات: التقاط معلومات متعددة الأبعاد بما في ذلك نوع المصدر وحالة التسمية وطريقة الاقتباس وغيرها
  4. تصنيف السلطة الإبستمولوجية: نظام منظم لتصنيف المصادر بناءً على نظرية إبستمولوجية

إعداد التجارب

مجموعة البيانات

  • الحجم: 3,226 جملة من مقالات إخبارية باللغة الإنجليزية من 2020-2022
  • المعلقون: معلقان (أحد المؤلفين ومساعد بحثي)
  • تقسيم البيانات: مجموعة التدريب 70%، مجموعة التطوير 15%، مجموعة الاختبار 15%
  • اتساق التعليق: متوسط IoU الكلي 0.74، Cohen's Kappa 0.82

مقاييس التقييم

  • دقة ماكرو متوسطة على مستوى الكلمات والاستدعاء ودرجة F1
  • تقييم التصنيف الثنائي متعدد العلامات لـ 18 فئة علامة

الطرق المقارنة

نماذج المشفر (التصنيف متعدد العلامات على مستوى الرمز):

  • RoBERTa (base, 125M)
  • DeBERTa v3 (base, 184M)
  • ModernBERT (base, 150M)

نماذج فك التشفير التوليدية (من تسلسل إلى تسلسل):

  • Gemma 2 (2B, 9B)
  • Llama 3.1 (8B)
  • Mistral v0.3 (7B)

تفاصيل التنفيذ

  • نماذج المشفر: التدريب باستخدام focal loss لمدة 12 حقبة كحد أقصى
  • نماذج فك التشفير: الضبط الدقيق باستخدام QLORA مع تكمية 4-bit، التدريب لمدة 3 حقب
  • الأجهزة: وحدة معالجة رسومات A100 واحدة (40GB VRAM)
  • معدل التعلم: 1e-5

نتائج التجارب

النتائج الرئيسية

النموذجالدقةالاستدعاءF1
Gemma 2 9B0.760.730.73
RoBERTa (base)0.750.670.70
Mistral v0.3 7B0.730.680.70
DeBERTa v3 (base)0.730.670.69
Llama 3.1 8B0.750.650.68

النتائج الرئيسية

  1. مزايا النماذج التوليدية: يحقق أكبر نموذج فك تشفير Gemma 2 9B أفضل أداء
  2. قيود نماذج المشفر: تظهر نماذج المشفر تبايناً أكبر في الأداء عبر الفئات المختلفة
  3. تأثير تكرار العلامة: ترتبط أداء نماذج المشفر بقوة أكبر بعدد العلامات (ρs = 0.72 مقابل 0.66)
  4. كشف نوع المصدر: تظهر أداء تعليق نوع المصدر ارتباطاً أقل بشعبية العلامة

تحليل الأداء حسب الفئة

  • كشف الحقائق: Fact w/o Appeal (0.89), Fact with Appeal (0.85)
  • كشف المصدر: Source (0.84), Source Attribute (0.79)
  • نوع الاقتباس: Indirect Quote (0.83), Direct Quote (0.80)
  • نوع المصدر: تباين أداء أكبر، Active Participant (0.54), News Report (0.68)

إحصائيات مجموعة البيانات

  • نسبة الجمل الحقائقية: أكثر من 80% من الجمل معلقة كحقائق
  • توزيع نوع الاستئناف: الحقائق بدون استئناف حوالي ضعف الحقائق مع استئناف
  • طريقة الاقتباس: 66% تستخدم إعادة الصياغة، 34% تستخدم الاقتباس المباشر
  • حالة التسمية: 64% من المصادر مذكورة بالاسم

الأعمال ذات الصلة

أبحاث التحقق من المطالبات

  • الأعمال المبكرة: التركيز على تحديد الأحداث القابلة للتحقق (Sauri and Pustejovsky, 2009)
  • المعايير الكبيرة: مجموعات بيانات FEVER و SciFact و FactRel وغيرها
  • القيود: التركيز بشكل أساسي على كشف المطالبات والعلاقات بين المطالبات، مع عدم وجود وصف كامل للأنماط الإبستمولوجية

الأنماط الإبستمولوجية واستخراج الحجج

  • الأنماط الإبستمولوجية: التقاط العلامات اللغوية للتأكد والمعتقد
  • استخراج الحجج: استكشاف كيفية بناء ودعم المطالبات في الخطاب
  • كشف الموقف الإبستمولوجي: نمذجة درجة التزام المصدر بالمطالبة

الإسناد المصدري وتحليل الاقتباس

  • كشف الاقتباس: كشف الاقتباسات وإسنادها إلى الكيانات
  • القيود: عادة لا تصنف المصادر حسب النوع أو تلتقط ما إذا كان الاستئناف يتم من خلال الكلام المباشر أو إعادة الصياغة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. جدوى المهمة: مهمة تحديد الاستئنافات الإبستمولوجية قابلة للتطبيق لكنها تظل تحديات
  2. مزايا النماذج التوليدية: تظهر النماذج التوليدية أداء أفضل في التعامل مع الهياكل الإبستمولوجية المعقدة
  3. قيمة التحليل الدقيق: يمكن للتعليق على مستوى الامتداد أن يكشف الهياكل الإبستمولوجية المعقدة في وسائل الإعلام الإخبارية

القيود

  1. قيود مستوى الجملة: استخدام التعليق على مستوى الجملة فقط، مما يحد من المعلومات السياقية التي يمكن التقاطها
  2. ربط المصدر والبيان: لا يربط التعليق الحالي بشكل صريح كل مصدر ببيانه المقابل
  3. نطاق اللغة والوقت: مقتصر على مقالات إخبارية باللغة الإنجليزية من 2020-2022
  4. حجم التعليق: حجم مجموعة البيانات نسبياً صغير، قد يؤثر على قدرة النموذج على التعميم

الاتجاهات المستقبلية

  1. التوسع إلى مستوى الفقرة/المقالة: نمذجة الهياكل الخطابية المعقدة في وحدات نصية أكبر
  2. التوسع متعدد اللغات: تطبيق على لغات وخلفيات ثقافية أخرى
  3. نمذجة علاقات المصدر والبيان: نمذجة صريحة للعلاقات المقابلة بين المصادر والبيانات
  4. تطبيق وسائل التواصل الاجتماعي: التوسع إلى أنواع خطاب أخرى مثل وسائل التواصل الاجتماعي
  5. تحليل الديناميكيات الزمنية: دراسة التغييرات الزمنية في أنماط الاستئنافات الإبستمولوجية

التقييم المتعمق

المزايا

  1. ابتكار المهمة: تعريف وبحث منهجي لمهمة تحديد الاستئنافات الإبستمولوجية للمرة الأولى، ملء فجوة بحثية مهمة
  2. أساس نظري قوي: بناء نظام تصنيفي على أساس نظريات إبستمولوجية ولسانية، مع أساس نظري متين
  3. جودة تعليق عالية: تعليق دقيق على مستوى الامتداد، اتساق معلقين جيد (Kappa=0.82)
  4. قيمة متعددة التخصصات: توفير مورد قيم للسانيات الحاسوبية والعلوم السياسية وأبحاث الاتصالات وغيرها
  5. تجارب شاملة: مقارنة معماريات نماذج متعددة، توفير تحليل أداء مفصل

أوجه القصور

  1. قيود حجم البيانات: حجم 3,226 جملة نسبياً صغير، قد يحد من أداء النموذج والقدرة على التعميم
  2. تعقيد التعليق: بعض فئات العلامات تحتوي على عينات نادرة، مما يؤثر على تعلم النموذج
  3. مقاييس التقييم الموحدة: استخدام درجة F1 بشكل أساسي، مع نقص مقاييس التقييم الخاصة بالمهمة
  4. تحليل الأخطاء غير كافٍ: نقص التحليل المتعمق لأنواع أخطاء النموذج
  5. التحقق من التطبيق العملي: عدم التحقق من الفعالية في مهام التحقق الآلي من الحقائق أو تحليل وسائل الإعلام الحقيقية

التأثير

  1. المساهمة الأكاديمية: فتح اتجاه بحثي جديد في مجال معالجة اللغة الطبيعية
  2. القيمة العملية: يمكن تطبيقها على التحقق الآلي من الحقائق وكشف انحياز وسائل الإعلام وبناء الرسوم البيانية للمعرفة وغيرها
  3. الأهمية الاجتماعية: تساعد على فهم وتحليل آليات نشر المعلومات والتحقق في وسائل الإعلام
  4. إمكانية إعادة الإنتاج: نشر البيانات والأكواد علناً، مما يسهل الأبحاث اللاحقة

السيناريوهات القابلة للتطبيق

  1. تحليل وسائل الإعلام الإخبارية: تحليل أنماط استخدام الأدلة في التقارير الإخبارية
  2. مساعدة التحقق من الحقائق: توفير معلومات سياقية أغنى لأنظمة التحقق الآلي من الحقائق
  3. تعليم محو الأمية الإعلامية: المساعدة في تحديد وتحليل استراتيجيات الاستئناف الإبستمولوجي في وسائل الإعلام
  4. تحليل الخطاب السياسي: دراسة أنماط الاستئناف للسلطة في الاتصالات السياسية
  5. بناء الرسوم البيانية للمعرفة: توفير أساس لبناء رسوم بيانية للمعرفة تتضمن علاقات الأدلة

المراجع

  • Thorne et al. (2018): مجموعة بيانات FEVER، استخراج والتحقق من الحقائق على نطاق واسع
  • Sauri and Pustejovsky (2009): العمل المبكر في كشف الحقائق
  • Da San Martino et al. (2019): التحليل الدقيق لتقنيات الدعاية
  • Collins and Evans (2002): الموجة الثالثة من أبحاث الخبرة والمعرفة
  • Anderson (2021): الفقاعات الإبستمولوجية والسياسة الاستبدادية

تقدم هذه الورقة مساهمة رائدة في مهمة تحديد الاستئنافات الإبستمولوجية الناشئة، حيث توفر ليس فقط مجموعة بيانات معلقة عالية الجودة، بل أيضاً إطار نظري منظم وخطوط أساس تجريبية. على الرغم من وجود مجال للتحسن في حجم البيانات وأداء النموذج، فإن قيمتها البحثية متعددة التخصصات وإمكانيات تطبيقها العملية تجعلها عملاً مهماً في هذا المجال.