2025-11-15T02:58:11.720673

Uncertainty Quantification for Hallucination Detection in Large Language Models: Foundations, Methodology, and Future Directions

Kang, Bakman, Yaldiz et al.
The rapid advancement of large language models (LLMs) has transformed the landscape of natural language processing, enabling breakthroughs across a wide range of areas including question answering, machine translation, and text summarization. Yet, their deployment in real-world applications has raised concerns over reliability and trustworthiness, as LLMs remain prone to hallucinations that produce plausible but factually incorrect outputs. Uncertainty quantification (UQ) has emerged as a central research direction to address this issue, offering principled measures for assessing the trustworthiness of model generations. We begin by introducing the foundations of UQ, from its formal definition to the traditional distinction between epistemic and aleatoric uncertainty, and then highlight how these concepts have been adapted to the context of LLMs. Building on this, we examine the role of UQ in hallucination detection, where quantifying uncertainty provides a mechanism for identifying unreliable generations and improving reliability. We systematically categorize a wide spectrum of existing methods along multiple dimensions and present empirical results for several representative approaches. Finally, we discuss current limitations and outline promising future research directions, providing a clearer picture of the current landscape of LLM UQ for hallucination detection.
academic

تحديد الكمية للعدم اليقين في كشف الهلوسة في نماذج اللغة الكبيرة: الأسس والمنهجية والاتجاهات المستقبلية

المعلومات الأساسية

  • معرّف الورقة: 2510.12040
  • العنوان: تحديد الكمية للعدم اليقين في كشف الهلوسة في نماذج اللغة الكبيرة: الأسس والمنهجية والاتجاهات المستقبلية
  • المؤلفون: Sungmin Kang, Yavuz Faruk Bakman, Duygu Nur Yaldiz, Baturalp Buyukates, Salman Avestimehr
  • التصنيف: cs.CL (اللسانيات الحاسوبية)
  • تاريخ النشر: 15 أكتوبر 2025 (نسخة أولية)
  • رابط الورقة: https://arxiv.org/abs/2510.12040

الملخص

أحدث التطور السريع لنماذج اللغة الكبيرة (LLMs) ثورة في مجال معالجة اللغات الطبيعية، محققة اختراقات في مجالات الإجابة على الأسئلة والترجمة الآلية وتلخيص النصوص. ومع ذلك، فإن نشرها في التطبيقات الواقعية يثير مخاوف بشأن الموثوقية والمصداقية، حيث تظل نماذج اللغة الكبيرة عرضة لإنتاج مخرجات هلوسة تبدو معقولة لكنها خاطئة من الناحية الواقعية. أصبح تحديد الكمية للعدم اليقين (UQ) اتجاهاً بحثياً أساسياً لمعالجة هذه المشكلة، حيث يوفر مقاييس منطقية لتقييم موثوقية ما يولده النموذج. تقدم هذه الورقة أولاً الأسس النظرية لتحديد الكمية للعدم اليقين، من التعريفات الرسمية إلى التمييز التقليدي بين عدم اليقين الإدراكي والعرضي، ثم تؤكد كيفية تكيف هذه المفاهيم مع سياق نماذج اللغة الكبيرة. بناءً على ذلك، نبحث دور تحديد الكمية للعدم اليقين في كشف الهلوسة، حيث يوفر تحديد الكمية للعدم اليقين آلية لتحديد التوليد غير الموثوق به وتحسين الموثوقية. نصنف الطرق الموجودة بشكل منهجي على طول عدة أبعاد ونعرض نتائج تجريبية لعدة طرق تمثيلية. أخيراً، نناقش القيود الحالية ونحدد اتجاهات البحث المستقبلية الواعدة.

السياق البحثي والدافع

المشكلة الأساسية

المشكلة الأساسية التي يسعى هذا البحث لحلها هي كيفية كشف وتحديد كمية ظاهرة الهلوسة في نماذج اللغة الكبيرة بفعالية. وتشمل بشكل محدد:

  1. تحدي كشف الهلوسة: تنتج نماذج اللغة الكبيرة بشكل متكرر مخرجات تبدو معقولة لكنها خاطئة من الناحية الواقعية، وهذا خطير بشكل خاص في المجالات عالية المخاطر مثل الطب والقانون والتسويق
  2. تقييم المصداقية: نقص الآليات الفعالة لتقييم موثوقية وثقة مخرجات النموذج
  3. تحديات تحديد الكمية للعدم اليقين: يصعب تطبيق طرق تحديد الكمية للعدم اليقين التقليدية بشكل مباشر على نماذج اللغة الكبيرة ذات التوليد الانحداري

أهمية المشكلة

  1. القيمة العملية: في سيناريوهات التطبيقات عالية المخاطر، قد تؤدي مخرجات النموذج الخاطئة إلى عواقب وخيمة
  2. مصداقية النموذج: تحسين مصداقية نماذج اللغة الكبيرة هو شرط أساسي لتطبيقها على نطاق واسع
  3. الأهمية النظرية: توفير أساس نظري لتحديد الكمية للعدم اليقين في النماذج التوليدية

قيود الطرق الموجودة

  1. عدم قابلية تطبيق طرق تحديد الكمية التقليدية: لا يمكن تطبيق طرق تحديد الكمية للعدم اليقين من مهام التصنيف بشكل مباشر على مهام التوليد المفتوحة
  2. نقص الإطار المنهجي: تفتقر طرق كشف الهلوسة الموجودة إلى إطار نظري موحد
  3. عدم اتساق معايير التقييم: تستخدم الطرق المختلفة مقاييس تقييم مختلفة، مما يجعل المقارنة العادلة صعبة

المساهمات الأساسية

  1. المساهمة النظرية: تكييف منهجي لنظرية تحديد الكمية للعدم اليقين التقليدية مع سيناريو التوليد في نماذج اللغة الكبيرة، مع التمييز الواضح بين كيفية ظهور عدم اليقين الإدراكي والعرضي في نماذج اللغة الكبيرة
  2. إطار تصنيف الطرق: اقتراح نظام تصنيف رباعي الأبعاد (الطرق المفاهيمية، متطلبات الأخذ بالعينات، إمكانية الوصول إلى النموذج، الاعتماد على التدريب)، مع تنظيم منهجي لأكثر من 30 طريقة تحديد كمية للعدم اليقين
  3. التقييم التجريبي: إجراء مقارنة تجريبية شاملة للطرق التمثيلية على عدة مجموعات بيانات، مع توفير نتائج التقييم المرجعية
  4. توجيه الاتجاهات المستقبلية: تحليل متعمق لقيود الطرق الحالية، مع اقتراح 7 اتجاهات بحثية مستقبلية محددة

شرح الطريقة

تعريف المهمة

الإدخال: الاستعلام x والإجابة المولدة من النموذج y الإخراج: درجة عدم اليقين UQ(x,y)، والتي يجب أن تكون مرتبطة سلباً بشكل مثالي بصحة الإجابة الهدف: تعظيم E1_{U(x₁,y₁)<U(x₂,y₂)} · 1_{y₁∈Y₁∧y₂∉Y₂}، أي يجب أن تحصل المخرجات الصحيحة على درجات عدم يقين أقل

إطار التصنيف الرباعي الأبعاد

1. بُعد الطرق المفاهيمية

  • طرق احتمالية الرموز: بناءً على الاحتمالية الشرطية للتسلسل المولد
    • احتمالية التسلسل الشرطي (CSP): CSP(y,x) = log P(y|x) = Σⱼ log P(yⱼ|y<ⱼ,x)
    • درجة التطبيع حسب الطول (LNS): متوسط احتمالية السجل لكل رمز
    • الإنتروبيا الدلالية: حساب الإنتروبيا بناءً على التجميع الدلالي
  • طرق اتساق المخرجات: التحقق من اتساق المخرجات من خلال أخذ عينات متعددة
    • إنتروبيا اللغة النواة (KLE): استخدام إنتروبيا فون نيومان لتحديد كمية النواة الدلالية
    • الكثافة الدلالية: تقدير كثافة الدعم للاستجابة في الفضاء الدلالي
  • فحص الحالات الداخلية: تحليل التمثيلات الداخلية للنموذج
    • مسافة ماهالانوبيس: قياس مسافة الحالة المخفية من توزيع التدريب
    • تحليل الانتباه: الاستفادة من أنماط أوزان الانتباه لكشف عدم اليقين
  • طرق الفحص الذاتي: التقييم الذاتي للنموذج
    • P(True): تقدير احتمالية صحة مخرجات النموذج
    • الثقة المصرح بها: السؤال المباشر للنموذج عن درجة الثقة

2. بُعد متطلبات الأخذ بالعينات

  • أخذ عينات واحدة: يتطلب استدلالاً واحداً فقط، كفاءة حسابية عالية
  • أخذ عينات متعددة: يتطلب استدلالات متعددة، تقدير عدم اليقين من خلال تنوع المخرجات

3. بُعد إمكانية الوصول إلى النموذج

  • الصندوق الأسود: الوصول فقط إلى نص المخرجات
  • الصندوق الرمادي: يمكن الوصول إلى معلومات داخلية جزئية مثل احتمالية الرموز
  • الصندوق الأبيض: الوصول الكامل إلى الحالات الداخلية والمعاملات للنموذج

4. بُعد الاعتماد على التدريب

  • الطرق الخاضعة للإشراف: تتطلب بيانات معلمة لتدريب مقدر عدم اليقين
  • الطرق غير الخاضعة للإشراف: تقدير عدم اليقين مباشرة من سلوك النموذج

نقاط الابتكار التقني

  1. التكييف النظري: تكييف ناجح لنظرية تحليل عدم اليقين البايزي مع النماذج التوليدية لنماذج اللغة الكبيرة
  2. التصنيف متعدد الأبعاد: توفير إطار تصنيف أكثر دقة من السابق للطرق المختلفة
  3. التقييم الموحد: إنشاء بروتوكول تقييم ونظام مؤشرات متسقة
  4. توسيع النصوص الطويلة: توسيع تحديد الكمية للعدم اليقين من الإجابات على الأسئلة القصيرة إلى سيناريوهات التوليد طويل النص

إعداد التجربة

مجموعات البيانات

  1. TriviaQA: 1000 عينة من الإجابة على الأسئلة المفتوحة، اختبار المعرفة الواقعية
  2. GSM8K: 1000 مسألة استدلال رياضي، اختبار القدرة على الاستدلال المنطقي
  3. FactScore-Bio: توليد نصوص طويلة من السيرة الذاتية، اختبار دقة البيانات المتعددة

مؤشرات التقييم

  1. المؤشرات المستقلة عن العتبة (الاستخدام الرئيسي):
    • AUROC: المساحة تحت منحنى خصائص التشغيل، النطاق 0.5-1.0
    • PRR: نسبة التنبؤ والرفض، قياس فعالية تصفية التنبؤات منخفضة الثقة
    • AUPRC: المساحة تحت منحنى الدقة والاستدعاء
  2. المؤشرات المعتمدة على العتبة:
    • الدقة والدقة والاستدعاء ودرجة F1 (تتطلب معايرة)

الطرق المقارنة

تقييم 17 طريقة تحديد كمية للعدم اليقين التمثيلية، بما في ذلك:

  • LARS و MARS و SAPLMA (الطرق الخاضعة للإشراف)
  • Semantic Entropy و SAR و KLE (الطرق غير الخاضعة للإشراف)
  • P(True) و Cross-Examination (طرق الفحص الذاتي)

تفاصيل التنفيذ

  • استخدام LLaMA-3-8B (مفتوح المصدر) و GPT-4o-mini (مغلق المصدر) كنموذجين
  • إجراء التقييم الموحد من خلال مكتبة TruthTorchLM
  • تطبيق طرق معايرة متعددة لضمان المقارنة العادلة

نتائج التجربة

النتائج الرئيسية

فئة الطريقةLLaMA-3 8B (TriviaQA)GPT-4o-mini (TriviaQA)LLaMA-3 8B (GSM8K)
LARS (خاضع للإشراف)0.861 AUROC0.852 AUROC0.834 AUROC
SAR (غير خاضع للإشراف)0.804 AUROC0.835 AUROC0.768 AUROC
Semantic Entropy0.799 AUROC0.813 AUROC0.699 AUROC
Verbalized Confidence0.759 AUROC0.836 AUROC0.579 AUROC

الاكتشافات الرئيسية

  1. مزايا الطرق الخاضعة للإشراف: تحقق طرق مثل LARS و SAPLMA أفضل أداء في معظم المهام
  2. الاختلاف حسب المهمة: تختلف الطرق المثلى لمهام مختلفة، على سبيل المثال، يحقق Multi-LLM Collab أفضل أداء على GSM8K مع GPT-4o-mini (0.933 AUROC)
  3. تحدي النصوص الطويلة: تنخفض أداء جميع الطرق بشكل كبير على FactScore-Bio، مما يشير إلى أن تحديد الكمية للعدم اليقين في النصوص الطويلة لا يزال تحدياً
  4. الاعتماد على النموذج: يختلف أداء الطريقة الواحدة بشكل كبير على نماذج مختلفة

اكتشافات التجارب الاستئصالية

  1. تأثير عدد العينات: تتحسن أداء طرق أخذ العينات المتعددة مع زيادة عدد العينات، لكن التأثير الهامشي يتناقص
  2. أهمية المعايرة: تحسن المعايرة المناسبة بشكل كبير من قابلية المقارنة بين الطرق المختلفة
  3. أهمية الميزات: في طرق الحالة الداخلية، تكون ميزات الطبقات الوسيطة أكثر فعالية من ميزات طبقة الإخراج

الأعمال ذات الصلة

الاتجاهات البحثية الرئيسية

  1. نظرية تحديد الكمية التقليدية: الشبكات العصبية البايزية والتعلم الجماعي وطرق المعايرة
  2. كشف الهلوسة في نماذج اللغة الكبيرة: التحقق من الحقائق والفحص المتسق والمساعدة بالأدوات الخارجية
  3. عدم اليقين في النماذج التوليدية: طرق تحديد الكمية للعدم اليقين على مستوى التسلسل

المزايا النسبية للورقة

  1. المنهجية: توفير أول مسح شامل وتصنيف لتحديد الكمية للعدم اليقين في نماذج اللغة الكبيرة
  2. العملية: التركيز على سيناريوهات التطبيق العملي لكشف الهلوسة
  3. الشمولية: تغطية الأسس النظرية وتصنيف الطرق والتقييم التجريبي والاتجاهات المستقبلية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. فعالية تحديد الكمية للعدم اليقين: تحديد الكمية للعدم اليقين أداة فعالة لكشف هلوسة نماذج اللغة الكبيرة
  2. تنوع الطرق: لكل نوع من أنواع طرق تحديد الكمية للعدم اليقين مزايا وعيوب، وتطبيقات مختلفة
  3. أهمية التقييم: إطار التقييم الموحد ضروري لمقارنة الطرق
  4. مجال التطور: لا يزال هناك عدد كبير من المشاكل النظرية والعملية غير المحلولة في هذا المجال

القيود

  1. مشكلة حدود المعرفة: معرفة نماذج اللغة الكبيرة لها حساسية زمنية، وتحديد الكمية للعدم اليقين لا يمكنه حل مشكلة المعلومات القديمة
  2. قابلية تفسير الدرجات: تفتقر معظم طرق تحديد الكمية للعدم اليقين إلى تفسير احتمالي بديهي للدرجات المنتجة
  3. التكلفة الحسابية: تتطلب الطرق الجماعية تكاليف حسابية عالية على نطاق نماذج اللغة الكبيرة
  4. تحدي النصوص الطويلة: لا تزال تحديد الكمية للعدم اليقين في توليد النصوص الطويلة تفتقر إلى حلول فعالة

الاتجاهات المستقبلية

  1. الأسس النظرية: تطوير نظرية أكثر صرامة لتحديد الكمية للعدم اليقين في النماذج التوليدية
  2. تحديد الكمية للعدم اليقين في النصوص الطويلة: تطوير تحديد كمية عدم اليقين على مستوى البيان للنصوص الطويلة
  3. تأثير استراتيجيات فك التشفير: دراسة تأثير استراتيجيات فك التشفير المختلفة على تحديد الكمية للعدم اليقين
  4. تحليل عدم اليقين الجديد: تجاوز التقسيم الثنائي التقليدي للإدراكي والعرضي
  5. التطبيقات العملية: دمج تحديد الكمية للعدم اليقين في الأنظمة العملية مثل الاستدلال والحوار

التقييم المتعمق

المزايا

  1. العمق النظري: تكييف منهجي لنظرية تحديد الكمية للعدم اليقين الكلاسيكية مع سياق نماذج اللغة الكبيرة، مع أساس نظري متين
  2. التصنيف الشامل: إطار التصنيف الرباعي الأبعاد واضح وشامل، مما يساعد على فهم خصائص الطرق المختلفة
  3. التجارب الكافية: إجراء مقارنة تجريبية شاملة على عدة مجموعات بيانات ونماذج
  4. القيمة العملية: توفير مكتبة تقييم قابلة للاستخدام المباشر ونتائج معايير
  5. الرؤية المستقبلية: تحليل متعمق للقيود واقتراح اتجاهات بحثية محددة

أوجه القصور

  1. الابتكار المحدود في الطرق: العمل بشكل أساسي استقصائي، مع مساهمات طرق أصلية نسبية محدودة
  2. عدم كفاية التجارب على النصوص الطويلة: تجارب تحديد الكمية للعدم اليقين على النصوص الطويلة نسبية بسيطة، والتحليل المتعمق غير كافٍ
  3. عمق التحليل النظري: يمكن أن يكون التحليل النظري للخصائص المختلفة للطرق أعمق
  4. تحليل الكفاءة الحسابية: نقص التحليل المنهجي للتعقيد الحسابي للطرق المختلفة

التأثير

  1. القيمة الأكاديمية: توفير إطار نظري مهم ومعايير تجريبية لبحث تحديد الكمية للعدم اليقين في نماذج اللغة الكبيرة
  2. القيمة العملية: توفير إرشادات عملية لتطبيق تحديد الكمية للعدم اليقين في الصناعة
  3. قابلية الاستنساخ: نشر مكتبة التقييم مفتوحة المصدر، مما يسهل استنساخ ومقارنة الأبحاث اللاحقة
  4. تقدم المجال: من المتوقع أن تصبح مرجعاً مهماً في هذا المجال

السيناريوهات المطبقة

  1. مرجع البحث: مناسب كمادة مدخل ومرجع لبحث تحديد الكمية للعدم اليقين في نماذج اللغة الكبيرة
  2. اختيار الطريقة: توفير إرشادات لاختيار طرق تحديد الكمية للعدم اليقين المناسبة في التطبيقات العملية
  3. التقييم المرجعي: توفير إطار تقييم موحد للطرق الجديدة
  4. مورد التدريس: يمكن استخدامه كمادة تدريسية للدورات ذات الصلة

المراجع

تستشهد الورقة بمراجع غنية ذات صلة، تشمل بشكل أساسي:

  • نظرية تحديد الكمية للعدم اليقين الكلاسيكية (الطرق البايزية والتعلم الجماعي)
  • طرق كشف الهلوسة في نماذج اللغة الكبيرة (التحقق من الحقائق والفحص المتسق)
  • طرق التقييم ومجموعات البيانات (TriviaQA و GSM8K و FactScore وغيرها)
  • أحدث طرق تحديد الكمية للعدم اليقين (Semantic Entropy و MARS و LARS وغيرها)

توفر هذه الورقة مسحاً شاملاً وعميقاً لمجال تحديد الكمية للعدم اليقين في نماذج اللغة الكبيرة، لا تقتصر على تنظيم الأسس النظرية والطرق الموجودة، بل توفر أيضاً نتائج معايير قيمة من خلال التجارب وتوجه البحث المستقبلي. بالنسبة للباحثين والممارسين في هذا المجال، هذا مرجع ذو قيمة كبيرة جداً.