تحسين المطالبات متعدد المراحل للتخفيف من الهلوسة في نماذج اللغة الكبيرة

المعلومات الأساسية

• معرّف الورقة: 2510.12032
• العنوان: Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models
• المؤلفون: Jung-Woo Shim, Yeong-Joon Ju, Ji-Hoon Park, Seong-Whan Lee
• المؤسسة: جامعة كوريا، قسم الذكاء الاصطناعي
• التصنيف: cs.CL cs.AI cs.LG
• تاريخ النشر: 14 أكتوبر 2025 (arXiv)
• رابط الورقة: https://arxiv.org/abs/2510.12032

الملخص

تُظهر نماذج اللغة الكبيرة تفوقاً في مهام فهم واستخراج اللغة الطبيعية، لكنها تواجه مشكلة الهلوسة، أي توليد معلومات تبدو معقولة لكنها خاطئة فعلياً. على الرغم من أن عوامل متعددة تسبب الهلوسة، إلا أن تأثير المطالبات سيئة الصيغة (التي تحتوي على صياغة غامضة وأخطاء نحوية أو معلومات غير مكتملة) لم يتم استكشافه بشكل كافٍ نسبياً. تقترح هذه الورقة إطار عمل تحسين المطالبات متعدد المراحل (MPR)، الذي يحسّن هذه المطالبات سيئة الصيغة بشكل منهجي عبر مراحل متعددة. تستخدم كل مرحلة نموذج لغة صغير مضبوط بدقة لمهمة محددة، لمعالجة مشاكل محددة مثل علامات الترقيم والأخطاء الإملائية وسوء استخدام الكلمات الرئيسية. يحسّن MPR وضوح المطالبة بشكل متكرر، ويستخدم آليات التأمل الذاتي والترتيب لتحديد أولويات المدخلات الأكثر صلة. تُظهر النتائج التجريبية أن المطالبات المحسّنة بواسطة MPR تحقق معدل فوز يزيد عن 85% مقارنة بالشكل الأصلي، مما يقلل الهلوسة بشكل فعال ويحسّن دقة مخرجات نموذج اللغة الكبير.

الخلفية البحثية والدافع

تعريف المشكلة

على الرغم من أن نماذج اللغة الكبيرة تتفوق في عدد من مهام معالجة اللغة الطبيعية، إلا أنها تواجه تحدياً رئيسياً: مشكلة الهلوسة، أي توليد النموذج لمعلومات تبدو معقولة لكنها خاطئة فعلياً. يكون هذا خطيراً بشكل خاص في المجالات الحرجة مثل الطب والتعليم، حيث يكون نقل المعلومات الدقيقة حاسماً.

قيود الطرق الموجودة

تركز الطرق الحالية للتخفيف من الهلوسة بشكل أساسي على:

1. تعديلات معمارية النموذج: تعديل آليات نموذج اللغة الكبير الداخلية، لكن بتكلفة حسابية عالية
2. تقنيات المعالجة اللاحقة: التحقق من المحتوى بعد التوليد، مما يزيد من تعقيد النظام والتأخير
3. الضبط الدقيق للتعلم المعزز: يتطلب موارد حسابية كبيرة، يصعب تطبيقه في الوقت الفعلي

عادة ما تتجاهل هذه الطرق عاملاً مهماً: جودة مطالبة المستخدم. تؤدي المطالبات سيئة الصيغة مباشرة إلى مخرجات غير دقيقة، لكن الحلول الموجودة غالباً ما تعتمد على نماذج كبيرة أو تقنيات كثيفة الحسابات.

الدافع البحثي

تؤمن هذه الورقة بأنه من خلال تحسين جودة المطالبات المدخلة بشكل منهجي، يمكن تقليل مشكلة الهلوسة من المصدر. بالمقارنة مع تعديل معمارية النموذج أو معالجة المخرجات لاحقاً، فإن تحسين المطالبات هو حل أخف وزناً وأكثر قابلية للتوسع.

المساهمات الأساسية

1. اقتراح إطار عمل MPR: أول إطار عمل متعدد المراحل منهجي يعالج مشكلة الهلوسة الناجمة عن المطالبات سيئة الصيغة
2. التصميم خفيف الوزن: استخدام نماذج لغة صغيرة (SLMs) بدلاً من النماذج الكبيرة، مما يقلل بشكل كبير من التكلفة الحسابية
3. عدم الاعتماد على النموذج: يمكن دمجه بسلاسة مع أي معمارية نموذج لغة كبير، بدرجة عالية من التكيف
4. التقييم الشامل: التحقق من الفعالية على مجموعات بيانات متعددة، مع معدل فوز يزيد عن 85%
5. التحقق من التوافقية: إثبات إمكانية الدمج مع طرق تخفيف الهلوسة الموجودة، مما يعزز الأداء بشكل أكبر

شرح الطريقة

تعريف المهمة

المدخل: مطالبة مستخدم سيئة الصيغة (تحتوي على أخطاء ترقيم وأخطاء إملائية ومشاكل نحوية وسوء استخدام المصطلحات) المخرج: مطالبة عالية الجودة محسّنة عبر مراحل متعددة الهدف: تقليل الهلوسة في محتوى نموذج اللغة الكبير المُولّد، وتحسين دقة وملاءمة المخرجات

معمارية النموذج

يتضمن إطار عمل MPR ثلاث مراحل رئيسية:

المرحلة 1: كشف الأخطاء وتصنيفها

استخدام نموذج لغة صغير مضبوط بدقة متخصص لتحديد أنواع الأخطاء في المطالبة، وتصنيفها إلى:

• أخطاء المرحلة 1: أخطاء ترقيم وحالة أحرف أساسية
• أخطاء المرحلة 2: أخطاء إملائية ونحوية
• أخطاء المرحلة 3: غموض دلالي وسوء استخدام المصطلحات

المرحلة 2: تنظيف المطالبات متعدد المراحل

بناءً على نوع الخطأ، استخدام نموذج لغة صغير متخصص مناسب للتصحيح:

المرحلة 1: تصحيح علامات الترقيم

المدخل: "what is the caPital of fRAnce?"
المخرج: "What is the capital of France?"

المرحلة 2: تصحيح الإملاء والنحو

المدخل: "See from spaiin moroco?"
المخرج: "Can you see Spain from Morocco?"

المرحلة 3: المحاذاة الدلالية وإعادة الصياغة

المدخل: "Tell me about transformers"
المخرج: "Can you explain how Transformer-based neural networks work?"

المرحلة 3: توليد الوصف التكراري

• توليد الوصف: إضافة معلومات السياق للمصطلحات الغامضة
• التحقق من التأمل الذاتي: تقييم كفاية الوصف وإيجازه
• ترتيب الارتباك: اختيار الوصف الأكثر تماسكاً وملاءمة
• التكامل الذكي: إضافة الأوصاف فقط عند الحاجة، لتحسين الكفاءة

نقاط الابتكار التقني

1. استراتيجية المعالجة المرحلية: أنواع الأخطاء المختلفة تتطلب طرق معالجة مختلفة، والمعالجة المرحلية أكثر دقة وفعالية
2. تخصص النموذج الصغير: يتم ضبط كل نموذج لغة صغير بدقة لمهمة محددة، مما يضمن الجودة مع الحفاظ على الكفاءة
3. تقنية ضبط QLoRA: استخدام التكيف منخفض الرتبة بكمية 4 بت، مما يقلل متطلبات الذاكرة مع الحفاظ على الأداء
4. توليد الوصف التكيفي: توليد الأوصاف ديناميكياً حسب الحاجة، تجنب النفقات الحسابية غير الضرورية

إعداد التجربة

مجموعات البيانات

بناء بيانات التدريب:

• مجموعة بيانات OLM Wikipedia: 10,000 إدخال نحوي مثالي لتحسين الترقيم والنحو
• مجموعة بيانات CoEdIT: تركز على التعديلات غير الدلالية للسلاسة والتماسك والأسلوب
• مجموعة بيانات MQR: 2,114 زوج أسئلة معاد صياغتها، لتدريب التحويل الدلالي المكافئ
• مجموعة بيانات Magpie: 300,000 زوج كلمة رئيسية-وصف، لتوليد شرح المصطلحات

مجموعات بيانات التقييم:

• مجموعة بيانات الاستعلام الجيد الصيغة: 8,000 استعلام مستخدم بدرجة جودة صيغة أقل من 0.5
• GSM8K: مجموعة بيانات مشاكل رياضية
• SQuAD: مجموعة بيانات فهم القراءة
• Natural Questions: مجموعة بيانات الأسئلة الطبيعية

استراتيجية التدمير: لاختبار الإطار بشكل شامل، تم إدخال أخطاء على ثلاث مستويات بشكل مقصود:

• المرحلة 1: أخطاء ترقيم أساسية
• المرحلة 2: أخطاء إملائية ونحوية
• المرحلة 3: أخطاء المصطلحات التقنية والاختصارات

مؤشرات التقييم

• مؤشر الهلوسة (HI): تحديد كمي لدقة الحقائق في المحتوى المُولّد (0-1، كلما انخفض كان أفضل)
• درجة جودة المحتوى (CQS): قياس الملاءمة والتماسك والجودة الإجمالية (0-1، كلما ارتفع كان أفضل)
• معدل الفوز (WR): نسبة مئوية لتفوق المطالبات المحسّنة بواسطة MPR على المطالبات الأصلية
• وقت المعالجة (T): تقييم كفاءة الإطار

طرق المقارنة

• SelfCheckGPT: طريقة كشف الهلوسة الصندوق الأسود بدون موارد
• CoVE: طريقة سلسلة التحقق
• DRESS: طريقة المحاذاة القائمة على التعليقات باللغة الطبيعية
• MixAlign: طريقة محاذاة المعرفة

تفاصيل التنفيذ

• الأجهزة: التدريب باستخدام GPU NVIDIA RTX A6000، الاستدلال باستخدام GPU NVIDIA TITAN V
• طريقة الضبط الدقيق: QLoRA (التكيف منخفض الرتبة بكمية 4 بت)
• المقيّم: واجهة برمجة تطبيقات GPT-3.5-turbo كمعيار تقييم رئيسي

نتائج التجربة

النتائج الرئيسية

الأداء على مجموعة بيانات الاستعلام الجيد الصيغة:

النتائج الرئيسية

1. تحسن متسق: يُظهر MPR تحسناً كبيراً عبر جميع النماذج المختبرة ومجموعات البيانات
2. الارتباط بمستوى التدمير: كلما زادت درجة التدمير، كان تحسن MPR أكثر وضوحاً
3. تأثير حجم النموذج: النماذج الأكبر (مثل LLaMA-3.2) تستفيد أكثر من خطوة توليد الوصف في MPR
4. الفعالية عبر المجالات: فعال في مهام مختلفة مثل الرياضيات (GSM8K) وفهم القراءة (SQuAD) والإجابة على الأسئلة (NQ)

تجارب الاستئصال

تُظهر النتائج أن كل مكون يساهم بشكل مهم في الأداء الإجمالي، حيث يكون التنظيف متعدد المراحل هو المكون الأكثر حساسية.

المقارنة مع الطرق الموجودة

لا يُظهر MPR أداءً متفوقاً بمفرده فحسب، بل يحقق نتائج أفضل عند دمجه مع الطرق الموجودة.

الأعمال ذات الصلة

طرق تخفيف الهلوسة

تنقسم الطرق الموجودة إلى ثلاث فئات رئيسية:

1. تعديلات المعمارية: تعديل آليات النموذج الداخلية، تكلفة حسابية عالية
2. التحقق اللاحق: التحقق من المحتوى بعد التوليد، يزيد من التأخير
3. التعلم المعزز: مكافأة الاستجابات الواقعية، يتطلب موارد حسابية كبيرة

تطبيقات نماذج اللغة الصغيرة

يمكن لنماذج اللغة الصغيرة من خلال الضبط الدقيق لمهام محددة تحقيق أداء ممتازة، وهي مناسبة بشكل خاص لـ:

• البيئات محدودة الموارد
• التطبيقات في الوقت الفعلي
• مهام المجالات المحددة

تقنيات تحسين المطالبات

تشمل الطرق التقليدية:

• إعادة صياغة المطالبات بواسطة نموذج اللغة الكبير (تكلفة حسابية عالية)
• تحسين التعلم المعزز التكراري
• تحسين التدخل البشري

حقق MPR تحسين المطالبات خفيف الوزن من خلال استخدام نماذج صغيرة.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

1. التحقق من الفعالية: يُظهر MPR أداءً ممتازاً في تقليل الهلوسة وتحسين جودة المخرجات
2. التصميم خفيف الوزن: يقلل بشكل كبير من التكلفة الحسابية مقارنة بالطرق الموجودة
3. قابلية التطبيق الواسعة: يمكن دمجه مع معماريات نماذج لغة متعددة وطرق تخفيف موجودة
4. القيمة العملية: يوفر حلاً قابلاً للتوسع للتطبيقات العملية

القيود

1. الخصوصية المجالية: قد لا تكون الأداء جيدة في المجالات المتخصصة مثل القانون والطب
2. قيود مؤشرات التقييم: لم تلتقط المؤشرات الموجودة بشكل كامل رضا المستخدم والسلاسة
3. درجة الأتمتة: على الرغم من الأتمتة الكاملة، قد تستفيد من أنظمة الإنسان في الحلقة

الاتجاهات المستقبلية

1. التخصص المجالي: تطوير استراتيجيات ضبط دقيق لمجالات محددة
2. التوسع متعدد الوسائط: توسيع الإطار إلى بيئات متعددة الوسائط مثل الصور والنصوص
3. التعاون بين الإنسان والآلة: دمج آليات التعليقات البشرية
4. نظام التقييم: تطوير طرق تقييم أكثر شمولاً وتركيزاً على المستخدم

التقييم المتعمق

المميزات

1. ابتكار قوي: أول محاولة منهجية لحل مشكلة الهلوسة من منظور جودة المطالبة
2. تصميم معقول: استراتيجية المعالجة متعددة المراحل موجهة لأنواع أخطاء مختلفة، دقيقة وفعالة
3. قيمة عملية عالية: يجعل التصميم خفيف الوزن تطبيقه ممكناً في البيئات محدودة الموارد
4. تجارب شاملة: تقييم شامل على مجموعات بيانات ونماذج متعددة
5. توافقية جيدة: يمكن دمجه مع الطرق الموجودة، مما يعزز الأداء بشكل أكبر

أوجه القصور

1. القيود المجالية: تحتاج الأداء في المجالات المتخصصة إلى التحقق
2. قيود اللغة: موجهة بشكل أساسي للغة الإنجليزية، دعم متعدد اللغات غير واضح
3. تقييم التعقيد: على الرغم من الادعاء بأنها خفيفة الوزن، إلا أن المعالجة متعددة المراحل لا تزال لها تعقيد معين
4. التأثيرات طويلة الأجل: لم يتم تقييم الأداء في الحوارات الطويلة أو المهام المعقدة

التأثير

1. القيمة الأكاديمية: توفر اتجاهاً بحثياً جديداً لتخفيف الهلوسة
2. القيمة العملية: توفر حلاً قابلاً للتطبيق لنشر نموذج اللغة الكبير
3. القابلية للتكرار: وصف الطريقة بالتفصيل، سهل التكرار والتحسين
4. قابلية التوسع: تصميم الإطار له إمكانية توسع جيدة

السيناريوهات المطبقة

• البيئات محدودة الموارد: أجهزة الحافة والتطبيقات المحمولة
• الأنظمة في الوقت الفعلي: أنظمة تفاعلية تتطلب استجابة سريعة
• التطبيقات الحساسة للجودة: التعليم والخدمة العملاء وغيرها من السيناريوهات التي تتطلب دقة عالية
• ترقية الأنظمة الموجودة: التكامل كمكون إضافي في أنظمة نموذج اللغة الكبير الموجودة

المراجع

تستشهد هذه الورقة بـ 27 مرجعاً مهماً، تغطي أحدث نتائج البحث في مجالات نماذج اللغة الكبيرة وكشف الهلوسة وهندسة المطالبات وتطبيقات النماذج الصغيرة وغيرها، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة تقترح حلاً مبتكراً لمعالجة مشكلة الهلوسة في نموذج اللغة الكبير. يتمتع إطار عمل MPR بتصميم دقيق وتجارب شاملة ونتائج مقنعة. على الرغم من وجود بعض القيود، فإن تصميمه خفيف الوزن وحدوده يجعله ذا قيمة عملية عالية وإمكانية توسع كبيرة.