2025-11-16T01:40:12.068255

Cross-Question Method Reuse in Large Language Models: From Word-Level Prediction to Rational Logical-Layer Reasoning

Su
Large language models (LLMs) have been widely applied to assist in finding solutions for diverse questions. Prior work has proposed representing a method as a pair of a question and its corresponding solution, enabling method reuse. However, existing approaches typically require the questions to be highly similar. In this paper, we extend the scope of method reuse to address questions with low similarity or with hidden similarities that are not explicitly observable. For questions that are similar in a general-specific sense (i.e., broader or narrower in scope), we propose to first separate the question and solution, rather than directly feeding the pair to the LLM. The LLM is then guided to adapt the solution to new but related questions, allowing it to focus on solution transfer rather than question recognition. Furthermore, we extend this approach to cases where questions only share partial features or hidden characteristics. This enables cross-question method reuse beyond conventional similarity constraints. Experimental verification shows that our scope-extension approach increases the probability of filtering out reusable solutions, thereby improving the effectiveness of cross-question method reuse.
academic

إعادة استخدام الطرق عبر الأسئلة في نماذج اللغة الكبيرة: من التنبؤ على مستوى الكلمات إلى التفكير المنطقي الرشيد على المستوى المنطقي

المعلومات الأساسية

  • معرّف الورقة: 2509.05660
  • العنوان: Cross-Question Method Reuse in Large Language Models: From Word-Level Prediction to Rational Logical-Layer Reasoning
  • المؤلف: Hong Su (كلية علوم الحاسوب، جامعة تشنغدو للمعلومات)
  • التصنيف: cs.CL (اللسانيات الحاسوبية)
  • المجلة المنشورة: Journal of LaTeX Class Files, Vol. 14, No. 8, August 2015
  • رابط الورقة: https://arxiv.org/abs/2509.05660v2

الملخص

تم تطبيق نماذج اللغة الكبيرة (LLMs) على نطاق واسع للمساعدة في حل مختلف المشاكل. اقترحت الأعمال السابقة تمثيل الطرق كأزواج من الأسئلة والحلول المقابلة لها لتحقيق إعادة استخدام الطرق. ومع ذلك، تتطلب الطرق الموجودة عادة تشابهاً عالياً بين الأسئلة. تعمل هذه الورقة على توسيع نطاق إعادة استخدام الطرق للتعامل مع الأسئلة ذات التشابه المنخفض أو التشابه الضمني. بالنسبة للأسئلة المتشابهة بالمعنى العام-الخاص، يقترح المؤلفون فصل الأسئلة والحلول أولاً بدلاً من إدخال الأزواج مباشرة في نموذج اللغة الكبيرة. ثم توجيه نموذج اللغة الكبيرة لتكييف الحل مع السؤال الجديد ذي الصلة، مما يركز على نقل الحل بدلاً من تحديد المشكلة. بالإضافة إلى ذلك، يمتد الأسلوب إلى الأسئلة التي تشترك فقط في ميزات جزئية أو خصائص مخفية. تُظهر التحقيقات التجريبية أن طريقة توسيع النطاق هذه تحسّن احتمالية تصفية الحلول القابلة لإعادة الاستخدام، مما يحسّن فعالية إعادة استخدام الطرق عبر الأسئلة.

السياق البحثي والدافع

تعريف المشكلة

تركز نماذج اللغة الكبيرة التقليدية بشكل أساسي على التدريب على مستوى الكلمات، من خلال التنبؤ بالرمز التالي أو ملء الرموز المفقودة. يعكس أسلوب التدريب هذا بشكل أساسي التزامن الإحصائي بدلاً من التفكير المنطقي على مستوى أعلى، وهو أشبه بالحدس أو مطابقة الأنماط بدلاً من اتخاذ القرارات الرشيدة.

دافع البحث

  1. قيود التفكير على مستوى الكلمات: تواجه نماذج اللغة الكبيرة القائمة على Transformer صعوبات في التفكير على مستوى الطريقة، وتميل إلى تفضيل الطرق التي تظهر بشكل متكرر في بيانات التدريب، حتى لو لم تكن مثالية.
  2. قيود إعادة استخدام الطرق: تتطلب أطر عمل إعادة استخدام الطرق الموجودة تشابهاً عالياً بين الأسئلة، مما يحد من نطاق تطبيقها.
  3. الحاجة إلى نقل المعرفة عبر المجالات: يمكن للبشر تطبيق حل مشكلة واحدة بالقياس على مشكلة جديدة تبدو غير ذات صلة، لكن نماذج اللغة الكبيرة الحالية تفتقر إلى هذه القدرة على إعادة استخدام الطرق عبر الأسئلة.

التحديات الأساسية

كيفية تمكين نماذج اللغة الكبيرة من إعادة استخدام الحلول الموجودة بفعالية حتى عندما يكون التشابه بين الأسئلة منخفضاً أو لا توجد ارتباطات واضحة.

المساهمات الأساسية

  1. توسيع نطاق إعادة استخدام الطرق: توسيع إعادة استخدام الطرق من حالات التشابه العالي إلى التعيينات العام-الخاص والعلاقات المخفية القائمة على الميزات.
  2. اقتراح نموذج إعادة استخدام الطرق عبر الأسئلة:
    • إعادة الاستخدام العلائقية: التعامل مع العلاقات العام-الخاص والعلاقات المتوازية
    • إعادة الاستخدام القائمة على الميزات: دعم مطابقة الميزات الجزئية وتحديد الخصائص المخفية
  3. إدخال مفهوم "طريقة الطرق" (Method of Methods, MoM): توفير طريقة على مستوى أعلى للتحقق من صحة وتحسين ورفع فعالية الطريقة الحالية المطبقة.
  4. الإطار النظري: الارتقاء من التنبؤ على مستوى الكلمات إلى التفكير على المستوى المنطقي، مما يحقق التطبيق الرشيد بدلاً من التطبيق الإحصائي البحت.

شرح الطريقة

تعريف المهمة

بالنظر إلى سؤال هدف Qt، في غياب حل مباشر، ابحث عن حلول قابلة لإعادة الاستخدام من مكتبة الطرق الموجودة، حتى لو كانت المشاكل الأصلية لهذه الطرق ذات تشابه منخفض مع السؤال الهدف أو لديها علاقات ضمنية.

معمارية النموذج

1. إعادة الاستخدام العلائقية

الطريقة العام-الخاص: إذا كانت طريقتان Ma و Mb تحل مجموعات الأسئلة Qma و Qmb على التوالي، وإذا تم استيفاء:

Qma ⊃ Qmb  (1)

فإن Ma أكثر عمومية من Mb، ويمكن إجراء إعادة استخدام عمودية.

الطرق المتوازية: تكون طريقتان متوازيتان إذا وفقط إذا كانت مجموعات الأسئلة الخاصة بهما مجموعات فرعية منفصلة من فئة أوسع:

Qma ∩ Qmb = ∅, Qma ⊂ Qg, Qmb ⊂ Qg  (2)

2. إعادة الاستخدام القائمة على الميزات

تعريف فضاء الميزات: بالنسبة للسؤال Q، يتم تعريف ميزاته على النحو التالي:

F(Q) ⊆ F, F(Q) = Fmeas(Q) ∪ Ftext(Q)  (3)

حيث Fmeas(Q) هي السمات الرقمية الصريحة، و Ftext(Q) هي الميزات المستخرجة من النص من خلال مشفر التعلم h(·).

تشابه الميزات:

Simfeat(Qa, Qb) = S(F(Qa), F(Qb))  (5)

شروط إعادة الاستخدام:

Reusefeat(Qb; Sa) = {
    1, if Simfeat(Qa, Qb) ≥ τ and Valid(Sa, Qb) = 1
    0, otherwise
}  (6)

3. الطريقة العالمية

الطريقة العالمية Gi = (Qgi, Sgi) لها قابلية تطبيق واسعة، ويمكن أن تكون بمثابة تحسين برنامج عام لتحسين موثوقية واتساق تنفيذ الطريقة.

4. طريقة الطرق (MoM)

يتم تنظيم MoM بشكل هرمي حسب العمق:

  • M(0): الطرق المباشرة، Q ↦ S
  • M(1): طرق من الدرجة الأولى، M(0) ↦ M(0)'
  • M(i+1): طرق من الدرجة (i+1)، M(i) ↦ M(i)'

نقاط الابتكار التقني

  1. استراتيجية فصل السؤال-الحل: عدم إدخال أزواج السؤال-الحل مباشرة في نموذج اللغة الكبيرة، بل فصلها أولاً ثم توجيه نموذج اللغة الكبيرة لإجراء نقل الحل.
  2. تحديد التشابه متعدد المستويات:
    • مطابقة الميزات الصريحة
    • استدلال الخصائص المخفية
    • إعادة استخدام قالب الطريقة الشاملة
  3. آلية التحقق الهرمية: التأكد من الصحة المنطقية للحل في السياق الجديد من خلال دالة Valid.

إعداد التجربة

مجموعات البيانات

تستخدم التجارب سيناريوهات اختبار من نوعين:

  1. اختبار إعادة الاستخدام العلائقية: مشكلة تحديد طازة الموز، إعادة استخدام الطريقة العامة لطازة الفاكهة
  2. اختبار إعادة الاستخدام القائمة على الميزات: مشكلة إعادة تعيين وقت استخدام القرص الصلب، إعادة استخدام خبرة معالجة ملفات MP3

مقاييس التقييم

  • تشابه جيب التمام: قياس درجة محاذاة الحل المُنتج مع الطريقة المستهدفة
  • اختبار الدلالة الإحصائية: استخدام اختبار t للعينات المستقلة لتقييم الاختلافات بين الطرق

الطرق المقارنة

  1. RelaMethod مقابل CompareRela: تقييم تأثير إعادة الاستخدام العلائقية
  2. featureMethd مقابل compareMP3Method: تقييم تأثير إعادة الاستخدام القائمة على الميزات

تفاصيل التنفيذ

  • اختبار كل طريقة 20 دورة
  • استخدام اختبار Welch's t للتحليل الإحصائي
  • مقارنة فقط أجزاء النص ذات الصلة بالطريقة المستهدفة لتقليل الضوضاء

نتائج التجربة

النتائج الرئيسية

تجربة إعادة الاستخدام العلائقية:

  • متوسط تشابه RelaMethod: 0.4835 (الانحراف المعياري: 0.0801)
  • متوسط تشابه CompareRela: 0.2820 (الانحراف المعياري: 0.0558)
  • قيمة t: 9.23، قيمة p: 8.98×10^-11 (p < 0.05)
  • الخلاصة: RelaMethod متفوق بشكل ملحوظ على طريقة الأساس

تجربة إعادة الاستخدام القائمة على الميزات:

  • متوسط تشابه featureMethd: 0.2945 (الانحراف المعياري: 0.0698)
  • متوسط تشابه compareMP3Method: 0.3983 (الانحراف المعياري: 0.0670)
  • قيمة t: -4.80، قيمة p: 2.52×10^-5 (p < 0.05)
  • الخلاصة: هناك فرق ملحوظ بين الطريقتين

التحليل المقارن

مقارنة الطرقمتوسط الفرقمتوسط التشابهالنسبة النسبيةنوع إعادة الاستخدام
RelaMethod مقابل CompareRela0.20150.351057.4%إعادة استخدام تابعة
featureMethd مقابل compareMP3Method0.10380.072614.3%ارتباط جزئي

النتائج التجريبية

  1. استقرار إعادة الاستخدام العلائقية: تُظهر إعادة الاستخدام العلائقية المعتمدة على الاتصالات الهيكلية أداءً أكثر استقراراً من إعادة الاستخدام القائمة على الميزات المعتمدة على التداخل الجزئي.
  2. تأثير الفصل الصريح: يكون توجيه نموذج اللغة الكبيرة لإنشاء أزواج السؤال-الحل أكثر فعالية من توفير المواد مباشرة.
  3. الدلالة الإحصائية: يكون الفصل الإحصائي لإعادة الاستخدام العلائقية أقوى (قيمة t 9.23 مقابل 4.80)، مما يشير إلى نتائج أكثر موثوقية.

التحليل النظري

إعادة الاستخدام على المستوى المنطقي

تتعلم نماذج اللغة الكبيرة التقليدية التوزيع P(wt+1|w1,w2,...,wt) على مستوى الرمز، وتلتقط بشكل أساسي أنماط التزامن الإحصائي. يحقق هذا الإطار إعادة استخدام التعيين على المستوى المنطقي من خلال تمثيل الطريقة M=(Q,S):

R: (Qa, Sa) → (Qb, Sa)  (15)

إعادة الاستخدام الرشيدة

بخلاف الاختيار المستند إلى احتمالية الرمز، تستند إعادة استخدام الطريقة إلى القابلية المنطقية:

Preuse(Ss|Qt) ∝ Simlogic(Qt, Qs) · I[Ss valid]  (19)

مما يضمن أن إعادة الاستخدام تستند إلى القابلية المنطقية للنقل بدلاً من التكرار الإحصائي.

الأعمال ذات الصلة

أبحاث التفكير في نماذج اللغة الكبيرة

  • موجهات سلسلة الفكر: تحسين أداء التفكير من خلال إنشاء خطوات وسيطة
  • الاتساق الذاتي: تحسين الاستقرار من خلال أخذ عينات متعددة المسارات
  • شجرة/رسم بياني الفكر: التوسع إلى هياكل بحث أكثر تعقيداً

تمثيل الطرق وإعادة الاستخدام

  • الذكاء الرمزي: تحليل المعرفة إلى مكونات قابلة لإعادة الاستخدام
  • تركيب البرنامج: إعادة استخدام المشغلات المجردة لحل مهام جديدة
  • التفكير القائم على الحالات (CBR): حل المشاكل الجديدة من خلال القياس

التعلم المنقول والاستدلال الفوقي

  • النماذج المدربة مسبقاً: قدرات نقل المهام لـ T5 و GPT-4 وغيرها
  • الموجهات المحسّنة بالاسترجاع: توجيه الاستدلال من خلال استرجاع الأمثلة المتشابهة
  • آليات الانعكاس: تحسين التغذية الراجعة الذاتية التكرارية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. نجح إطار عمل إعادة استخدام الطرق عبر الأسئلة في توسيع نطاق تطبيق نماذج اللغة الكبيرة، مما يمكّنها من التعامل مع المشاكل ذات التشابه المنخفض.
  2. تُظهر إعادة الاستخدام العلائقية استقراراً أكبر عند التعامل مع التبعيات العام-الخاص، وتوفر إعادة الاستخدام القائمة على الميزات آلية تكميلية للتعامل مع التداخل الضمني.
  3. تحسّن استراتيجية فصل السؤال-الحل المنظمة بشكل ملحوظ فعالية إعادة استخدام الطريقة.

القيود

  1. تأثير محدود لإعادة الاستخدام القائمة على الميزات: مقارنة بإعادة الاستخدام العلائقية، فإن حجم التحسن في إعادة الاستخدام القائمة على الميزات أصغر.
  2. اعتماد آلية التحقق: قد يؤثر تنفيذ دالة Valid على تأثير إعادة الاستخدام.
  3. التعقيد الحسابي: قد يكون حساب التشابه في فضاء الميزات الكبير مستهلكاً للوقت.

الاتجاهات المستقبلية

  1. تحسين طرق استخراج الميزات وحساب التشابه
  2. تطوير آليات تحقق أكثر ذكاءً
  3. التوسع إلى سيناريوهات حل المشاكل متعددة الخطوات الأكثر تعقيداً

التقييم المتعمق

المزايا

  1. ابتكار قوي: أول حل منهجي لمشكلة إعادة استخدام الطرق في نماذج اللغة الكبيرة للمشاكل ذات التشابه المنخفض
  2. أساس نظري متين: يوفر إطار نظري من التنبؤ على مستوى الكلمات إلى التفكير على المستوى المنطقي
  3. تصميم تجريبي معقول: التحقق من فعالية الطريقة من خلال حالات محددة
  4. قيمة عملية عالية: توفير أفكار جديدة لتطبيقات نماذج اللغة الكبيرة الفعلية

أوجه القصور

  1. نطاق تجريبي محدود: تم التحقق فقط في سيناريوهين محددين، يفتقد التجارب على نطاق واسع
  2. تعريف الميزات غير واضح: يفتقد بناء فضاء الميزات إلى التوجيه المنهجي
  3. عدم تقييم الكفاءة الحسابية: لم يتم تحليل التكلفة الحسابية وقابلية التوسع للطريقة
  4. طرق مقارنة واحدة: يفتقد المقارنة مع الطرق المتقدمة الأخرى

التأثير

  1. المساهمة النظرية: توفير منظور نظري جديد لتحسين قدرات التفكير في نماذج اللغة الكبيرة
  2. القيمة العملية: يمكن تطبيقها على السيناريوهات الفعلية التي تتطلب نقل المعرفة عبر المجالات
  3. الإلهام: توفير اتجاهات قيمة للأبحاث اللاحقة

السيناريوهات المطبقة

  1. نقل المعرفة: تطبيق حل من مجال واحد على مجال آخر
  2. حل المشاكل الابتكارية: البحث عن حلول قياسية عند مواجهة مشاكل جديدة تماماً
  3. المساعدة التعليمية: مساعدة المتعلمين على فهم الروابط الداخلية بين المشاكل المختلفة
  4. الأنظمة الخبيرة: بناء أنظمة ذكية قادرة على تطبيق المعرفة الموجودة بمرونة

المراجع

  1. Wei, J. et al. "Chain-of-thought prompting elicits reasoning in large language models." NeurIPS 2022.
  2. Wang, X. et al. "Self-consistency improves chain of thought reasoning in language models." arXiv 2022.
  3. Yao, S. et al. "Tree of thoughts: Deliberate problem solving with large language models." NeurIPS 2023.
  4. Su, H. "Method-based reasoning for large language models: Extraction, reuse, and continuous improvement." arXiv 2025.

التقييم الشامل: تقترح هذه الورقة إطار عمل مبتكراً لإعادة استخدام الطرق عبر الأسئلة، وتوسع بنجاح قدرة نماذج اللغة الكبيرة على التطبيق في سيناريوهات التشابه المنخفض. على الرغم من وجود مجال للتحسين في نطاق التجربة وبعض التفاصيل التقنية، فإن مساهماتها النظرية وقيمتها العملية تجعلها عملاً مهماً في مجال أبحاث التفكير في نماذج اللغة الكبيرة.