2025-11-18T06:58:13.108824

Finding Answers in Thought Matters: Revisiting Evaluation on Large Language Models with Reasoning

Jo, Lee, Lee et al.
Evaluating generative models, such as large language models (LLMs), commonly involves question-answering tasks where the final answer is selected based on probability of answer choices. On the other hand, for models requiring reasoning, the method of answer extraction plays a critical role. Our research reveals that the performance of reasoning models and their final answer distributions are highly sensitive to the answer extraction algorithm employed. In order to mitigate this, we propose a basic framework: Answer Regeneration. The method uses an additional model inference, providing the prior input and output prefaced by the prompt "Answer:". The final answer is then selected or extracted from the regenerated output. We show that this extraction-rule-agnostic approach exhibits improved performance and enhanced robustness. Furthermore, we have applied this framework to general math problems and open-ended question answering tasks. Our analysis and this framework could offer a more reliable results for model evaluation.
academic

विचार मायने रखता है में उत्तर खोजना: बड़े भाषा मॉडल के साथ तर्क पर मूल्यांकन का पुनर्विचार

मूल जानकारी

  • पेपर ID: 2510.14773
  • शीर्षक: Finding Answers in Thought Matters: Revisiting Evaluation on Large Language Models with Reasoning
  • लेखक: Hwiyeol Jo, Joosung Lee, Jaehong Lee, Sang-Woo Lee, Joonsuk Park, Kang Min Yoo
  • वर्गीकरण: cs.CL cs.AI
  • प्रकाशन तिथि: 16 अक्टूबर 2024
  • पेपर लिंक: https://arxiv.org/abs/2510.14773

सारांश

यह पेपर बड़े भाषा मॉडल (LLM) के तर्क क्षमता मूल्यांकन में एक महत्वपूर्ण समस्या का अध्ययन करता है: उत्तर निष्कर्षण विधि मॉडल प्रदर्शन मूल्यांकन पर महत्वपूर्ण प्रभाव डालती है। अनुसंधान से पता चलता है कि तर्क मॉडल का प्रदर्शन और अंतिम उत्तर वितरण अपनाई गई उत्तर निष्कर्षण एल्गोरिदम पर अत्यधिक निर्भर है। इस समस्या को हल करने के लिए, लेखकों ने "उत्तर पुनर्जनन" (Answer Regeneration) ढांचा प्रस्तावित किया है, जो अतिरिक्त मॉडल तर्क चरणों के माध्यम से "Answer:" उपसर्ग का उपयोग करके अंतिम उत्तर को पुनः उत्पन्न करता है, जिससे निष्कर्षण नियमों से स्वतंत्र मजबूत मूल्यांकन प्राप्त होता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्या

पारंपरिक LLM मूल्यांकन आमतौर पर उत्तर चयन के संभाव्यता वितरण पर आधारित होता है, लेकिन तर्क की आवश्यकता वाले मॉडल के लिए, उत्तर निष्कर्षण विधि महत्वपूर्ण हो जाती है। मौजूदा नियम-आधारित निष्कर्षण विधियों में निम्नलिखित समस्याएं हैं:

  1. प्रारूप विविधता: तर्क मॉडल के आउटपुट प्रारूप अत्यंत विविध होते हैं, एकल निष्कर्षण नियम सभी स्थितियों को कवर नहीं कर सकता
  2. मॉडल के बीच अंतर: विभिन्न मॉडल विभिन्न उत्तर प्रारूप का उपयोग करते हैं, प्रत्येक मॉडल के लिए निष्कर्षण नियमों को अनुकूलित करने की आवश्यकता होती है
  3. मूल्यांकन असंगति: समान मॉडल आउटपुट विभिन्न निष्कर्षण नियमों के कारण पूरी तरह से भिन्न मूल्यांकन परिणाम दे सकता है

अनुसंधान प्रेरणा

  • पुनरुत्पादनीयता समस्या: सार्वजनिक रूप से रिपोर्ट किए गए प्रदर्शन और पुनरुत्पादन परिणामों के बीच अंतर अप्रकटित उत्तर निष्कर्षण विधियों से उत्पन्न हो सकता है
  • मूल्यांकन निष्पक्षता: नियम-आधारित विधि कुछ मॉडल के प्रति पूर्वाग्रह उत्पन्न कर सकती है
  • तर्क मॉडल की विशेषता: Chain-of-Thought (CoT) तर्क आउटपुट की जटिलता पारंपरिक मूल्यांकन विधियों को अप्रासंगिक बनाती है

मुख्य योगदान

  1. पहली बार व्यवस्थित रूप से अध्ययन किया गया कि उत्तर निष्कर्षण विधि तर्क मॉडल मूल्यांकन के प्रति संवेदनशील है, इस अनदेखी लेकिन महत्वपूर्ण समस्या को उजागर किया
  2. Answer Regeneration ढांचा प्रस्तावित किया, जो निष्कर्षण नियमों से स्वतंत्र मजबूत मूल्यांकन विधि को लागू करता है
  3. विधि की सार्वभौमिकता साबित की, बहुविकल्पीय प्रश्न, गणित समस्याओं और खुले प्रश्नोत्तर सहित कई कार्यों पर सुधार प्राप्त किया
  4. अधिक विश्वसनीय मॉडल रैंकिंग प्रदान की, जिससे मूल्यांकन परिणाम अधिक सहज हों (जैसे बड़े मॉडल छोटे मॉडल से बेहतर हों)

विधि विवरण

कार्य परिभाषा

तर्क मॉडल के आउटपुट (पूर्ण तर्क प्रक्रिया सहित) को देखते हुए, मूल्यांकन के लिए इसके अंतिम उत्तर को सटीक रूप से निकालना आवश्यक है। पारंपरिक विधि हाथ से तैयार किए गए नियमित अभिव्यक्ति नियमों पर निर्भर करती है, जबकि यह पेपर जनरेटिव समाधान प्रस्तावित करता है।

Answer Regeneration ढांचा

समग्र आर्किटेक्चर

मूल इनपुट + तर्क आउटपुट + "Answer:" → मॉडल तर्क → सरलीकृत अंतिम उत्तर

मुख्य चरण

  1. इनपुट तैयारी: मूल प्रश्न, मॉडल की तर्क प्रक्रिया और "Answer:" प्रॉम्प्ट को संयोजित करना
  2. पुनः तर्क: अतिरिक्त तर्क चरण के लिए मॉडल (गैर-तर्क मोड) का उपयोग करना
  3. उत्तर निष्कर्षण: सरलीकृत आउटपुट से अंतिम उत्तर निकालना

तकनीकी लाभ

  • संभाव्यता आधार: बहुविकल्पीय प्रश्नों के लिए, संभाव्यता-आधारित उत्तर चयन का उपयोग किया जा सकता है
  • आउटपुट सरलीकरण: उत्पन्न उत्तर प्रारूप अधिक संक्षिप्त होता है, निष्कर्षण में आसान
  • नियम स्वतंत्र: जटिल हाथ से तैयार किए गए नियमों पर निर्भर नहीं

तकनीकी नवाचार बिंदु

1. जनरेटिव उत्तर निष्कर्षण

पारंपरिक नियम मिलान के विपरीत, अंतिम उत्तर को "पुनः व्यक्त" करने के लिए मॉडल की अपनी जनरेटिव क्षमता का उपयोग करना, प्रारूप पार्सिंग की जटिलता से बचना।

2. तर्क-जनरेशन पृथक्करण

तर्क प्रक्रिया और उत्तर जनरेशन को अलग करना, तर्क चरण विचार प्रक्रिया पर केंद्रित होता है, जनरेशन चरण उत्तर आउटपुट पर केंद्रित होता है।

3. अनुकूलनीयता

ढांचा विभिन्न कार्य प्रकारों और उत्तर प्रारूपों के लिए स्वचालित रूप से अनुकूल हो सकता है, विशिष्ट मॉडल या कार्य के लिए ट्यूनिंग की आवश्यकता नहीं।

प्रयोगात्मक सेटअप

डेटासेट

  • MMLU: बहु-क्षेत्र बहुविकल्पीय प्रश्न ज्ञान परीक्षण, मुख्य मूल्यांकन बेंचमार्क के रूप में
  • MMLU-Pro: अधिक जटिल बहुविकल्पीय प्रश्न बेंचमार्क, विकल्प संख्या गतिशील रूप से परिवर्तनशील
  • GSM8K: गणितीय तर्क समस्याएं, संक्षिप्त उत्तर प्रारूप
  • TriviaQA: खुले प्रश्नोत्तर कार्य

मूल्यांकन मॉडल

  • Qwen3 श्रृंखला: Qwen3-32B, Qwen3-14B, Qwen3-8B
  • DeepSeek-R1 श्रृंखला: R1-Distill-Llama-8B, R1-Qwen3-8B

तुलना विधियां

  1. strict-match: सटीक स्ट्रिंग मिलान ("answer is X")
  2. flexible-extract: लचीला विकल्प निष्कर्षण ((A), (B) आदि खोजना)
  3. instructed-format: निर्देशित प्रारूप आउटपुट
  4. answer-is-correct: अनुकूलित सख्त मिलान
  5. last-extract: अंतिम बड़े अक्षर निष्कर्षण

कार्यान्वयन विवरण

  • lm-evaluation-harness टूलकिट का उपयोग
  • तापमान सेटिंग 0.6, top-p 0.95, top-k 20
  • अधिकतम जनरेशन लंबाई 4096 टोकन तक सीमित

प्रयोगात्मक परिणाम

मुख्य परिणाम

प्रदर्शन में उल्लेखनीय उतार-चढ़ाव

विभिन्न निष्कर्षण विधियों से प्रदर्शन में बहुत बड़ा अंतर:

  • Qwen3-32B विभिन्न विधियों के तहत सटीकता सीमा: 75.8% - 87.1%
  • मॉडल रैंकिंग निष्कर्षण विधि के कारण पूरी तरह से बदल सकती है

Answer Regeneration स्पष्ट लाभ

सभी परीक्षण मॉडलों पर, Answer Regeneration ने सर्वश्रेष्ठ प्रदर्शन प्राप्त किया:

मॉडलसर्वश्रेष्ठ नियम विधिAnswer Regenerationसुधार
Qwen3-32B82.1%87.1%+5.0%
Qwen3-14B83.8%85.0%+1.2%
Qwen3-8B82.1%83.3%+1.2%
R1-Llama-8B64.8%68.8%+4.0%
R1-Qwen3-8B77.6%80.7%+3.1%

विलोपन प्रयोग

उत्तर असंगति विश्लेषण

एक ही मॉडल आउटपुट विभिन्न निष्कर्षण विधियों द्वारा विभिन्न उत्तरों के रूप में पार्स किया जा सकता है:

  • कुछ विधियां विचार प्रक्रिया में उत्तर निकालती हैं
  • कुछ विधियां प्रारूपित अंतिम उत्तर निकालती हैं
  • कुछ विधियां प्रारूप समस्याओं के कारण निष्कर्षण में विफल होती हैं

अधूरे तर्क प्रसंस्करण

Answer Regeneration अधूरे तर्क आउटपुट को संभालने में बेहतर प्रदर्शन करता है:

  • पारंपरिक विधि तर्क कट जाने पर आसानी से विफल हो जाती है
  • पुनर्जनन विधि पहले से मौजूद जानकारी के आधार पर उत्तर दे सकती है

मानव मूल्यांकन सत्यापन

300 नमूनों के मानव मूल्यांकन में:

  • Answer Regeneration और मानव एनोटेशन के बीच सहमति दर: 84.2%
  • सर्वश्रेष्ठ नियम विधि और मानव एनोटेशन के बीच सहमति दर: 61.7%

कार्य-पार सामान्यीकरण

MMLU-Pro परिणाम

Answer Regeneration अधिक जटिल बेंचमार्क पर भी अपना लाभ बनाए रखता है, और आधिकारिक रिपोर्ट किए गए प्रदर्शन के करीब है।

GSM8K गणितीय तर्क

गणित कार्यों में Answer Regeneration समान रूप से सर्वश्रेष्ठ प्रदर्शन करता है:

  • LaTeX प्रारूप (\boxed{}) को अधिक मजबूती से संभालता है
  • मानव मूल्यांकन 16.3% बनाम 6.1% की सटीकता अंतर दिखाता है

TriviaQA खुले प्रश्नोत्तर

खुले कार्यों में LLM-as-a-judge मॉडल पूर्वाग्रह समस्या से बचता है।

संबंधित कार्य

LLM मूल्यांकन ढांचा

मौजूदा मूल्यांकन उपकरण जैसे lm-evaluation-harness, HELM, OpenCompass मुख्य रूप से निर्भर करते हैं:

  1. बहुविकल्पीय प्रश्नों का संभाव्यता-आधारित मूल्यांकन
  2. जनरेशन कार्यों के लिए सरल अनुमानी पोस्ट-प्रोसेसिंग

प्रॉम्प्ट संवेदनशीलता अनुसंधान

पहले से ही अनुसंधान इनपुट स्तर पर प्रॉम्प्ट परिवर्तन के प्रदर्शन पर प्रभाव पर ध्यान केंद्रित करता है, लेकिन आउटपुट स्तर पर उत्तर निष्कर्षण का व्यवस्थित अध्ययन नहीं है।

तर्क मॉडल मूल्यांकन

Chain-of-Thought जैसी तर्क विधियों का उदय पारंपरिक मूल्यांकन विधियों को नई चुनौतियों का सामना करने के लिए करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. उत्तर निष्कर्षण विधि तर्क मॉडल मूल्यांकन पर निर्णायक प्रभाव डालती है, प्रदर्शन अंतर 10% से अधिक हो सकता है
  2. Answer Regeneration अधिक मजबूत मूल्यांकन योजना प्रदान करता है, कई कार्यों पर हाथ से तैयार किए गए नियमों से बेहतर है
  3. मूल्यांकन की निष्पक्षता में सुधार होता है, मॉडल रैंकिंग अधिक सहज अपेक्षाओं के अनुरूप है

सीमाएं

  1. कम्प्यूटेशनल लागत: अतिरिक्त तर्क चरणों की आवश्यकता, मूल्यांकन ओवरहेड बढ़ाता है
  2. सीमित तकनीकी नवाचार: विधि स्वयं सरल है, तकनीकी गहराई की कमी है
  3. मॉडल सीमा: मुख्य रूप से ओपन-सोर्स मॉडल का परीक्षण, वाणिज्यिक मॉडल का प्रदर्शन सत्यापन की प्रतीक्षा में है

भविष्य की दिशाएं

  1. आत्म-संगति एकीकरण: self-consistency जैसी तकनीकों के साथ आगे सुधार
  2. वाणिज्यिक मॉडल मूल्यांकन: GPT, Gemini, Claude जैसे वाणिज्यिक मॉडलों तक विस्तार
  3. दक्षता अनुकूलन: कम्प्यूटेशनल ओवरहेड को कम करने के तरीकों की खोज

गहन मूल्यांकन

लाभ

1. समस्या पहचान की महत्ता

पहली बार व्यवस्थित रूप से उत्तर निष्कर्षण की इस अनदेखी लेकिन महत्वपूर्ण समस्या को उजागर किया, तर्क मॉडल मूल्यांकन के लिए महत्वपूर्ण है।

2. विधि की व्यावहारिकता

प्रस्तावित ढांचा सरल और प्रभावी है, कार्यान्वयन और तैनाती में आसान, बहुत मजबूत व्यावहारिक मूल्य है।

3. प्रयोग की व्यापकता

  • कई मॉडल, कई कार्यों का व्यापक मूल्यांकन
  • विस्तृत विलोपन प्रयोग और मानव सत्यापन
  • मौजूदा विधियों के साथ पर्याप्त तुलना

4. परिणामों की प्रेरक शक्ति

बड़ी संख्या में प्रयोगों के माध्यम से विधि की प्रभावशीलता साबित की, परिणामों में सांख्यिकीय महत्व है।

कमियां

1. सीमित तकनीकी नवाचार

विधि स्वयं सरल है, मुख्य रूप से इंजीनियरिंग अभ्यास पर सुधार, गहरे तकनीकी नवाचार की कमी है।

2. कम्प्यूटेशनल ओवरहेड समस्या

अतिरिक्त तर्क चरण मूल्यांकन लागत में काफी वृद्धि करेंगे, बड़े पैमाने पर मूल्यांकन में बाधा बन सकते हैं।

3. सैद्धांतिक विश्लेषण की कमी

विधि प्रभावशीलता के लिए सैद्धांतिक व्याख्या की कमी, मुख्य रूप से प्रयोगात्मक सत्यापन पर निर्भर है।

4. मॉडल निर्भरता

पुनर्जनन की गुणवत्ता अभी भी मॉडल की अपनी क्षमता पर निर्भर है, मॉडल पूर्वाग्रह मौजूद हो सकता है।

प्रभाव

शैक्षणिक योगदान

  • तर्क मॉडल मूल्यांकन पद्धति विज्ञान में अंतराल भरता है
  • भविष्य के मूल्यांकन ढांचा डिजाइन के लिए महत्वपूर्ण संदर्भ प्रदान करता है
  • मूल्यांकन निष्पक्षता और पुनरुत्पादनीयता पर ध्यान बढ़ाता है

व्यावहारिक मूल्य

  • मौजूदा मूल्यांकन ढांचे के सुधार में सीधे लागू किया जा सकता है
  • मॉडल विकासकर्ताओं को अधिक विश्वसनीय प्रदर्शन बेंचमार्क प्रदान करता है
  • मूल्यांकन परिणामों की विश्वसनीयता बढ़ाने में सहायता करता है

पुनरुत्पादनीयता

पेपर विस्तृत कार्यान्वयन विवरण और नियमित अभिव्यक्तियां प्रदान करता है, पुनरुत्पादन और अनुप्रयोग में आसानी करता है।

लागू परिदृश्य

उपयुक्त अनुप्रयोग परिदृश्य

  1. तर्क मॉडल मूल्यांकन: विशेष रूप से CoT जैसी तर्क प्रक्रिया वाले मॉडलों के लिए उपयुक्त
  2. बहु-कार्य बेंचमार्क परीक्षण: MMLU, GSM8K जैसे मानक बेंचमार्क पर अनुप्रयोग
  3. मॉडल तुलना अनुसंधान: विभिन्न तर्क मॉडलों की निष्पक्ष तुलना की आवश्यकता होने पर

सीमा शर्तें

  1. पर्याप्त कम्प्यूटेशनल संसाधन: अतिरिक्त तर्क लागत वहन करने की आवश्यकता
  2. उच्च मूल्यांकन सटीकता आवश्यकता: मूल्यांकन गुणवत्ता के प्रति उच्च आवश्यकता वाले परिदृश्यों के लिए उपयुक्त
  3. तर्क मॉडल विशेष: मुख्य रूप से तर्क क्षमता वाले मॉडलों के लिए लक्षित

संदर्भ

  1. Hendrycks et al. (2021). Measuring massive multitask language understanding. ICLR.
  2. Wei et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS.
  3. Liang et al. (2023). Holistic evaluation of language models. arXiv.
  4. Wang et al. (2024). MMLU-Pro: A more robust and challenging multi-task language understanding benchmark. NeurIPS.

सारांश: यह पेपर तकनीकी नवाचार में अपेक्षाकृत सरल है, लेकिन तर्क मॉडल मूल्यांकन में एक महत्वपूर्ण समस्या की पहचान और समाधान करता है। Answer Regeneration ढांचे का प्रस्ताव तर्क मॉडलों के निष्पक्ष, मजबूत मूल्यांकन के लिए व्यावहारिक समाधान प्रदान करता है, इस क्षेत्र के मानकीकरण और पुनरुत्पादनीयता को बढ़ावा देने में महत्वपूर्ण है। कम्प्यूटेशनल ओवरहेड जैसी सीमाओं के बावजूद, इसकी व्यावहारिक मूल्य और मूल्यांकन पद्धति विज्ञान में योगदान इसे एक मूल्यवान अनुसंधान कार्य बनाता है।