2025-11-14T16:10:11.389071

The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models

Fan, Qin, Han et al.

Recent thinking models trained with reinforcement learning and backward-checking CoT often suffer from overthinking: they produce excessively long outputs even on simple problems, wasting computation. Existing evaluations, based on token efficiency, give an incomplete view as they neglect problem difficulty and intermediate computation costs. We formalize reasoning efficiency as a relative measure between thinking and instruct models, treating instruct models as the minimal-effort baseline. A systematic study across four thinking models and multiple benchmarks reveals two consistent patterns: (i) instruct models achieve higher efficiency overall, and (ii) problem difficulty affects efficiency, with thinking models wasting computation on easy problems but providing value on harder ones. Building on this insight, we propose COTHINK, a simple two-stage pipeline: an instruct model drafts a brief outline, and a thinking model expands it. On GSM8K, MATH500, and AIME24, COTHINK cuts token usage by 21.1% while keeping accuracy on four thinking models, and remains competitive with strong efficiency baselines.

academic

দ্বিতীয় চিন্তার মূল্য: বৃহৎ ভাষা মডেলে যুক্তি দক্ষতার মূল্যায়ন

মৌলিক তথ্য

পেপার আইডি: 2505.22017
শিরোনাম: The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models
লেখক: Siqi Fan, Bowen Qin, Peng Han, Shuo Shang, Yequan Wang, Aixin Sun
শ্রেণীবিভাগ: cs.CL (গণনা এবং ভাষা)
প্রকাশনার সময়: ২০২৫ সালের অক্টোবর ১৪ (arXiv v2)
পেপার লিংক: https://arxiv.org/abs/2505.22017

সারসংক্ষেপ

সম্প্রতি শক্তিশালী শিক্ষা এবং বিপরীত পরীক্ষা চেইন-অফ-থট (CoT) প্রশিক্ষণের মাধ্যমে প্রশিক্ষিত চিন্তা মডেলগুলি অত্যধিক চিন্তার সমস্যায় ভুগছে: এমনকি সহজ সমস্যাগুলিতেও অত্যন্ত দীর্ঘ আউটপুট তৈরি করে, যা গণনাগত সম্পদ নষ্ট করে। টোকেন দক্ষতার উপর ভিত্তি করে বিদ্যমান মূল্যায়ন পদ্ধতি অসম্পূর্ণ দৃষ্টিভঙ্গি প্রদান করে, সমস্যার কঠিনতা এবং মধ্যবর্তী গণনা খরচ উপেক্ষা করে। এই পেপারটি যুক্তি দক্ষতাকে চিন্তা মডেল এবং নির্দেশনা মডেলের মধ্যে একটি আপেক্ষিক মেট্রিক হিসাবে আনুষ্ঠানিক করে, নির্দেশনা মডেলকে ন্যূনতম প্রচেষ্টার ভিত্তিরেখা হিসাবে বিবেচনা করে। চারটি চিন্তা মডেল এবং একাধিক বেঞ্চমার্কের সিস্টেমেটিক অধ্যয়নের মাধ্যমে, দুটি সামঞ্জস্যপূর্ণ প্যাটার্ন প্রকাশ করা হয়েছে: (i) নির্দেশনা মডেল সামগ্রিকভাবে উচ্চতর দক্ষতা অর্জন করে, (ii) সমস্যার কঠিনতা দক্ষতাকে প্রভাবিত করে, চিন্তা মডেলগুলি সহজ সমস্যায় গণনা নষ্ট করে কিন্তু কঠিন সমস্যায় মূল্য প্রদান করে। এই অন্তর্দৃষ্টির উপর ভিত্তি করে, COTHINK প্রস্তাব করা হয়েছে—একটি সহজ দুই-পর্যায়ের পাইপলাইন: নির্দেশনা মডেল সংক্ষিপ্ত রূপরেখা তৈরি করে, চিন্তা মডেল সম্প্রসারণ করে। GSM8K, MATH500 এবং AIME24-তে, COTHINK চারটি চিন্তা মডেলে ২১.১% টোকেন ব্যবহার হ্রাস করে যখন নির্ভুলতা বজায় রাখে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

১. অত্যধিক চিন্তার সমস্যা: সম্প্রতির চিন্তা মডেলগুলি গাণিতিক যুক্তি কাজে চমৎকার পারফরম্যান্স দেখায়, কিন্তু গুরুতর অত্যধিক চিন্তার সমস্যা প্রদর্শন করে। এই মডেলগুলি এমনকি সহজ সমস্যায়ও মান নির্দেশনা-সুর করা মডেলের চেয়ে ৫-১০ গুণ বেশি আউটপুট দৈর্ঘ্য তৈরি করে।

२. মূল্যায়ন সীমাবদ্ধতা: বর্তমান যুক্তি দক্ষতা মূল্যায়ন পদ্ধতিতে দুটি প্রধান সমস্যা রয়েছে:

অত্যধিক চিন্তা এবং অপর্যাপ্ত চিন্তার আপেক্ষিক ধারণা উপেক্ষা করে, এই ঘটনাগুলি শুধুমাত্র তুলনামূলক বিশ্লেষণের মাধ্যমে পর্যবেক্ষণ করা যায়
মধ্যবর্তী গণনা খরচ উপেক্ষা করে, যেমন best-of-N নমুনায় একাধিক প্রার্থী সমাধান তৈরির খরচ

३. গণনাগত সম্পদ অপচয়: চিন্তা মডেলগুলি AIME2024 বেঞ্চমার্কে গড় আউটপুট দৈর্ঘ্য Qwen2.5-32B-Instruct-এর ৭৭০ টোকেন থেকে QwQ-এর ৬,০৬৭ টোকেনে বৃদ্ধি পায়, যা উল্লেখযোগ্য গণনাগত সম্পদ অপচয় ঘটায়।

গবেষণা প্রেরণা

বিদ্যমান মূল্যায়ন পদ্ধতি একক মডেলের টোকেন দক্ষতা τ(M,D) = Q(D)/CM(D)-এর উপর ভিত্তি করে, কিন্তু এই পরম পরিমাপ যুক্তির আপেক্ষিক দক্ষতা প্রতিফলিত করতে পারে না। এই পেপারটি যুক্তি দেয় যে চিন্তা মডেলের কর্মক্ষমতা আরও ভালভাবে মূল্যায়ন করার জন্য একটি আপেক্ষিক দক্ষতা কাঠামো প্রয়োজন।

মূল অবদান

१. আপেক্ষিক যুক্তি দক্ষতা মূল্যায়ন কাঠামো প্রস্তাব: যুক্তি দক্ষতাকে চিন্তা মডেলের নির্দেশনা মডেলের সাপেক্ষে আপেক্ষিক পরিমাপ হিসাবে সংজ্ঞায়িত করে η(MR,MI) = τ(MR,D)/τ(MI,D)

२. দুটি মূল প্যাটার্ন আবিষ্কার:

নির্দেশনা মডেল সামগ্রিকভাবে উচ্চতর টোকেন দক্ষতা প্রদর্শন করে
সমস্যার কঠিনতা দক্ষতাকে দৃঢ়ভাবে প্রভাবিত করে, চিন্তা মডেলগুলি সহজ সমস্যায় অতিরিক্ত গণনা করে কিন্তু কঠিন সমস্যায় মূল্য প্রদান করে

३. COTHINK দুই-পর্যায়ের সহযোগিতা পাইপলাইন প্রস্তাব: নির্দেশনা মডেলের সংক্ষিপ্ততা এবং চিন্তা মডেলের যাচাইকরণ ক্ষমতা একত্রিত করে

४. উল্লেখযোগ্য দক্ষতা উন্নতি অর্জন: তিনটি গাণিতিক বেঞ্চমার্কে গড়ে ২১.১% টোকেন ব্যবহার হ্রাস করে, একই সাথে ১.৬৬% নির্ভুলতা বৃদ্ধি করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

এই পেপারটি গাণিতিক যুক্তি কাজে গণনাগত দক্ষতার সমস্যা অধ্যয়ন করে, ইনপুট গাণিতিক সমস্যা, আউটপুট সমাধান প্রক্রিয়া এবং চূড়ান্ত উত্তর। সীমাবদ্ধতা হল নির্ভুলতা বজায় রেখে গণনা খরচ কমানো।

আপেক্ষিক দক্ষতা মূল্যায়ন কাঠামো

মূল সূত্র

আপেক্ষিক যুক্তি দক্ষতা সংজ্ঞায়িত করা হয়েছে:

η(MR,MI) = τ(MR,D) / τ(MI,D)

যেখানে τ(M,D) = Q(D)/CM(D) ঐতিহ্যবাহী টোকেন দক্ষতা।

দক্ষতা স্কেলিং আইন অনুমান

পরীক্ষার সময় স্কেলিং আইন Q(C) ∝ C^β (β < 1)-এর উপর ভিত্তি করে, যুক্তি দক্ষতা আনুমানিক হতে পারে:

η ≈ (CR/CI)^β

COTHINK দুই-পর্যায়ের পাইপলাইন

প্রথম পর্যায়: রূপরেখা প্রজন্ম

নির্দেশনা মডেল ২-৪টি উচ্চ-স্তরের যুক্তি পদক্ষেপের একটি সংক্ষিপ্ত রূপরেখা তৈরি করে, নির্দিষ্ট গণনা বা চূড়ান্ত উত্তর ছাড়াই।

সিস্টেম প্রম্পট:

You are a reasoning strategist.
Your job is to break down a complex problem into 2–4 high-level reasoning steps.
Focus only on outlining the general approach or strategy.
Do not include any numbers, formulas, or final answers.

দ্বিতীয় পর্যায়: যাচাইকরণ সম্প্রসারণ

চিন্তা মডেল রূপরেখা অনুযায়ী যাচাইকরণ এবং সমাপ্তি করে, কম টোকেন ব্যবহার করে।

ব্যবহারকারী প্রম্পট:

Use only the following steps to solve the problem. Do not change or add steps.
Show the work for each step briefly, and place the final answer in \boxed{}.
Problem: {problem}
Steps: {outline generated by instruct model}

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. গতিশীল কঠিনতা অভিযোজন: সমস্যার কঠিনতা পূর্বে মূল্যায়ন করার প্রয়োজন নেই, চিন্তা মডেল রূপরেখার গুণমানের উপর ভিত্তি করে গতিশীলভাবে যাচাইকরণ প্রচেষ্টা সামঞ্জস্য করতে পারে

२. পরিপূরক সুবিধা সমন্বয়: সহজ কাজে রূপরেখা সাধারণত সঠিক, চিন্তা মডেল দ্রুত সংযোজিত হয়; কঠিন কাজে রূপরেখা কাঠামোগত সূচনা বিন্দু প্রদান করে

३. স্থাপনা-বান্ধব: স্থাপত্য পরিবর্তনের প্রয়োজন নেই, বিদ্যমান মডেলে সরাসরি প্রয়োগ করা যায়

পরীক্ষা সেটআপ

ডেটাসেট

তিনটি গাণিতিক যুক্তি বেঞ্চমার্ক ব্যবহার করা হয়েছে, ক্রমবর্ধমান কঠিনতা:

GSM8K: প্রাথমিক বিদ্যালয় স্তর, ১,৩১৯ নমুনা, সমাধান দৈর্ঘ্য ৪৮-১,০৭০ টোকেন
MATH500: উচ্চ বিদ্যালয় স্তর, ৫০০ নমুনা, সমাধান দৈর্ঘ্য ৪৫-३,३६০ টোকেন
AIME24: বিশ্ববিদ্যালয় স্তর, ३० নমুনা, সমাধান দৈর্ঘ্য २८४-४,०१० টোকেন

মডেল সেটআপ

३२B স্কেলের ५টি প্রতিনিধিত্বমূলক মডেল মূল্যায়ন করা হয়েছে:

Qwen2.5-32B-Instruct: সাধারণ নির্দেশনা মডেল (ভিত্তিরেখা)
DAPO: শুধুমাত্র RL প্রশিক্ষিত চিন্তা মডেল
DeepSeek-R1-Distill: পাতন-ভিত্তিক চিন্তা মডেল
QwQ: SFT+RL প্রশিক্ষিত চিন্তা মডেল
Qwen3: মিশ্র চিন্তা মডেল (চিন্তা/অ-চিন্তা মোড সমর্থন করে)

মূল্যায়ন মেট্রিক্স

Pass@1: প্রথম প্রচেষ্টা সঠিক হার
#Tokens: প্রতিটি সমস্যার জন্য উত্পন্ন মোট টোকেন
টোকেন দক্ষতা τ: গুণমান/খরচ অনুপাত
যুক্তি দক্ষতা η: নির্দেশনা মডেলের সাপেক্ষে দক্ষতা অনুপাত
জয়ের হার: সমস্ত মূল্যায়ন পয়েন্টে সুবিধার অনুপাত

তুলনা পদ্ধতি

Solo-Thinking: একক মডেল স্বাধীনভাবে সমাধান করে
Best-of-N নমুনা: N=5 প্রার্থী সমাধান তৈরি করে, সবচেয়ে ছোটটি নির্বাচন করে
No-Thinking: চিন্তা প্রক্রিয়া এড়িয়ে সরাসরি উত্তর তৈরি করে

পরীক্ষার ফলাফল

প্রধান ফলাফল

আপেক্ষিক দক্ষতা বিশ্লেষণ অনুসন্ধান

१. পর্যবেক্ষণ १: নির্দেশনা মডেল উচ্চ টোকেন দক্ষতা প্রদর্শন করে, বেশিরভাগ চিন্তা মডেল η < 1 २. পর্যবেক্ষণ २: সমস্যার কঠিনতা যুক্তি দক্ষতাকে প্রভাবিত করে, চিন্তা মডেলগুলি সহজ সমস্যায় গণনা নষ্ট করে, জটিল কাজে মূল্য প্রদান করে

COTHINK কর্মক্ষমতা

সামগ্রিক জয়ের হার: ६१.७% (६० মূল্যায়ন পয়েন্টের ३७টি)
কাজ-ভিত্তিক জয়ের হার:
- GSM8K: ३७.५% (সহজ কাজে উন্নতির বড় সুযোগ)
- MATH500: ८७.५% (উচ্চ বিদ্যালয় স্তরের কাজে সর্বোত্তম পারফরম্যান্স)
- AIME24: ६०% (বিশ্ববিদ্যালয় স্তরের কাজে ভাল পারফরম্যান্স)

দক্ষতা উন্নতি

গড় টোকেন হ্রাস: २१.१%, সর্বোচ্চ ४१.८%
নির্ভুলতা বৃদ্ধি: গড় १.६६%
মডেল র্যাঙ্কিং (দক্ষতা উন্নতি): QwQ > DeepSeek-R1-Distill > DAPO

কেস বিশ্লেষণ

AIME24 কেস স্টাডি

তুলনামূলক বিশ্লেষণ তিনটি পরিস্থিতি দেখায়: १. ५টি সমস্যা: উভয় মডেল সফল, নির্দেশনা মডেল সংক্ষিপ্ত, চিন্তা মডেল দীর্ঘ २. १६টি সমস্যা: শুধুমাত্র চিন্তা মডেল সফল (যাচাইকরণের মাধ্যমে ত্রুটি সংশোধন) ३. ९টি সমস্যা: উভয় মডেল ব্যর্থ

মূল আবিষ্কার: নির্দেশনা মডেলকে চিন্তা মডেলের episode প্রিফিক্স হিসাবে প্রদান করলে, সমস্যা সমাধানের জন্য শুধুমাত্র २७.५% episode এবং११.९% টোকেন প্রয়োজন।

অ্যাবলেশন পরীক্ষা

দক্ষতা উৎস বিশ্লেষণ

१. অ্যালগরিদম-স্তরের অদক্ষতা: RL প্রশিক্ষণ প্রতিটি পদক্ষেপের তথ্য ঘনত্ব হ্রাস করতে পারে, আরও দীর্ঘ প্রজন্মকে উৎসাহিত করে २. ডেটা বিতরণ অদক্ষতা: বিপরীত CoT প্রশিক্ষণ বহু-episode যাচাইকরণ প্যাটার্ন তৈরি করে, যা যুক্তির সময় অব্যাহত থাকে

বিভিন্ন প্রশিক্ষণ কৌশল প্রভাব

SFT-প্রশিক্ষিত মডেল (QwQ, DeepSeek-R1-Distill) COTHINK-এর রূপরেখা নির্দেশনা আরও ভালভাবে অনুসরণ করে
খাঁটি RL-প্রশিক্ষিত মডেল (DAPO) সামঞ্জস্যপূর্ণ অনুসরণ কম, কিন্তু MATH500 এর মতো কাজে শক্তিশালী নির্দেশনা প্রদর্শন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. আপেক্ষিক দক্ষতা মূল্যায়নের গুরুত্ব: ঐতিহ্যবাহী টোকেন দক্ষতা মূল্যায়ন অপর্যাপ্ত, আপেক্ষিক দৃষ্টিভঙ্গি প্রয়োজন २. কঠিনতা-নির্ভর দক্ষতা প্যাটার্ন: সহজ সমস্যায় অত্যধিক চিন্তা, জটিল সমস্যায় মূল্য প্রদর্শন ३. সহযোগিতা পাইপলাইনের কার্যকারিতা: COTHINK সফলভাবে দুই ধরনের মডেলের পরিপূরক সুবিধা একত্রিত করে

সীমাবদ্ধতা

१. সহজ কাজে সীমিত উন্নতি: GSM8K এর মতো সহজ কাজে জয়ের হার মাত্র ३७.५% २. রূপরেখা গুণমানের উপর নির্ভরতা: দ্বিতীয় পর্যায়ের কর্মক্ষমতা প্রথম পর্যায়ের রূপরেখা গুণমানের উপর নির্ভর করে ३. মূল্যায়ন পরিসীমা সীমাবদ্ধতা: প্রধানত গাণিতিক যুক্তি কাজে যাচাই করা হয়েছে, অন্যান্য ক্ষেত্রে প্রয়োগযোগ্যতা অপেক্ষমাণ

ভবিষ্যত দিকনির্দেশনা

१. অন্যান্য যুক্তি কাজে সম্প্রসারণ: কোড প্রজন্ম, যুক্তিসঙ্গত যুক্তি ইত্যাদি २. গতিশীল রূপরেখা সমন্বয়: চিন্তা মডেল প্রতিক্রিয়ার উপর ভিত্তি করে রূপরেখা সমন্বয় করা ३. শেষ-থেকে-শেষ অপ্টিমাইজেশন: দুই-পর্যায়ের মডেল যৌথভাবে প্রশিক্ষণ করা

গভীর মূল্যায়ন

শক্তি

१. সমস্যা সংজ্ঞা স্পষ্ট: চিন্তা মডেলের অত্যধিক চিন্তার সমস্যা সঠিকভাবে চিহ্নিত করা २. মূল্যায়ন কাঠামো উদ্ভাবনী: আপেক্ষিক দক্ষতা মূল্যায়ন ঐতিহ্যবাহী পরম সূচকের চেয়ে আরও যুক্তিসঙ্গত ३. পদ্ধতি সহজ কার্যকর: COTHINK ডিজাইন স্বজ্ঞাত, বাস্তবায়ন এবং স্থাপনা সহজ ४. পরীক্ষা ব্যাপক: একাধিক মডেল, ডেটাসেট এবং মূল্যায়ন মাত্রা কভার করে ५. তাত্ত্বিক বিশ্লেষণ গভীর: দক্ষতা স্কেলিং আইনের জন্য তাত্ত্বিক কাঠামো প্রদান করে

অপূর্ণতা

१. সীমিত তাত্ত্বিক ভিত্তি: দক্ষতা স্কেলিং আইন অনুমান কঠোর প্রমাণ অভাব २. সহজ রূপরেখা প্রজন্ম কৌশল: প্রথম পর্যায় প্রম্পট ইঞ্জিনিয়ারিং তুলনামূলকভাবে অপরিশোধিত ३. অপর্যাপ্ত ক্রস-ডোমেইন যাচাইকরণ: শুধুমাত্র গাণিতিক যুক্তি কাজে যাচাই করা হয়েছে ४. গণনা ওভারহেড বিশ্লেষণ: দুই-পর্যায়ের পাইপলাইনের অতিরিক্ত ওভারহেড বিস্তারিত বিশ্লেষণ করা হয়নি

প্রভাব

१. একাডেমিক অবদান: যুক্তি দক্ষতা মূল্যায়নে নতুন দৃষ্টিভঙ্গি প্রদান করে, ভবিষ্যত মূল্যায়ন মান প্রভাবিত করতে পারে २. ব্যবহারিক মূল্য: COTHINK বিদ্যমান সিস্টেমে সরাসরি প্রয়োগ করা যায়, যুক্তি খরচ হ্রাস করে ३. পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা স্পষ্ট, কোড ওপেন সোর্স প্রতিশ্রুতি

প্রযোজ্য পরিস্থিতি

१. গণনা সম্পদ সীমিত পরিবেশ: নির্ভুলতা এবং দক্ষতা ভারসাম্যের প্রয়োজন এমন পরিস্থিতি २. মিশ্র কঠিনতা কাজ: সহজ এবং জটিল সমস্যা সমন্বিত অ্যাপ্লিকেশন ३. রিয়েল-টাইম যুক্তি সিস্টেম: প্রতিক্রিয়া সময়ের প্রয়োজন এমন ইন্টারেক্টিভ সিস্টেম

সংদর্ভ

পেপারটি যুক্তি দক্ষতা, চিন্তা মডেল, মিশ্র যুক্তি এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি এবং তুলনা রেফারেন্স প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি যুক্তি দক্ষতা মূল্যায়ন এবং অপ্টিমাইজেশনে গুরুত্বপূর্ণ অবদান সহ একটি উচ্চ-মানের পেপার। আপেক্ষিক দক্ষতা মূল্যায়ন কাঠামো এবং COTHINK সহযোগিতা পাইপলাইন প্রবর্তনের মাধ্যমে, এটি চিন্তা মডেলের অত্যধিক চিন্তার সমস্যা সমাধানের জন্য একটি কার্যকর সমাধান প্রদান করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, এর উদ্ভাবনী এবং ব্যবহারিক মূল্য এই ক্ষেত্রে এটিকে গুরুত্বপূর্ণ করে তোলে।