2025-11-11T12:43:08.939159

Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models

Wang, Jiang, He et al.

Recent studies show that Large Language Models (LLMs) achieve strong reasoning capabilities through supervised fine-tuning or reinforcement learning. However, a key approach, the Process Reward Model (PRM), suffers from reward hacking, making it unreliable in identifying the best intermediate step. In addition, the cost of annotating reasoning processes for reward modeling is high, making large-scale collection of high-quality data challenging. To address this, we propose a novel reward model approach called the Hierarchical Reward Model (HRM), which evaluates both individual and consecutive reasoning steps at both fine-grained and coarse-grained levels. HRM excels at assessing multi-step reasoning coherence, especially when flawed steps are later corrected through self-reflection. To further reduce the cost of generating training data, we introduce a lightweight and effective data augmentation strategy called Hierarchical Node Compression (HNC), which merges two consecutive reasoning steps into one within the tree structure. By applying HNC to MCTS-generated reasoning trajectories, we enhance the diversity and robustness of HRM training data while introducing controlled noise with minimal computational overhead. Empirical results on the PRM800K dataset show that HRM, together with HNC, provides more stable and reliable evaluations than PRM. Furthermore, cross-domain evaluations on the MATH500 and GSM8K datasets demonstrate HRM's strong generalization and robustness across a variety of reasoning tasks.

academic

বৃহৎ ভাষা মডেলে উন্নত যুক্তির জন্য শ্রেণিবদ্ধ বহু-পদক্ষেপ পুরস্কার মডেলের দিকে

মৌলিক তথ্য

পেপার আইডি: 2503.13551
শিরোনাম: Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models
লেখক: Teng Wang, Zhangyi Jiang, Zhenqi He, Hailei Gong, Shenyang Tong, Wenhan Yang, Zeyu Li, Yanan Zheng, Zifan He, Zewen Ye, Shengjie Ma, Jianping Zhang
শ্রেণীবিভাগ: cs.CL cs.AI
প্রকাশনার সময়/সম্মেলন: arXiv প্রাক-প্রিন্ট (২০২৫ সালের অক্টোবর)
পেপার লিঙ্ক: https://arxiv.org/abs/2503.13551

সারসংক্ষেপ

সাম্প্রতিক গবেষণা দেখায় যে বৃহৎ ভাষা মডেল (LLM) তত্ত্বাবধানে সূক্ষ্ম-সুর বা শক্তিশালী শেখার মাধ্যমে শক্তিশালী যুক্তি ক্ষমতা অর্জন করতে পারে। তবে, মূল পদ্ধতি প্রক্রিয়া পুরস্কার মডেল (PRM) পুরস্কার হ্যাকিং সমস্যার সম্মুখীন হয়, যা সর্বোত্তম মধ্যবর্তী পদক্ষেপ চিহ্নিত করার সময় এটিকে অবিশ্বাস্য করে তোলে। অতিরিক্তভাবে, পুরস্কার মডেলিংয়ের জন্য যুক্তি প্রক্রিয়া মন্তব্য করার খরচ অত্যন্ত বেশি, যা বড় আকারে উচ্চ-মানের ডেটা সংগ্রহকে চ্যালেঞ্জিং করে তোলে। এই সমস্যাগুলি সমাধান করার জন্য, এই পেপারটি একটি উপন্যাস পুরস্কার মডেল পদ্ধতি প্রস্তাব করে—শ্রেণিবদ্ধ পুরস্কার মডেল (HRM), যা সূক্ষ্ম-দানাদার এবং মোটা-দানাদার স্তরে স্বতন্ত্র এবং ক্রমাগত যুক্তি পদক্ষেপ মূল্যায়ন করে। HRM বহু-পদক্ষেপ যুক্তির সামঞ্জস্য মূল্যায়নে পারদর্শী, বিশেষত যখন ত্রুটিপূর্ণ পদক্ষেপগুলি পরবর্তীতে স্ব-প্রতিফলনের মাধ্যমে সংশোধিত হয়। প্রশিক্ষণ ডেটা উৎপাদনের খরচ আরও কমাতে, এই পেপারটি একটি হালকা এবং কার্যকর ডেটা বর্ধন কৌশল প্রবর্তন করে—শ্রেণিবদ্ধ নোড সংকোচন (HNC), যা গাছ কাঠামোতে দুটি ক্রমাগত যুক্তি পদক্ষেপকে একটিতে একত্রিত করে। MCTS-উৎপন্ন যুক্তি ট্র্যাজেক্টরিতে HNC প্রয়োগ করে, আমরা ন্যূনতম গণনামূলক ওভারহেড সহ HRM প্রশিক্ষণ ডেটার বৈচিত্র্য এবং দৃঢ়তা বৃদ্ধি করি, একই সাথে নিয়ন্ত্রিত শব্দ প্রবর্তন করি। PRM800K ডেটাসেটে পরীক্ষার ফলাফল দেখায় যে HRM এবং HNC সমন্বয় PRM-এর তুলনায় আরও স্থিতিশীল এবং নির্ভরযোগ্য মূল্যায়ন প্রদান করে। অতিরিক্তভাবে, MATH500 এবং GSM8K ডেটাসেটে ক্রস-ডোমেইন মূল্যায়ন বিভিন্ন যুক্তি কাজে HRM-এর শক্তিশালী সাধারণীকরণ ক্ষমতা এবং দৃঢ়তা প্রমাণ করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা প্রধানত বৃহৎ ভাষা মডেলের গাণিতিক যুক্তি কাজে দুটি মূল সমস্যা সমাধান করে:

পুরস্কার হ্যাকিং সমস্যা: বিদ্যমান প্রক্রিয়া পুরস্কার মডেল (PRM) সহজেই মডেল দ্বারা ব্যবহৃত হতে পারে, মডেল প্রকৃত যুক্তি উন্নতির পরিবর্তে পুরস্কার সংকেত ব্যবহার করে উচ্চ স্কোর পেতে পারে, যা জটিল কাজে নির্ভরযোগ্যতা ক্ষতিগ্রস্ত করে।
উচ্চ মন্তব্য খরচ: PRM যুক্তি পদক্ষেপের ব্যয়বহুল বড় আকারের মানব মন্তব্য প্রয়োজন, যা এর নির্ভরযোগ্যতা এবং স্কেলেবিলিটি সীমিত করে।

গবেষণার গুরুত্ব

গাণিতিক যুক্তি LLM-এর যুক্তি ক্ষমতা মূল্যায়নের একটি গুরুত্বপূর্ণ কাজ, বিদ্যমান পদ্ধতি যেমন চিন্তার শৃঙ্খল (CoT) এবং চিন্তার গাছ (ToT) কর্মক্ষমতা উন্নত করলেও, এখনও মূল সীমাবদ্ধতা রয়েছে:

CoT মডেল মধ্যবর্তী যুক্তি ত্রুটি সনাক্ত এবং সংশোধন করার প্রক্রিয়া অভাব
ToT পদ্ধতি প্রতিটি মধ্যবর্তী পদক্ষেপ যাচাই বা সর্বোত্তম যুক্তি ট্র্যাজেক্টরি পুনরুদ্ধার নিশ্চিত করতে পারে না

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ফলাফল পুরস্কার মডেল (ORM): বিলম্বিত প্রতিক্রিয়া এবং ক্রেডিট বরাদ্দ সমস্যা সম্মুখীন, কোন যুক্তি পদক্ষেপ চূড়ান্ত উত্তরে অবদান রাখে তা নির্ধারণ করা কঠিন
প্রক্রিয়া পুরস্কার মডেল (PRM): যদিও আরও সূক্ষ্ম-দানাদার তত্ত্বাবধান প্রদান করে, তবে পুরস্কার হ্যাকিং-এর জন্য সংবেদনশীল এবং মন্তব্য খরচ অত্যন্ত বেশি

গবেষণা প্রেরণা

উপরোক্ত সমস্যার উপর ভিত্তি করে, এই পেপারটি শ্রেণিবদ্ধ পুরস্কার মডেল (HRM) প্রস্তাব করে PRM-এর সীমাবদ্ধতা হ্রাস করতে, প্রশিক্ষণের সময় সূক্ষ্ম-দানাদার (একক-পদক্ষেপ) এবং মোটা-দানাদার (ক্রমাগত বহু-পদক্ষেপ) স্তরে শ্রেণিবদ্ধ তত্ত্বাবধান সংকেত একত্রিত করে, HRM যুক্তিতে স্থানীয় এবং বৈশ্বিক সামঞ্জস্য ক্যাপচার করতে সক্ষম করে।

মূল অবদান

শ্রেণিবদ্ধ পুরস্কার মডেল (HRM) প্রস্তাব: একক-পদক্ষেপ এবং বহু-পদক্ষেপ স্তরে প্রশিক্ষণ ডেটার শ্রেণিবদ্ধ তত্ত্বাবধান ব্যবহার করে, বহু-পদক্ষেপ যুক্তিতে সামঞ্জস্য এবং স্ব-সংশোধন ক্ষমতা প্রচার করে, PRM800K ডেটাসেটে HRM-এর দৃঢ়তা যাচাই করে।
শ্রেণিবদ্ধ নোড সংকোচন (HNC) প্রবর্তন: একটি হালকা MCTS ডেটা বর্ধন পদ্ধতি, ন্যূনতম গণনামূলক খরচে HRM প্রশিক্ষণ ডেটার বৈচিত্র্য এবং দৃঢ়তা উল্লেখযোগ্যভাবে বৃদ্ধি করে।
কৌশল মডেল কর্মক্ষমতা বৃদ্ধি: MCTS-ফিল্টার করা উচ্চ-মানের যুক্তি ট্র্যাজেক্টরিতে সূক্ষ্ম-সুর করার মাধ্যমে, যুক্তি কর্মক্ষমতা আরও উন্নত করে।
সাধারণীকরণ ক্ষমতা যাচাই: GSM8K এবং MATH500 ডেটাসেটে HRM-এর PRM-এর তুলনায় উচ্চতর যুক্তি সামঞ্জস্য এবং সাধারণীকরণ ক্ষমতা প্রদর্শন করে।

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

এই পেপারটি গাণিতিক যুক্তি কাজে ফোকাস করে, লক্ষ্য হল বহু-পদক্ষেপ গাণিতিক সমস্যা সমাধানে LLM-এর কর্মক্ষমতা মূল্যায়ন এবং উন্নত করা। ইনপুট গাণিতিক সমস্যা, আউটপুট ধাপে ধাপে যুক্তি প্রক্রিয়া এবং চূড়ান্ত উত্তর, সীমাবদ্ধতা হল যুক্তি পদক্ষেপের সঠিকতা এবং সামঞ্জস্য নিশ্চিত করা প্রয়োজন।

মডেল আর্কিটেকচার

শ্রেণিবদ্ধ পুরস্কার মডেল (HRM)

HRM-এর মূল ধারণা হল প্রশিক্ষণের সময় শ্রেণিবদ্ধ তত্ত্বাবধান ব্যবহার করা, একক এবং ক্রমাগত যুক্তি পদক্ষেপ মূল্যায়ন করা:

প্রশিক্ষণ ডেটা নির্মাণ:

PRM প্রশিক্ষণ ডেটা: $D_{PRM} = \{(s_i, R(s_i)) | 1 \leq i \leq N\}$
HRM প্রশিক্ষণ ডেটা: $D_{HRM} = D_{PRM} \cup \{(s_i + s_{i+1}, R(s_i + s_{i+1})) | 1 \leq i < N\}$

যেখানে $s_i$ $i$ -তম যুক্তি পদক্ষেপ নির্দেশ করে, $R(\cdot)$ পুরস্কার ফাংশন, $N$ যুক্তি ক্রম মোট পদক্ষেপ।

শ্রেণিবদ্ধ তত্ত্বাবধান উদ্দেশ্য:

সূক্ষ্ম-দানাদার এবং মোটা-দানাদার সামঞ্জস্য ক্যাপচার করা
স্ব-প্রতিফলন এবং ত্রুটি সংশোধন বাস্তবায়ন করা

অনুমান পর্যায়: যদিও প্রশিক্ষণ সময় একত্রিত যুক্তি পদক্ষেপ ব্যবহার করে, HRM অনুমান সময় এখনও ধাপে ধাপে মূল্যায়ন করে, শুধুমাত্র বর্তমান পদক্ষেপ $s_i$ উপর ভিত্তি করে পুরস্কার বরাদ্দ করে, PRM-এর অনুরূপ।

শ্রেণিবদ্ধ নোড সংকোচন (HNC)

HNC একটি ডেটা বর্ধন পদ্ধতি, MCTS গাছ কাঠামোতে ক্রমাগত নোড একত্রিত করে প্রশিক্ষণ ডেটা বৈচিত্র্য বৃদ্ধি করে:

মূল প্রক্রিয়া:

দুটি ক্রমাগত নোড এলোমেলোভাবে একত্রিত করা, প্রতিটি একটি যুক্তি পদক্ষেপ সংশ্লিষ্ট
নোড মধ্যে সরাসরি সংযোগ সরানো
সংযোগ সম্পর্ক পুনর্নির্দেশ করা

শব্দ প্রবর্তন: যখন একটি এলোমেলো নোড সরানো হয়, অবশিষ্ট সাব-নোডের ওজন $\frac{1}{N}$ থেকে $\frac{1}{N-1}$ -এ পুনর্বন্টন করা হয়, বৈচিত্র্য $\frac{\sigma^2}{N}$ থেকে $\frac{\sigma^2}{N-1}$ -এ বৃদ্ধি পায়, নিয়ন্ত্রিত শব্দ প্রবর্তন করে।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

শ্রেণিবদ্ধ তত্ত্বাবধান ডিজাইন: PRM শুধুমাত্র একক পদক্ষেপ মূল্যায়ন করার বিপরীতে, HRM বহু-পদক্ষেপ মধ্যে পারস্পরিক ক্রিয়া বিবেচনা করে, প্রাথমিক ত্রুটির পরবর্তী পদক্ষেপ সংশোধন চিহ্নিত করতে পারে।
স্ব-সংশোধন ক্ষমতা: ঐতিহ্যবাহী PRM ত্রুটিপূর্ণ একক-পদক্ষেপে শাস্তি দেয় পরবর্তী যুক্তিতে সম্ভাব্য সংশোধন বিবেচনা না করে, HRM বহু-পদক্ষেপ মধ্যে যুক্তি সামঞ্জস্য মূল্যায়ন করে।
কম খরচ ডেটা বর্ধন: HNC অত্যন্ত কম গণনামূলক ওভারহেড (প্রায় 30 মিনিট CPU সময়) সহ ডেটা বর্ধন বাস্তবায়ন করে, MCTS-এর 2457 A100 GPU ঘণ্টার তুলনায় প্রায় উপেক্ষণীয়।

পরীক্ষা সেটআপ

ডেটাসেট

PRM800K: হাতে তৈরি মন্তব্যকৃত যুক্তি ট্র্যাজেক্টরি অন্তর্ভুক্ত, ORM, PRM এবং HRM প্রশিক্ষণের ভিত্তি হিসাবে কাজ করে
MATH500: উচ্চ বিদ্যালয় এবং বিশ্ববিদ্যালয় স্তরের গাণিতিক সমস্যা, সাধারণীকরণ ক্ষমতা মূল্যায়নের জন্য ব্যবহৃত
GSM8K: প্রাথমিক গাণিতিক প্রয়োগ সমস্যা, 1000 পরীক্ষা সমস্যা অন্তর্ভুক্ত

মূল্যায়ন মেট্রিক্স

নির্ভুলতা: Best-of-N কৌশলে সমস্যা সমাধান নির্ভুলতা
স্থিতিশীলতা: N বৃদ্ধির সাথে কর্মক্ষমতার স্থিতিশীলতা
দৃঢ়তা: বিভিন্ন কৌশল মডেল এবং ডেটাসেট জুড়ে সামঞ্জস্যপূর্ণ কর্মক্ষমতা

তুলনা পদ্ধতি

ORM (ফলাফল পুরস্কার মডেল): সম্পূর্ণ যুক্তি শৃঙ্খলের উপর ভিত্তি করে মূল্যায়ন
PRM (প্রক্রিয়া পুরস্কার মডেল): যুক্তি প্রক্রিয়া ধাপে ধাপে মূল্যায়ন
HRM (শ্রেণিবদ্ধ পুরস্কার মডেল): এই পেপারে প্রস্তাবিত শ্রেণিবদ্ধ পুরস্কার মডেল

বাস্তবায়ন বিবরণ

পুরস্কার মডেল: Qwen2.5-1.5B-Math উপর ভিত্তি করে সূক্ষ্ম-সুর
কৌশল মডেল: Qwen2.5-72B-Math-Instruct, DeepSeek-Math-7B, Qwen2.5-7B-Math-Instruct
MCTS কনফিগারেশন: প্রতিটি প্যারেন্ট নোডে 5-6 সাব-নোড, সর্বাধিক গাছ গভীরতা 7
প্রশিক্ষণ অপ্টিমাইজেশন: FlashAttention, DeepSpeed এবং মিশ্র নির্ভুলতা প্রশিক্ষণ ব্যবহার করা

পরীক্ষার ফলাফল

প্রধান ফলাফল

PRM800K ডেটাসেটে Best-of-N কর্মক্ষমতা:

N	2	4	8	16	24
ORM	0.622	0.677	0.655	0.655	0.633
PRM	0.700	0.644	0.611	0.588	0.577
HRM	0.722	0.711	0.744	0.800	0.800

মূল আবিষ্কার:

HRM N বৃদ্ধির সাথে স্থিতিশীল কর্মক্ষমতা বজায় রাখে, নির্ভুলতা 80%-এ স্থিতিশীল থাকে
ORM এবং PRM উল্লেখযোগ্য ওঠানামা প্রদর্শন করে, N বৃদ্ধির সাথে নির্ভুলতা হ্রাস পায়
HRM সর্বোত্তম স্থিতিশীলতা এবং নির্ভরযোগ্যতা প্রদর্শন করে

ক্রস-ডোমেইন সাধারণীকরণ পরীক্ষা

GSM8K এবং MATH500 ডেটাসেট ফলাফল:

ডেটাসেট	পদ্ধতি	N=2	N=64	N=256	N=512
GSM8K	PRM	0.784	0.905	0.927	0.918
GSM8K	HRM	0.784	0.907	0.930	0.926
MATH500	PRM	0.468	0.656	0.686	0.688
MATH500	HRM	0.490	0.742	0.740	0.736

গুরুত্বপূর্ণ পর্যবেক্ষণ:

জটিল MATH500 ডেটাসেটে, HRM PRM-এর চেয়ে উল্লেখযোগ্যভাবে ভাল
অপেক্ষাকৃত সহজ GSM8K-এ, পার্থক্য ছোট কিন্তু HRM এখনও সামান্য ভাল
HRM শক্তিশালী ক্রস-ডোমেইন দৃঢ়তা প্রদর্শন করে

অ্যাবলেশন পরীক্ষা

বিভিন্ন কৌশল মডেলের তুলনা: MCTS-উৎপন্ন স্বয়ংক্রিয় মন্তব্যকৃত ডেটায় প্রশিক্ষিত HRM একাধিক কৌশল মডেলে PRM-এর চেয়ে ভাল স্থিতিশীলতা প্রদর্শন করে:

DeepSeek-Math-7B
Qwen2.5-72B-Math
Qwen2.5-7B-Math

স্ব-প্রশিক্ষণ পরীক্ষা

KL বিচ্যুতি নিয়মিতকরণ সহ তত্ত্বাবধানে সূক্ষ্ম-সুর করার মাধ্যমে কৌশল মডেল কর্মক্ষমতা আরও উন্নত করা হয়েছে, উচ্চ-মানের যুক্তি ডেটার মূল্য যাচাই করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

HRM কার্যকরভাবে PRM-এর পুরস্কার হ্যাকিং সমস্যা হ্রাস করে, শ্রেণিবদ্ধ তত্ত্বাবধানের মাধ্যমে আরও স্থিতিশীল এবং নির্ভরযোগ্য মূল্যায়ন প্রদান করে
HNC একটি দক্ষ ডেটা বর্ধন কৌশল, অত্যন্ত কম খরচে প্রশিক্ষণ ডেটা গুণমান উল্লেখযোগ্যভাবে উন্নত করে
HRM চমৎকার সাধারণীকরণ ক্ষমতা প্রদর্শন করে, একাধিক গাণিতিক যুক্তি ডেটাসেটে ক্রমাগত PRM-এর চেয়ে ভাল

সীমাবদ্ধতা

একত্রিত পদক্ষেপ সীমাবদ্ধতা: বর্তমানে শুধুমাত্র দুটি ক্রমাগত পদক্ষেপ একত্রিত করে, আরও পদক্ষেপ একত্রিত করা লেবেল সমন্বয় জটিলতা দ্রুত বৃদ্ধি করে
ডোমেইন সীমাবদ্ধতা: প্রধানত গাণিতিক যুক্তিতে ফোকাস করে, অন্যান্য কাঠামোগত যুক্তি ডোমেইনে প্রযোজ্যতা আরও যাচাই প্রয়োজন
গণনামূলক সীমাবদ্ধতা: MCTS কনফিগারেশন গণনামূলক সম্পদ দ্বারা সীমাবদ্ধ, উৎপন্ন ডেটার বৈচিত্র্য প্রভাবিত করতে পারে

ভবিষ্যত দিকনির্দেশনা

আরও জটিল শ্রেণিবদ্ধ কাঠামো ডিজাইন অন্বেষণ করা
অন্যান্য কাঠামোগত যুক্তি কাজে সম্প্রসারণ করা
গণনামূলক খরচ কমাতে আরও দক্ষ অনুসন্ধান অ্যালগরিদম একত্রিত করা
বহু-পদক্ষেপ একত্রিত পরিচালনার জন্য আরও পরিশীলিত লেবেল কৌশল গবেষণা করা

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবনী: HRM-এর শ্রেণিবদ্ধ তত্ত্বাবধান ডিজাইন চতুরভাবে স্থানীয় নির্ভুলতা এবং বৈশ্বিক সামঞ্জস্য একত্রিত করে
ব্যাপক পরীক্ষা: একাধিক ডেটাসেট এবং কৌশল মডেলে ব্যাপক মূল্যায়ন পরিচালিত হয়েছে
উচ্চ ব্যবহারিক মূল্য: HNC পদ্ধতি বিদ্যমান MCTS প্রবাহে সরাসরি প্রয়োগ করা যেতে পারে
শক্তিশালী তাত্ত্বিক ভিত্তি: পুরস্কার হ্যাকিং সমস্যার বিশ্লেষণ গভীর, সমাধান লক্ষ্যবদ্ধ

অপূর্ণতা

পদ্ধতি জটিলতা: PRM-এর তুলনায়, HRM-এর প্রশিক্ষণ ডেটা নির্মাণ এবং লেবেল কৌশল আরও জটিল
স্কেলেবিলিটি: বর্তমানে শুধুমাত্র দুই-পদক্ষেপ একত্রিত সমর্থন করে, পদ্ধতির সম্প্রসারণ সীমিত করে
ডোমেইন-নির্দিষ্টতা: প্রধানত গাণিতিক যুক্তি কাজ যাচাই করা হয়েছে, অন্যান্য ডোমেইনে প্রযোজ্যতা সম্পূর্ণভাবে যাচাই করা হয়নি

প্রভাব

একাডেমিক অবদান: পুরস্কার মডেল ডিজাইনের জন্য নতুন শ্রেণিবদ্ধ চিন্তাভাবনা প্রদান করে
ব্যবহারিক মূল্য: HNC পদ্ধতি বিদ্যমান MCTS প্রবাহে সরাসরি প্রয়োগ করা যেতে পারে
পুনরুৎপাদনযোগ্যতা: বিস্তারিত পরীক্ষা সেটআপ এবং হাইপারপ্যারামিটার কনফিগারেশন প্রদান করা হয়েছে

প্রযোজ্য পরিস্থিতি

গাণিতিক যুক্তি কাজ: বিশেষত বহু-পদক্ষেপ যুক্তি প্রয়োজন এমন জটিল গাণিতিক সমস্যার জন্য উপযুক্ত
স্ব-সংশোধন প্রয়োজন এমন যুক্তি কাজ: HRM যুক্তি প্রক্রিয়ায় ত্রুটি সংশোধন চিহ্নিত এবং পুরস্কৃত করতে পারে
সম্পদ-সীমাবদ্ধ পরিস্থিতি: HNC কম খরচের ডেটা বর্ধন সমাধান প্রদান করে

রেফারেন্স

পেপারটি এই ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করেছে, যার মধ্যে রয়েছে:

Lightman et al. (2023) - Let's verify step by step (PRM800K ডেটাসেট)
Cobbe et al. (2021) - Training verifiers to solve math word problems
Wei et al. (2022) - Chain-of-thought prompting
Ouyang et al. (2022) - Training language models to follow instructions with human feedback

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার, যা PRM-এর মূল সমস্যার জন্য উদ্ভাবনী সমাধান প্রস্তাব করে। HRM-এর শ্রেণিবদ্ধ তত্ত্বাবধান ডিজাইন তাত্ত্বিকভাবে যুক্তিসঙ্গত, পরীক্ষা যাচাই ব্যাপক, HNC পদ্ধতি অত্যন্ত ব্যবহারিক মূল্য রাখে। পেপারটি প্রযুক্তিগত উদ্ভাবন, পরীক্ষা ডিজাইন এবং ফলাফল বিশ্লেষণে চমৎকার পারফরম্যান্স প্রদর্শন করে, বৃহৎ ভাষা মডেলের যুক্তি ক্ষমতা উন্নতির জন্য মূল্যবান অবদান প্রদান করে।