2025-11-18T13:37:13.426950

Why is Your Language Model a Poor Implicit Reward Model?

Razin, Lin, Yao et al.

Reward models are key to language model post-training and inference pipelines. Conveniently, recent work showed that every language model defines an implicit reward model (IM-RM), without requiring any architectural changes. However, such IM-RMs tend to generalize worse, especially out-of-distribution, compared to explicit reward models (EX-RMs) that apply a dedicated linear head over the hidden representations of a language model. The existence of a generalization gap is puzzling, as EX-RMs and IM-RMs are nearly identical. They can be trained using the same data, loss function, and language model, and differ only in how the reward is computed. Toward a fundamental understanding of the implicit biases underlying different reward model types, we investigate the root cause of this gap. Our main finding, backed by theory and experiments, is that IM-RMs rely more heavily on superficial token-level cues. Consequently, they often generalize worse than EX-RMs under token-level distribution shifts, as well as in-distribution. Furthermore, we provide evidence against alternative hypotheses for the generalization gap. Most notably, we challenge the intuitive claim that IM-RMs struggle in tasks where generation is harder than verification because they can operate both as a verifier and a generator. Taken together, our results highlight that seemingly minor design choices can substantially impact the generalization behavior of reward models.

academic

আপনার ভাষা মডেল কেন একটি দুর্বল অন্তর্নিহিত পুরস্কার মডেল?

মৌলিক তথ্য

পেপার আইডি: 2507.07981
শিরোনাম: Why is Your Language Model a Poor Implicit Reward Model?
লেখক: Noam Razin†, Yong Lin†, Jiarui Yao‡, Sanjeev Arora† (†প্রিন্সটন বিশ্ববিদ্যালয়, ‡ইলিনয় বিশ্ববিদ্যালয় আরবানা-শ্যাম্পেইন)
শ্রেণীবিভাগ: cs.CL cs.AI cs.LG stat.ML
প্রকাশনার সময়/সম্মেলন: arXiv প্রি-প্রিন্ট (২০২৫ সালের অক্টোবর ১৬ তারিখে আপডেট)
পেপার লিঙ্ক: https://arxiv.org/abs/2507.07981v2

সারসংক্ষেপ

পুরস্কার মডেলগুলি ভাষা মডেলের পরবর্তী প্রশিক্ষণ এবং অনুমান পাইপলাইনের মূল উপাদান। সাম্প্রতিক গবেষণা দেখায় যে প্রতিটি ভাষা মডেল একটি অন্তর্নিহিত পুরস্কার মডেল (IM-RM) সংজ্ঞায়িত করে, কোনো স্থাপত্য পরিবর্তন ছাড়াই। তবে, ভাষা মডেলের লুকানো প্রতিনিধিত্বে প্রয়োগ করা উৎসর্গীকৃত রৈখিক শিরোনামের স্পষ্ট পুরস্কার মডেল (EX-RM) এর তুলনায়, IM-RM এর সাধারণীকরণ ক্ষমতা প্রায়শই দুর্বল, বিশেষ করে বিতরণের বাইরের পরিস্থিতিতে। এই সাধারণীকরণ ব্যবধান বিভ্রান্তিকর, কারণ EX-RM এবং IM-RM প্রায় অভিন্ন—তারা একই ডেটা, ক্ষতি ফাংশন এবং ভাষা মডেল ব্যবহার করে প্রশিক্ষিত হতে পারে, শুধুমাত্র পুরস্কার গণনার পদ্ধতিতে পার্থক্য রয়েছে। এই নিবন্ধটি এই ব্যবধানের মূল কারণগুলি গভীরভাবে অনুসন্ধান করে এবং আবিষ্কার করে যে IM-RM পৃষ্ঠের টোকেন-স্তরের সংকেতের উপর আরও বেশি নির্ভর করে, তাই টোকেন-স্তরের বিতরণ পরিবর্তন এবং বিতরণের মধ্যে উভয় ক্ষেত্রেই EX-RM এর চেয়ে কম সাধারণীকরণ ক্ষমতা রয়েছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

পুরস্কার মডেলগুলি আধুনিক ভাষা মডেল ইকোসিস্টেমে একটি মূল ভূমিকা পালন করে এবং শক্তিশালী শেখার প্রশিক্ষণ, সরাসরি সারিবদ্ধকরণ অ্যালগরিদম, প্রত্যাখ্যান নমুনা, ডেটা ফিল্টারিং এবং অনুমান-সময় স্কেলিং সহ বিভিন্ন পরিস্থিতিতে ব্যাপকভাবে প্রয়োগ করা হয়। বর্তমানে দুটি প্রধান ধরনের পুরস্কার মডেল রয়েছে:

স্পষ্ট পুরস্কার মডেল (EX-RM): ভাষা মডেলের লুকানো প্রতিনিধিত্বে পুরস্কার গণনা করার জন্য একটি রৈখিক শিরোনাম প্রয়োগ করে
অন্তর্নিহিত পুরস্কার মডেল (IM-RM): ভাষা মডেলের লগ সম্ভাব্যতার মাধ্যমে অন্তর্নিহিতভাবে পুরস্কার সংজ্ঞায়িত করে

গবেষণা প্রেরণা

যদিও EX-RM এবং IM-RM স্থাপত্যগতভাবে প্রায় অভিন্ন, তবুও পূর্ববর্তী গবেষণা পর্যবেক্ষণ করেছে যে IM-RM এর সাধারণীকরণ ক্ষমতা প্রায়শই দুর্বল, বিশেষ করে বিতরণের বাইরের পরিস্থিতিতে। এই ঘটনা বিভ্রান্তিকর, কারণ উভয় মডেল একই ভাষা মডেল, একই ডেটা এবং ক্ষতি ফাংশনের উপর ভিত্তি করে প্রশিক্ষিত হতে পারে, শুধুমাত্র পুরস্কার গণনার পদ্ধতিতে ছোট পার্থক্য রয়েছে।

গুরুত্ব

বিভিন্ন পুরস্কার মডেল ধরনের অন্তর্নিহিত পক্ষপাত বোঝা নিম্নলিখিত বিষয়গুলির জন্য গুরুত্বপূর্ণ:

উপযুক্ত পুরস্কার মডেল স্থাপত্য নির্বাচন
পুরস্কার মডেলের দৃঢ়তা উন্নত করা
ভাষা মডেলের পরবর্তী প্রশিক্ষণ প্রক্রিয়া অপ্টিমাইজ করা

মূল অবদান

তাত্ত্বিক বিশ্লেষণ: শেখার গতিশীলতা বিশ্লেষণের মাধ্যমে, IM-RM টোকেন-স্তরের সংকেতের উপর আরও বেশি নির্ভর করে এবং EX-RM প্রধানত লুকানো প্রতিনিধিত্বের মাধ্যমে সাধারণীকরণ করে তা প্রকাশ করে
স্বজ্ঞাত অনুমান খণ্ডন: প্রমাণ করে যে IM-RM এর সাধারণীকরণ সমস্যা উৎপাদন-যাচাইকরণ ব্যবধান থেকে উদ্ভূত নয়, যাচাইকরণ শেখা উৎপাদন শেখার প্রয়োজন নেই
অভিজ্ঞতামূলক যাচাইকরণ: নিয়ন্ত্রিত পরীক্ষা এবং বাস্তব পরিস্থিতিতে যাচাই করে যে IM-RM টোকেন-স্তরের বিতরণ পরিবর্তনের অধীনে আরও খারাপ পারফর্ম করে, কিন্তু ডোমেইন পরিবর্তনের অধীনে সমান বা আরও ভাল পারফর্ম করতে পারে
তাত্ত্বিক গ্যারান্টি: সরলীকৃত সেটিংসে প্রমাণ করে যে IM-RM অদেখা টোকেনে সাধারণীকরণ করতে পারে না, যখন EX-RM ভালভাবে কাঠামোগত লুকানো প্রতিনিধিত্বের মাধ্যমে সফলভাবে সাধারণীকরণ করতে পারে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

পছন্দের ডেটায় পুরস্কার মডেলের র্যাঙ্কিং নির্ভুলতা অধ্যয়ন করুন, অর্থাৎ প্রম্পট-উত্তর জোড়া (x,y+,y-) দেওয়া, যেখানে y+ পছন্দের উত্তর এবং y- প্রত্যাখ্যাত উত্তর, মূল্যায়ন করুন যে পুরস্কার মডেল সঠিকভাবে র্যাঙ্ক করতে পারে কিনা: r(x,y+) > r(x,y-)।

মডেল স্থাপত্য

স্পষ্ট পুরস্কার মডেল (EX-RM)

r^EX_θ(x,y) = ⟨u, h_{x,y}⟩

যেখানে u রৈখিক শিরোনাম প্যারামিটার এবং h_{x,y} প্রম্পট-উত্তর জোড়া (x,y) এর জন্য ভাষা মডেল দ্বারা উত্পাদিত লুকানো প্রতিনিধিত্ব।

অন্তর্নিহিত পুরস্কার মডেল (IM-RM)

r^IM_θ(x,y) = β ln(π_θ(y|x)/π_ref(y|x))

যেখানে β একটি নির্দিষ্ট সহগ, π_ref একটি রেফারেন্স বিতরণ (সাধারণত প্রাথমিক ভাষা মডেল)।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

১. শেখার গতিশীলতা বিশ্লেষণ

গ্রেডিয়েন্ট আপডেট কীভাবে পুরস্কার বরাদ্দকে প্রভাবিত করে তা বিশ্লেষণ করে, আবিষ্কার করে:

EX-RM গতিশীলতা:

Δr^EX_θ(x̄,ȳ) = ⟨h_{x̄,ȳ}, h_{x,y+} - h_{x,y-}⟩ · ηg(θ_EX)

IM-RM গতিশীলতা:

Δr^IM_θ(x̄,ȳ) = (∑∑ ρ_{k,l}(y+)⟨h_{x̄,ȳ<k}, h_{x,y+<l}⟩ - ∑∑ ρ_{k,l}(y-)⟨h_{x̄,ȳ<k}, h_{x,y-<l}⟩) · ηg(θ_IM)β²

মূল আবিষ্কার: EX-RM এর পরিবর্তন শুধুমাত্র লুকানো প্রতিনিধিত্বের উপর নির্ভর করে, যখন IM-RM এর পরিবর্তন নির্দিষ্ট টোকেনের উপর নির্ভর করে, সহগ ρ_{k,l} টোকেন ওভারল্যাপ পরিস্থিতি প্রতিফলিত করে।

২. সাধারণীকরণ ব্যবধান তত্ত্ব

উপপাদ্য ২: সরলীকৃত সেটিংসে (একক-টোকেন উত্তর), IM-RM অদেখা টোকেনে সাধারণীকরণ করতে পারে না (নির্ভুলতা ০.৫ এ থাকে), যখন EX-RM লুকানো প্রতিনিধিত্বের সর্বোচ্চ মার্জিন বিভাজকের মাধ্যমে সাধারণীকরণ করতে পারে।

পরীক্ষামূলক সেটআপ

ডেটাসেট

নিয়ন্ত্রিত পরীক্ষা:
- পার্সোনা ডেটাসেট: সম্মতি/অসম্মতি কাজ
- হ্যামিলটোনিয়ান সাইকেল যাচাইকরণ: সংশ্লেষিত গ্রাফ তত্ত্ব কাজ
বাস্তব পরিস্থিতি:
- UltraFeedback: সাধারণ কথোপকথন ডেটা
- RewardMATH: গাণিতিক যুক্তি ডেটা
- RewardBench: বহু-ডোমেইন মূল্যায়ন বেঞ্চমার্ক

মূল্যায়ন মেট্রিক্স

নির্ভুলতা: পছন্দের ডেটায় র্যাঙ্কিং নির্ভুলতা
পরম পুরস্কার মার্জিন: |r(x,y+) - r(x,y-)| এর স্বাভাবিকীকৃত মান

তুলনা পদ্ধতি

স্পষ্ট পুরস্কার মডেল (EX-RM)
অন্তর্নিহিত পুরস্কার মডেল (IM-RM)
স্পষ্ট উৎপাদন পুরস্কার মডেল (EX-GRM)

বাস্তবায়ন বিবরণ

ভাষা মডেল: Pythia, Gemma-2, Qwen-2.5, Llama-3 সিরিজ (১B-৮B প্যারামিটার)
অপ্টিমাইজার: Adam
শেখার হার: ১e-৬
β সহগ: ০.০১ (IM-RM এর জন্য)
ক্ষতি ফাংশন: Bradley-Terry লগ সম্ভাব্যতা ক্ষতি

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

১. টোকেন-স্তরের বিতরণ পরিবর্তন

UltraFeedback প্রশিক্ষণ: টোকেন-স্তরের পরিবর্তনে EX-RM জয়ের হার ৮৩.৪%, IM-RM জয়ের হার ১৬.৬%
RewardMATH প্রশিক্ষণ: টোকেন-স্তরের পরিবর্তনে EX-RM জয়ের হার ১০০%, IM-RM জয়ের হার ০%

২. ডোমেইন পরিবর্তন

UltraFeedback প্রশিক্ষণ: ডোমেইন পরিবর্তনে, IM-RM জয়ের হার ৬৬.৭%, EX-RM জয়ের হার ৩৩.৩%
RewardMATH প্রশিক্ষণ: ডোমেইন পরিবর্তনে, IM-RM জয়ের হার ৩৩.৪%, EX-RM জয়ের হার ৬৬.৬%

३. নিয়ন্ত্রিত পরীক্ষার ফলাফল

পার্সোনা ডেটাসেটের পুনর্লিখন কাজে:

EX-RM মূল এবং পুনর্লিখিত উত্তর উভয়েই ১০০% নির্ভুলতা অর্জন করে
IM-RM মূল উত্তরে ১০০% নির্ভুলতা, কিন্তু পুনর্লিখিত উত্তরে মাত্র ২.২% নির্ভুলতা

বিলোপন পরীক্ষা

১. উৎপাদন-যাচাইকরণ অনুমান যাচাইকরণ

হ্যামিলটোনিয়ান সাইকেল পরীক্ষা দেখায়:

IM-RM প্রশিক্ষণ নির্ভুলতা: ১০০%, পরীক্ষা নির্ভুলতা: ৯৯.৩%
IM-RM সঠিক উৎপাদন সংখ্যা: ০ (কোনো সঠিক হ্যামিলটোনিয়ান সাইকেল উৎপাদন করতে পারে না)
প্রমাণ করে যাচাইকরণ শেখা উৎপাদন শেখার প্রয়োজন নেই

२. বিকল্প অনুমান পরীক্ষা

সমস্ত লুকানো প্রতিনিধিত্বের উপর ভিত্তি করে EX-RM ভেরিয়েন্ট পরীক্ষা করা হয়েছে
রেফারেন্স বিতরণ ছাড়াই IM-RM ভেরিয়েন্ট পরীক্ষা করা হয়েছে
ফলাফল দেখায় সাধারণীকরণ ব্যবধান এখনও বিদ্যমান

পরীক্ষামূলক আবিষ্কার

টোকেন সংবেদনশীলতা: IM-RM পৃষ্ঠের টোকেন পরিবর্তনের প্রতি অত্যন্ত সংবেদনশীল, এমনকি শব্দার্থগতভাবে অভিন্ন হলেও ব্যর্থ হয়
লুকানো প্রতিনিধিত্ব সাধারণীকরণ: EX-RM শব্দার্থগতভাবে সমৃদ্ধ লুকানো প্রতিনিধিত্বের মাধ্যমে সফলভাবে সাধারণীকরণ করতে পারে
পুরস্কার মার্জিন: EX-RM ধারাবাহিকভাবে উচ্চতর পরম পুরস্কার মার্জিন উৎপাদন করে, যা শক্তিশালী শেখার অপ্টিমাইজেশনের জন্য উপকারী
ডোমেইন অভিযোজন: IM-RM নির্দিষ্ট ডোমেইন পরিবর্তন পরিস্থিতিতে আরও ভাল পারফর্ম করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

মূল কারণ: IM-RM এর সাধারণীকরণ সমস্যা উৎপাদন-যাচাইকরণ ব্যবধান থেকে নয় বরং পৃষ্ঠের টোকেন-স্তরের সংকেতের অতিরিক্ত নির্ভরতা থেকে উদ্ভূত
ডিজাইন প্রভাব: দেখা যায় যে ছোট ডিজাইন পছন্দ (পুরস্কার কীভাবে গণনা করতে হয়) সাধারণীকরণ আচরণে উল্লেখযোগ্য প্রভাব ফেলতে পারে
প্রয়োগ নির্দেশনা: টোকেন-স্তরের বিতরণ পরিবর্তন পরিস্থিতিতে EX-RM কে অগ্রাধিকার দেওয়া উচিত, ডোমেইন পরিবর্তন পরিস্থিতিতে IM-RM বিবেচনা করা যেতে পারে

সীমাবদ্ধতা

তাত্ত্বিক অনুমান: তাত্ত্বিক বিশ্লেষণ নির্দিষ্ট লুকানো প্রতিনিধিত্ব এবং একক-টোকেন উত্তরের সরলীকৃত অনুমানের উপর ভিত্তি করে
মূল্যায়ন মেট্রিক্স: প্রধানত নির্ভুলতার উপর দৃষ্টি নিবদ্ধ করে, পুরস্কার মডেল কার্যকারিতার সমস্ত মাত্রা কভার করে না
মডেল পরিসীমা: প্রধানত তিন ধরনের পুরস্কার মডেল অধ্যয়ন করেছে, সমস্ত সম্ভাব্য ভেরিয়েন্ট কভার করে না

ভবিষ্যত দিকনির্দেশনা

তাত্ত্বিক সম্প্রসারণ: বর্তমান তাত্ত্বিক বিশ্লেষণের সীমাবদ্ধ অনুমান শিথিল করা
কারণ অন্বেষণ: বিভিন্ন পুরস্কার মডেল ধরনের সাধারণীকরণকে প্রভাবিত করে এমন অন্যান্য কারণ অধ্যয়ন করা
মূল্যায়ন সম্প্রসারণ: পুরস্কার মডেল মূল্যায়নের জন্য আরও ব্যাপক মান বিকাশ করা
নতুন স্থাপত্য: অন্যান্য পুরস্কার মডেল ধরনের অন্তর্নিহিত পক্ষপাত অন্বেষণ করা

গভীর মূল্যায়ন

শক্তি

তাত্ত্বিক গভীরতা: শেখার গতিশীলতার দৃষ্টিকোণ থেকে সাধারণীকরণ ব্যবধান ব্যাখ্যা করার জন্য কঠোর গাণিতিক বিশ্লেষণ প্রদান করে
পরীক্ষামূলক ব্যাপকতা: নিয়ন্ত্রিত পরীক্ষা এবং বাস্তব পরিস্থিতি একত্রিত করে, একাধিক ভাষা মডেল এবং ডেটাসেট জুড়ে বিস্তৃত
অনুমান পরীক্ষা: সিস্টেমেটিকভাবে স্বজ্ঞাত কিন্তু ভুল ব্যাখ্যা পরীক্ষা এবং খণ্ডন করে
ব্যবহারিক মূল্য: বাস্তব প্রয়োগে পুরস্কার মডেল নির্বাচনের জন্য স্পষ্ট নির্দেশনা প্রদান করে

অপূর্ণতা

অনুমান সীমাবদ্ধতা: তাত্ত্বিক বিশ্লেষণের সরলীকৃত অনুমান সিদ্ধান্তের সার্বজনীনতা সীমিত করতে পারে
প্রক্রিয়া বোঝা: ডোমেইন পরিবর্তনে IM-RM আরও ভাল পারফর্ম করার প্রক্রিয়া সম্পর্কে গভীর বিশ্লেষণের অভাব
স্কেল যাচাইকরণ: পরীক্ষা প্রধানত মাঝারি আকারের মডেলে পরিচালিত হয়েছে, বড় আকারের মডেলের সিদ্ধান্ত আরও যাচাইকরণের প্রয়োজন

প্রভাব

তাত্ত্বিক অবদান: বিভিন্ন পুরস্কার মডেল ধরনের আচরণ বোঝার জন্য গুরুত্বপূর্ণ তাত্ত্বিক ভিত্তি প্রদান করে
ব্যবহারিক নির্দেশনা: RLHF এবং DPO এর মতো প্রযুক্তির প্রয়োগে সরাসরি নির্দেশনা প্রদান করে
গবেষণা অনুপ্রেরণা: পুরস্কার মডেলের অন্তর্নিহিত পক্ষপাত সম্পর্কে আরও গবেষণার জন্য নতুন দিক খুলে দেয়

প্রযোজ্য পরিস্থিতি

উচ্চ মানের প্রয়োজনীয়তা: বিতরণ পরিবর্তনে স্থিতিশীল কর্মক্ষমতা বজায় রাখার প্রয়োজন এমন প্রয়োগ
টোকেন-সংবেদনশীল কাজ: পুনর্লিখন, অনুবাদ ইত্যাদি টোকেন-স্তরের পরিবর্তন জড়িত পরিস্থিতি
দৃঢ়তা-গুরুত্বপূর্ণ: পুরস্কার মডেলের দৃঢ়তার জন্য কঠোর প্রয়োজনীয়তা সহ সিস্টেম

সংদর্ভ

পেপারটি সম্পর্কিত কাজের বিস্তৃত উদ্ধৃতি অন্তর্ভুক্ত করে, যার মধ্যে রয়েছে:

Ouyang et al. (2022): মানব প্রতিক্রিয়া সহ নির্দেশনা অনুসরণ করার জন্য ভাষা মডেল প্রশিক্ষণ
Rafailov et al. (2023): সরাসরি পছন্দ অপ্টিমাইজেশন: আপনার ভাষা মডেল গোপনে একটি পুরস্কার মডেল
Lin et al. (2024): সরাসরি পছন্দ অপ্টিমাইজেশন দ্বারা প্ররোচিত অন্তর্নিহিত পুরস্কার মডেলের সীমিত সাধারণীকরণ ক্ষমতা সম্পর্কে
Lambert et al. (2025): RewardBench: ভাষা মডেলিংয়ের জন্য পুরস্কার মডেল মূল্যায়ন

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের গবেষণা নিবন্ধ যা কঠোর তাত্ত্বিক বিশ্লেষণ এবং ব্যাপক পরীক্ষামূলক যাচাইকরণের মাধ্যমে বিভিন্ন পুরস্কার মডেল ধরনের সাধারণীকরণ ক্ষমতার পার্থক্যের মূল কারণগুলি গভীরভাবে প্রকাশ করে। নিবন্ধটি শুধুমাত্র গুরুত্বপূর্ণ তাত্ত্বিক মূল্য নয় বরং ব্যবহারিক প্রয়োগের জন্যও মূল্যবান নির্দেশনা প্রদান করে। গবেষণা পদ্ধতি বৈজ্ঞানিকভাবে কঠোর এবং সিদ্ধান্ত প্রভাবশালী, পুরস্কার মডেল গবেষণা ক্ষেত্রে একটি গুরুত্বপূর্ণ অবদান।