2025-11-18T13:37:13.426950

Why is Your Language Model a Poor Implicit Reward Model?

Razin, Lin, Yao et al.
Reward models are key to language model post-training and inference pipelines. Conveniently, recent work showed that every language model defines an implicit reward model (IM-RM), without requiring any architectural changes. However, such IM-RMs tend to generalize worse, especially out-of-distribution, compared to explicit reward models (EX-RMs) that apply a dedicated linear head over the hidden representations of a language model. The existence of a generalization gap is puzzling, as EX-RMs and IM-RMs are nearly identical. They can be trained using the same data, loss function, and language model, and differ only in how the reward is computed. Toward a fundamental understanding of the implicit biases underlying different reward model types, we investigate the root cause of this gap. Our main finding, backed by theory and experiments, is that IM-RMs rely more heavily on superficial token-level cues. Consequently, they often generalize worse than EX-RMs under token-level distribution shifts, as well as in-distribution. Furthermore, we provide evidence against alternative hypotheses for the generalization gap. Most notably, we challenge the intuitive claim that IM-RMs struggle in tasks where generation is harder than verification because they can operate both as a verifier and a generator. Taken together, our results highlight that seemingly minor design choices can substantially impact the generalization behavior of reward models.
academic

Perché il Tuo Modello Linguistico è un Modello di Ricompensa Implicito Scadente?

Informazioni Fondamentali

  • ID Articolo: 2507.07981
  • Titolo: Why is Your Language Model a Poor Implicit Reward Model?
  • Autori: Noam Razin†, Yong Lin†, Jiarui Yao‡, Sanjeev Arora† (†Princeton University, ‡University of Illinois Urbana-Champaign)
  • Classificazione: cs.CL cs.AI cs.LG stat.ML
  • Data di Pubblicazione/Conferenza: arXiv preprint (aggiornato il 16 ottobre 2025)
  • Link Articolo: https://arxiv.org/abs/2507.07981v2

Riassunto

I modelli di ricompensa sono componenti cruciali nella pipeline di post-addestramento e inferenza dei modelli linguistici. Ricerche recenti hanno dimostrato che ogni modello linguistico definisce un modello di ricompensa implicito (IM-RM) senza alcuna modifica architettonica. Tuttavia, rispetto ai modelli di ricompensa espliciti (EX-RM) che applicano una testina lineare dedicata alle rappresentazioni nascoste del modello linguistico, l'IM-RM generalmente presenta capacità di generalizzazione inferiori, in particolare in scenari fuori distribuzione. Questo divario di generalizzazione è sconcertante poiché EX-RM e IM-RM sono quasi identici—possono essere addestrati utilizzando gli stessi dati, funzioni di perdita e modello linguistico, differendo solo nel modo in cui viene calcolata la ricompensa. Questo articolo indaga a fondo le cause fondamentali di questo divario, scoprendo che l'IM-RM dipende maggiormente da indizi superficiali a livello di token, e quindi generalizza peggio dell'EX-RM sia in caso di spostamento della distribuzione a livello di token che in scenari all'interno della distribuzione.

Contesto di Ricerca e Motivazione

Definizione del Problema

I modelli di ricompensa svolgono un ruolo centrale nell'ecosistema moderno dei modelli linguistici, con applicazioni diffuse in addestramento con apprendimento per rinforzo, algoritmi di allineamento diretto, campionamento con rifiuto, filtraggio dei dati ed estensione al momento dell'inferenza. Attualmente esistono due tipi principali di modelli di ricompensa:

  1. Modello di Ricompensa Esplicito (EX-RM): applica una testina lineare alle rappresentazioni nascoste del modello linguistico per calcolare la ricompensa
  2. Modello di Ricompensa Implicito (IM-RM): definisce la ricompensa implicitamente attraverso la probabilità logaritmica del modello linguistico

Motivazione della Ricerca

Sebbene EX-RM e IM-RM siano quasi identici dal punto di vista architettonico, ricerche precedenti hanno osservato che l'IM-RM generalmente presenta capacità di generalizzazione inferiori, in particolare in scenari fuori distribuzione. Questo fenomeno è sconcertante poiché entrambi i modelli possono essere addestrati basandosi sullo stesso modello linguistico, utilizzando gli stessi dati e funzioni di perdita, differendo solo in minime differenze nel modo in cui viene calcolata la ricompensa.

Importanza

La comprensione dei pregiudizi impliciti di diversi tipi di modelli di ricompensa è importante per:

  • Selezionare l'architettura appropriata del modello di ricompensa
  • Migliorare la robustezza del modello di ricompensa
  • Ottimizzare la pipeline di post-addestramento del modello linguistico

Contributi Fondamentali

  1. Analisi Teorica: attraverso l'analisi della dinamica di apprendimento, rivela che l'IM-RM dipende maggiormente da indizi a livello di token, mentre l'EX-RM generalizza principalmente attraverso rappresentazioni nascoste
  2. Confutazione di Assunzioni Intuitive: dimostra che i problemi di generalizzazione dell'IM-RM non derivano dal divario generazione-verifica; l'apprendimento della verifica non richiede l'apprendimento della generazione
  3. Verifica Empirica: convalida in esperimenti controllati e scenari reali che l'IM-RM funziona peggio in caso di spostamento della distribuzione a livello di token, ma potrebbe funzionare in modo equivalente o migliore in caso di spostamento di dominio
  4. Garanzie Teoriche: in un contesto semplificato, dimostra che l'IM-RM non può generalizzare a token non visti, mentre l'EX-RM può generalizzare con successo attraverso rappresentazioni nascoste ben strutturate

Dettagli Metodologici

Definizione del Compito

Studia l'accuratezza del ranking dei modelli di ricompensa su dati di preferenza, ovvero dato una coppia prompt-risposta (x,y+,y-), dove y+ è la risposta preferita e y- è la risposta rifiutata, valuta se il modello di ricompensa può classificare correttamente: r(x,y+) > r(x,y-).

Architettura del Modello

Modello di Ricompensa Esplicito (EX-RM)

r^EX_θ(x,y) = ⟨u, h_{x,y}⟩

dove u sono i parametri della testina lineare e h_{x,y} è la rappresentazione nascosta prodotta dal modello linguistico per la coppia prompt-risposta (x,y).

Modello di Ricompensa Implicito (IM-RM)

r^IM_θ(x,y) = β ln(π_θ(y|x)/π_ref(y|x))

dove β è un coefficiente fisso e π_ref è la distribuzione di riferimento (tipicamente il modello linguistico inizializzato).

Punti di Innovazione Tecnica

1. Analisi della Dinamica di Apprendimento

Analizzando come gli aggiornamenti del gradiente influenzano l'allocazione della ricompensa, scopre:

Dinamica EX-RM:

Δr^EX_θ(x̄,ȳ) = ⟨h_{x̄,ȳ}, h_{x,y+} - h_{x,y-}⟩ · ηg(θ_EX)

Dinamica IM-RM:

Δr^IM_θ(x̄,ȳ) = (∑∑ ρ_{k,l}(y+)⟨h_{x̄,ȳ<k}, h_{x,y+<l}⟩ - ∑∑ ρ_{k,l}(y-)⟨h_{x̄,ȳ<k}, h_{x,y-<l}⟩) · ηg(θ_IM)β²

Scoperta chiave: il cambiamento dell'EX-RM dipende solo dalle rappresentazioni nascoste, mentre il cambiamento dell'IM-RM dipende dai token specifici, con i coefficienti ρ_{k,l} che riflettono la sovrapposizione dei token.

2. Teoria del Divario di Generalizzazione

Teorema 2: in un contesto semplificato (risposte a singolo token), l'IM-RM non può generalizzare a token non visti (l'accuratezza rimane a 0,5), mentre l'EX-RM può generalizzare attraverso il separatore di margine massimo delle rappresentazioni nascoste.

Configurazione Sperimentale

Dataset

  1. Esperimenti Controllati:
    • Dataset Persona: compiti di accordo/disaccordo
    • Verifica del Ciclo Hamiltoniano: compito sintetico di teoria dei grafi
  2. Scenari Reali:
    • UltraFeedback: dati di dialogo generale
    • RewardMATH: dati di ragionamento matematico
    • RewardBench: benchmark di valutazione multi-dominio

Metriche di Valutazione

  • Accuratezza: accuratezza del ranking su dati di preferenza
  • Margine di Ricompensa Assoluto: valore normalizzato di |r(x,y+) - r(x,y-)|

Metodi di Confronto

  • Modello di Ricompensa Esplicito (EX-RM)
  • Modello di Ricompensa Implicito (IM-RM)
  • Modello di Ricompensa Generativo Esplicito (EX-GRM)

Dettagli di Implementazione

  • Modello Linguistico: serie Pythia, Gemma-2, Qwen-2.5, Llama-3 (parametri 1B-8B)
  • Ottimizzatore: Adam
  • Tasso di Apprendimento: 1e-6
  • Coefficiente β: 0,01 (per IM-RM)
  • Funzione di Perdita: perdita di verosimiglianza Bradley-Terry

Risultati Sperimentali

Risultati Principali

1. Spostamento della Distribuzione a Livello di Token

  • Addestramento UltraFeedback: EX-RM ha tasso di vittoria dell'83,4% in caso di spostamento a livello di token, IM-RM del 16,6%
  • Addestramento RewardMATH: EX-RM ha tasso di vittoria del 100% in caso di spostamento a livello di token, IM-RM dello 0%

2. Spostamento di Dominio

  • Addestramento UltraFeedback: in caso di spostamento di dominio, IM-RM ha tasso di vittoria del 66,7%, EX-RM del 33,3%
  • Addestramento RewardMATH: in caso di spostamento di dominio, IM-RM ha tasso di vittoria del 33,4%, EX-RM del 66,6%

3. Risultati degli Esperimenti Controllati

Nel compito di parafrasi del dataset Persona:

  • EX-RM raggiunge il 100% di accuratezza sia sulle risposte originali che su quelle parafrasate
  • IM-RM raggiunge il 100% di accuratezza sulle risposte originali, ma solo il 2,2% su quelle parafrasate

Esperimenti di Ablazione

1. Verifica dell'Ipotesi Generazione-Verifica

L'esperimento del Ciclo Hamiltoniano mostra:

  • Accuratezza di addestramento IM-RM: 100%, accuratezza di test: 99,3%
  • Numero di cicli hamiltoniani generati correttamente da IM-RM: 0 (impossibile generare cicli hamiltoniani corretti)
  • Dimostra che l'apprendimento della verifica non richiede l'apprendimento della generazione

2. Verifica di Ipotesi Alternative

  • Test di varianti EX-RM basate su tutte le rappresentazioni nascoste
  • Test di varianti IM-RM senza distribuzione di riferimento
  • I risultati mostrano che il divario di generalizzazione persiste ancora

Scoperte Sperimentali

  1. Sensibilità ai Token: l'IM-RM è estremamente sensibile ai cambiamenti superficiali dei token, fallendo anche quando il significato è identico
  2. Generalizzazione delle Rappresentazioni Nascoste: l'EX-RM generalizza con successo attraverso rappresentazioni nascoste semanticamente ricche
  3. Margine di Ricompensa: l'EX-RM produce costantemente margini di ricompensa assoluti più elevati, favorendo l'ottimizzazione dell'apprendimento per rinforzo
  4. Adattabilità di Dominio: l'IM-RM funziona meglio in alcuni scenari di spostamento di dominio

Lavori Correlati

Analisi dei Modelli di Ricompensa

La ricerca esistente si concentra principalmente sui limiti della complessità del campione e sulle proprietà teoriche dei modelli di ricompensa, ma presta minore attenzione all'impatto di diverse parametrizzazioni sulla generalizzazione.

DPO vs RLHF

Questo studio è correlato al confronto tra DPO (Direct Preference Optimization) e RLHF (Reinforcement Learning from Human Feedback), ma con un focus diverso: questo articolo si concentra sulla capacità di generalizzazione del modello di ricompensa piuttosto che sul confronto degli algoritmi di addestramento.

Dinamica di Apprendimento delle Reti Neurali

Prende in prestito metodi dalla letteratura sul pregiudizio implicito per analizzare le traiettorie di addestramento del gradiente, ma li applica allo scenario specifico dei modelli di ricompensa.

Conclusioni e Discussione

Conclusioni Principali

  1. Causa Fondamentale: i problemi di generalizzazione dell'IM-RM derivano da una dipendenza eccessiva da indizi superficiali a livello di token, non dal divario generazione-verifica
  2. Impatto della Progettazione: scelte progettuali apparentemente minori (come calcolare la ricompensa) possono avere un impatto significativo sul comportamento di generalizzazione
  3. Guida Applicativa: in scenari di spostamento della distribuzione a livello di token, è preferibile scegliere EX-RM; in scenari di spostamento di dominio, è possibile considerare IM-RM

Limitazioni

  1. Assunzioni Teoriche: l'analisi teorica si basa su assunzioni semplificate di rappresentazioni nascoste fisse e risposte a singolo token
  2. Metriche di Valutazione: si concentra principalmente sull'accuratezza, non coprendo tutte le dimensioni dell'efficacia del modello di ricompensa
  3. Portata del Modello: studia principalmente tre tipi di modelli di ricompensa, non coprendo tutte le possibili varianti

Direzioni Future

  1. Estensione Teorica: allentare le assunzioni limitanti dell'analisi teorica attuale
  2. Esplorazione di Fattori: ricercare altri fattori che influenzano la generalizzazione di diversi tipi di modelli di ricompensa
  3. Estensione della Valutazione: sviluppare criteri di valutazione più completi per i modelli di ricompensa
  4. Nuove Architetture: esplorare i pregiudizi impliciti di altri tipi di modelli di ricompensa

Valutazione Approfondita

Punti di Forza

  1. Profondità Teorica: fornisce un'analisi matematica rigorosa che spiega il divario di generalizzazione dal punto di vista della dinamica di apprendimento
  2. Completezza Sperimentale: combina esperimenti controllati e scenari reali, coprendo più modelli linguistici e dataset
  3. Verifica di Ipotesi: verifica sistematicamente e confuta spiegazioni intuitive ma errate
  4. Valore Pratico: fornisce una guida chiara per la scelta del modello di ricompensa nelle applicazioni pratiche

Insufficienze

  1. Limitazioni delle Assunzioni: le assunzioni semplificate dell'analisi teorica potrebbero limitare l'universalità delle conclusioni
  2. Comprensione dei Meccanismi: manca un'analisi approfondita del meccanismo per cui l'IM-RM funziona meglio in caso di spostamento di dominio
  3. Verifica su Larga Scala: gli esperimenti si concentrano principalmente su modelli di scala media; le conclusioni su modelli di larga scala richiedono ulteriore verifica

Impatto

  1. Contributo Teorico: fornisce una base teorica importante per comprendere il comportamento di diversi tipi di modelli di ricompensa
  2. Guida Pratica: ha implicazioni dirette per l'applicazione di tecnologie come RLHF e DPO
  3. Ispirazione per la Ricerca: apre nuove direzioni per la ricerca ulteriore sul pregiudizio implicito dei modelli di ricompensa

Scenari Applicabili

  1. Requisiti di Alta Qualità: applicazioni che richiedono prestazioni stabili in caso di spostamento della distribuzione
  2. Compiti Sensibili ai Token: scenari che coinvolgono cambiamenti a livello di token come parafrasi e traduzione
  3. Robustezza Critica: sistemi con requisiti rigorosi sulla robustezza del modello di ricompensa

Bibliografia

L'articolo cita numerosi lavori correlati, inclusi:

  • Ouyang et al. (2022): Training language models to follow instructions with human feedback
  • Rafailov et al. (2023): Direct preference optimization: Your language model is secretly a reward model
  • Lin et al. (2024): On the limited generalization capability of the implicit reward model induced by direct preference optimization
  • Lambert et al. (2025): Rewardbench: Evaluating reward models for language modeling

Valutazione Complessiva: questo è un articolo di ricerca di alta qualità che, attraverso un'analisi teorica rigorosa e una verifica sperimentale completa, rivela a fondo le cause fondamentali delle differenze nelle capacità di generalizzazione di diversi tipi di modelli di ricompensa. L'articolo non solo ha un valore teorico importante, ma fornisce anche una guida preziosa per le applicazioni pratiche. Il metodo di ricerca è scientificamente rigoroso, le conclusioni sono convincenti ed è un contributo importante nel campo della ricerca sui modelli di ricompensa.