Non Entrare Due Volte nello Stesso Fiume: Imparare a Ragionare da Prove ed Errori

Informazioni Fondamentali

• ID Articolo: 2510.26109
• Titolo: Do Not Step Into the Same River Twice: Learning to Reason from Trial and Error
• Autori: Chenming Tang, Hsiu-Yuan Huang, Weijie Liu, Saiyong Yang, Yunfang Wu (Università di Pechino & Tencent)
• Classificazione: cs.LG (Apprendimento Automatico)
• Data di Pubblicazione: 30 ottobre 2025 (preprint arXiv)
• Link Articolo: https://arxiv.org/abs/2510.26109v1

Riassunto

Il presente articolo propone il metodo LTE (Learning to reason from Trial and Error), finalizzato a risolvere il problema della stagnazione esplorativa nei modelli di linguaggio di grandi dimensioni (LLM) nell'apprendimento per rinforzo con ricompense verificabili (RLVR). I metodi RLVR esistenti si limitano ad addestrare il modello basandosi esclusivamente sulle risposte generate dal modello stesso, rimanendo vincolati dalle capacità iniziali e faticando a risolvere problemi che superano il limite superiore delle capacità. LTE supera i colli di bottiglia delle capacità sfruttando le risposte errate precedentemente generate dal modello come suggerimenti, senza richiedere guida esterna da esperti. Gli esperimenti su Qwen3-4B-Base dimostrano che LTE supera il metodo GRPO standard di 6,38 (Pass@1) e 9,00 (Pass@k) in media su sei benchmark matematici.

Contesto di Ricerca e Motivazione

Problema Fondamentale da Risolvere

L'articolo affronta il problema della stagnazione esplorativa nell'addestramento dell'apprendimento per rinforzo dei modelli di linguaggio di grandi dimensioni. Nello specifico, si manifesta come: quando la difficoltà dei campioni di addestramento supera il limite superiore delle capacità attuali del modello, tutti i campioni generati non riescono a superare la verifica (ovvero campioni none-pass), causando che tutte le funzioni di vantaggio siano zero, impedendo al modello di apprendere da questi campioni.

Importanza del Problema

1. Collo di bottiglia delle capacità: I metodi RLVR esistenti intrappolano il modello nell'intervallo di capacità iniziale, impedendogli di superare i propri limiti
2. Efficienza dell'addestramento: Numerosi campioni di addestramento non forniscono segnali di apprendimento efficaci a causa della stagnazione esplorativa
3. Capacità di ragionamento: Limita il miglioramento delle prestazioni del modello in compiti che richiedono pensiero profondo, come il ragionamento matematico

Limitazioni dei Metodi Esistenti

Le soluzioni attuali si basano principalmente su guida esterna:

• Risposte standard annotate manualmente: Costi elevati, scarsa scalabilità
• Catene di ragionamento generate da modelli più forti: Non disponibili durante l'addestramento di modelli di punta
• Semplice aumento del numero di campioni: Non sfrutta le informazioni di rollout esistenti, bassa efficienza

Motivazione della Ricerca

Proporre un metodo di apprendimento autonomo che sfrutta esclusivamente l'esperienza di prova ed errore del modello stesso, senza alcuna guida esterna da esperti, per superare i colli di bottiglia esplorativi.

Contributi Fondamentali

1. Propone il metodo LTE: Primo metodo che sfrutta sistematicamente l'esperienza di prova ed errore dell'LLM stesso (risposte errate) come suggerimento per risolvere la stagnazione esplorativa, senza richiedere guida esterna da esperti
2. Meccanismo di ottimizzazione con politica mista: Progetta un framework di addestramento che combina campioni on-policy e off-policy, gestendo le soluzioni corrette generate da suggerimenti attraverso campionamento di importanza regolarizzato
3. Verifica sperimentale completa: Valida l'efficacia su due LLM (4B e 8B) e sei benchmark matematici, migliorando significativamente le prestazioni Pass@1 e Pass@k
4. Analisi approfondita dei meccanismi:
   • Prova teoricamente che LTE aumenta la probabilità di raggiungere la risposta corretta
   • Analisi empirica che conferma che LTE mitiga con successo la stagnazione esplorativa
   • Rivela che LTE migliora simultaneamente le capacità di sfruttamento e esplorazione

Spiegazione Dettagliata del Metodo

Definizione del Compito

Input: Query di problemi matematici $q \sim D$
Output: Catena di ragionamento e risposta finale $o$
Obiettivo: Massimizzare la probabilità di generare risposte corrette attraverso RLVR, superando contemporaneamente il limite superiore delle capacità iniziali del modello

Framework Complessivo

Il flusso principale di LTE comprende tre fasi:

1. Rollout Iniziali

Per ogni problema di addestramento $q$, campionare $G$ risposte $\{o_1, o_2, ..., o_G\}$ e verificare la correttezza.

2. Hinted Extra Rollouts (Innovazione Chiave)

Per i campioni none-pass (tutti i rollout iniziali falliscono), selezionare la strategia di suggerimento in base alla situazione di troncamento:

a) All-truncated (tutte le risposte sono troncate)

Modello di suggerimento: "Let's think concisely and output the final answer within \boxed{}."

Attribuito al fatto che le risposte sono troppo lunghe, suggerisce al modello di pensare in modo conciso.

b) Some-truncated (alcune risposte sono troncate)

Modello di suggerimento: "Hint: possible incorrect answers include [a1, a2, ...]
Do not use or mention the hint explicitly. Let's think concisely..."

Raccoglie le risposte errate dalle risposte non troncate come suggerimento, richiedendo al contempo concisione.

c) None-truncated (nessuna risposta troncata)

Modello di suggerimento: "Hint: possible incorrect answers include [a1, a2, ...]
Do not use or mention the hint explicitly. Let's think step by step..."

Fornisce solo suggerimenti di risposte errate, consentendo ragionamento di lunghezza normale.

Basandosi sul modello di suggerimento selezionato, campionare nuovamente $G$ rollout aggiuntivi $\{o_1^{hinted}, o_2^{hinted}, ..., o_G^{hinted}\}$.

3. Ottimizzazione con Politica Mista

Se i rollout aggiuntivi contengono $G'$ soluzioni corrette $\{o'_1, ..., o'_{G'}\}$, sostituire casualmente $G'$ risposte nei rollout iniziali.

Tecnica chiave: Utilizzo del campionamento di importanza regolarizzato per gestire i campioni off-policy:

$\hat{r}'_{i,t}(\theta) = \frac{\pi_\theta(o'_{i,t} | q, o_{i,<t})}{\pi_{\theta_{old}}(o'_{i,t} | H_q, q, o_{i,<t})}$

$f(\hat{r}'_{i,t}(\theta)) = \frac{\hat{r}'_{i,t}(\theta)}{\hat{r}'_{i,t}(\theta) + \gamma}$

dove $\gamma = 0.1$, $H_q$ è l'informazione di suggerimento.

Funzione obiettivo con politica mista:

$J_{Mixed}(\theta) = \mathbb{E}_{q,\{o'_i, o_{s_i}\}} \left[ \frac{1}{Z'} \sum_{i=1}^{G'} \sum_{t=1}^{|o'_i|} (f(\hat{r}'_{i,t}(\theta)) \cdot \hat{A}'_{i,t}) + \frac{1}{Z} \sum_{i=1}^{G-G'} \sum_{t=1}^{|o_{s_i}|} \text{CLIP}(r_{s_i,t}(\theta), \hat{A}_{s_i,t}, \epsilon) \right]$

Punti di Innovazione Tecnica

1. Meccanismo di apprendimento autonomo: Non dipende dalla supervisione esterna, sfrutta esclusivamente i tentativi errati del modello stesso
   • Le risposte errate fungono da "lezioni negative", restringendo lo spazio delle soluzioni
   • Indicano al modello di evitare di ripetere gli stessi errori
2. Potatura dello spazio degli stati: L'analisi teorica dimostra che il suggerimento potatura lo spazio degli stati da $S_q$ a $S'_q = S_q \backslash S^f_q$ (escludendo il sottospazio di fallimento), aumentando la probabilità di raggiungere la risposta corretta
3. Strategia di suggerimento adattiva: Regola dinamicamente il contenuto del suggerimento in base alla situazione di troncamento
   • Affronta il problema delle risposte troppo lunghe
   • Bilancia la profondità e l'efficienza dell'esplorazione
4. Addestramento con politica mista: Gestisce elegantemente i dati on-policy e off-policy
   • Mantiene la stabilità dell'addestramento
   • Sfrutta pienamente le informazioni dai rollout aggiuntivi

Configurazione Sperimentale

Dataset

Dati di addestramento: Skywork-OR1-RL-Data

• Qwen3-4B-Base: Sottoinsieme di livello 1, 9.189 campioni
• Qwen3-8B-Base: Sottoinsieme di livello 3, 3.236 campioni
• Criterio di selezione: Difficoltà media, garantendo la migliore apprendibilità

Metriche di Valutazione

Sei benchmark matematici:

1. MATH-500: Campionamento 4 volte, rapporto Mean@4 e Pass@4
2. Minerva: Campionamento 4 volte, rapporto Mean@4 e Pass@4
3. OlympiadBench: Campionamento 4 volte, rapporto Mean@4 e Pass@4
4. AMC'23: Campionamento 16 volte, rapporto Mean@16 e Pass@16
5. AIME'24: Campionamento 16 volte, rapporto Mean@16 e Pass@16
6. AIME'25: Campionamento 16 volte, rapporto Mean@16 e Pass@16

Metriche fondamentali:

• Pass@1: Precisione del campionamento singolo (capacità di sfruttamento)
• Pass@k: Probabilità che almeno uno su k campioni sia corretto (limite superiore dell'esplorazione)

Metodi di Confronto

1. Base: Prestazioni del modello di base
2. GRPO: Group Relative Policy Optimization standard
3. GRPO + Extra Rollouts: Semplice aumento di rollout per campioni none-pass (senza suggerimento)
4. LTE: Metodo proposto

Ogni metodo è testato in due versioni:

• w/o Entropy Loss: Senza perdita di entropia
• w/ Entropy Loss: Con perdita di entropia con coefficiente 0,003

Dettagli di Implementazione

Framework di addestramento: verl
Iperparametri chiave:

• Tasso di apprendimento: 1e-6
• Passi di addestramento: 300
• Dimensione del batch: 128
• Numero di campioni per prompt: 8
• Temperatura: 1,0 (addestramento), 0,6 (valutazione)
• Lunghezza massima della risposta: 16.384 (addestramento), 32.768 (valutazione)
• Coefficiente KL: 0,001
• Rapporto di clip: 0,2

Impostazione di valutazione: Conformità rigorosa ai protocolli standard, i suggerimenti durante l'addestramento vengono utilizzati solo durante la fase di addestramento, non durante la valutazione.

Risultati Sperimentali

Risultati Principali

Prestazioni Pass@1 (Tabella 1)

Qwen3-4B-Base:

Scoperte chiave:

• LTE (w/ entropy) rispetto a GRPO + Extra Rollouts migliora di +6,38 punti in media
• Il miglioramento è particolarmente significativo nei compiti ad alta difficoltà come AIME'24 e AIME'25 (+5,00 e +10,00)

Qwen3-8B-Base:

• Punteggio medio di LTE (w/ entropy) 42,40, miglioramento di +1,78 rispetto a GRPO
• Prestazioni relativamente instabili, attribuite alla piccola dimensione dei dati di addestramento (3.236 campioni)

Prestazioni Pass@k (Tabella 3)

Qwen3-4B-Base:

Scoperte importanti:

• GRPO standard riduce Pass@k (47,52 vs 48,31 baseline), indicando capacità di esplorazione compromessa
• LTE (w/ entropy) aumenta significativamente Pass@k a 60,97, migliorando il baseline di +12,66
• Dimostra che LTE non solo non compromette il limite superiore dell'esplorazione, ma lo migliora significativamente

Analisi dei Dati di Addestramento

Variazione dei campioni none-pass (Figura 3a):

• GRPO rimane bloccato dopo 200 passi, incapace di risolvere ulteriormente campioni none-pass
• Extra Rollouts porta solo miglioramenti marginali
• LTE riduce continuamente i campioni none-pass, mantenendo una tendenza al ribasso nella fase di addestramento tardiva
• LTE (w/ entropy) riduce i campioni none-pass da oltre 80 iniziali a circa 45

Variazione dei campioni some-pass (Figura 3b):

• LTE mantiene un numero più elevato di campioni some-pass nella fase di addestramento tardiva (~60 vs ~50)
• I campioni some-pass forniscono gradienti non nulli, sono la principale fonte di segnali di apprendimento

Variazione dei campioni all-pass (Figura 3c):

• LTE mantiene un numero inferiore di campioni all-pass (~5 vs ~15-20)
• Evita la convergenza eccessivamente deterministica, mantenendo la capacità di esplorazione

Analisi della Dinamica di Addestramento

Prestazioni sul set di validazione (Figure 4a-b):

• Pass@1: I metodi baseline si bloccano dopo 100 passi, LTE continua a migliorare oltre il 75%
• Pass@4: I metodi baseline diminuiscono dopo 100 passi, LTE continua a migliorare oltre l'82%

Entropia della politica (Figura 4c):

• Tutti i metodi subiscono un decadimento dell'entropia
• LTE mantiene un'entropia relativamente più elevata nella fase di addestramento tardiva (~0,2 vs ~0,05)
• Indica che LTE mantiene un certo grado di incertezza e capacità di esplorazione

Lunghezza della risposta (Figura 4d):

• I metodi baseline mostrano una crescita lenta della lunghezza della risposta, bloccandosi dopo 250 passi (~2500 token)
• LTE aumenta significativamente la lunghezza della risposta nella fase di addestramento tardiva a oltre 3500 token
• Dimostra che LTE incoraggia implicitamente il pensiero profondo al momento del test (test-time deep thinking)

Scoperte degli Esperimenti di Ablazione

Ruolo della perdita di entropia:

• Porta miglioramenti delle prestazioni per tutti i metodi
• L'effetto migliore quando combinato con LTE, indicando l'effetto sinergico tra il controllo dell'entropia e l'esplorazione autonoma

Limitazioni di Extra Rollouts:

• Il semplice aumento di rollout non sfrutta pienamente le informazioni esistenti
• A volte porta anche effetti negativi (come in alcuni indicatori del modello 8B)

Analisi Teorica

Prova della Potatura dello Spazio degli Stati

Definizione del sottospazio di fallimento: $S^f_q = \{s \in S_q : \text{Extract}(s) \in A_q\}$, dove $A_q$ è l'insieme delle risposte errate generate

Definizione del sottospazio potato: $S'_q = S_q \backslash S^f_q$

Teorema fondamentale: Dato il suggerimento $H_q$ (contenente risposte errate), la probabilità di raggiungere la risposta corretta aumenta:

$\frac{P(s \in M_q | q, H_q, \pi_\theta)}{P(s \in M_q | q, \pi_\theta)} \geq \alpha \cdot \left(1 + \frac{\delta}{1-\tau^{1/n}}\right)$

dove:

• $M_q$: insieme di stati con risposta corretta
• $\delta > 0$: quantità di riduzione della probabilità del sottospazio di fallimento causata dal suggerimento
• $\tau$: livello di confidenza nell'osservazione di n fallimenti consecutivi
• $\alpha \sim \Omega(1)$: fattore di impatto del suggerimento sulla capacità di ragionamento all'interno del sottospazio potato

Conclusione: Poiché $\alpha$ non dovrebbe essere significativamente inferiore a 1, questo rapporto è maggiore di 1, provando che il suggerimento aumenta la probabilità di raggiungere la risposta corretta.

Analisi del Guadagno di Informazione

Da una prospettiva teorica dell'informazione:

$I_{LTE} - I_{GRPO} = I(\pi_\theta; H | D) \geq 0$

Dimostra che LTE ha ottenuto informazioni reciproche aggiuntive dall'insieme di suggerimenti $H$, teoricamente superiore a GRPO.

Lavori Correlati

Miglioramento della Capacità di Esplorazione

1. Metodi di controllo dell'entropia:
   • Clip-Cov e KL-Cov (Cui et al., 2025)
   • Clip-Higher (Yu et al., 2025)
   • Perdita di entropia adattiva (He et al., 2025)
2. Metodi senza controllo dell'entropia:
   • Riproduzione storica (Dou et al., 2025)
   • Ricompensa Pass@k (Chen et al., 2025)
   • Promozione della diversità (Song et al., 2025)

Apprendimento con Guida Esterna

• Addestramento misto (Yan et al., 2025; Ma et al., 2025)
• Metodi di suggerimento (Zhang et al., 2025a)
• Limitazioni: Dipendenza da annotazioni manuali o modelli più forti, costi elevati e disponibilità limitata

Differenze di questo Articolo

• EvoCoT (Liu et al., 2025a): Utilizza risposte ground truth come suggerimento
• LTE: Utilizza risposte errate del modello stesso, sfrutta più pienamente le informazioni di calcolo, evita l'hacking delle ricompense

Espansione dei Rollout

• Espansione estrema dei rollout (Hu et al., 2025)
• Strategia di rollout adattiva (Li et al., 2025; Zhang et al., 2025c)
• Vantaggio di LTE: Sfrutta le informazioni di prova ed errore, piuttosto che semplice aumento del campionamento

Conclusioni e Discussione

Conclusioni Principali

1. Validazione dell'efficacia: LTE supera significativamente GRPO e semplici extra rollout su due LLM e sei benchmark
2. Mitigazione della stagnazione esplorativa: Riduce con successo i campioni none-pass, continuando ad apprendere dai dati di addestramento
3. Doppio miglioramento delle capacità: Migliora simultaneamente lo sfruttamento (Pass@1) e l'esplorazione (Pass@k)
4. Apprendimento autonomo: Supera i colli di bottiglia delle capacità senza richiedere guida esterna da esperti

Limitazioni

1. Limitazioni dei compiti: Attualmente applicabile solo al ragionamento matematico, con formato di risposta conciso
   • Richiede modifiche per supportare compiti come la generazione di codice
2. Controllo dell'entropia: Non integra controllo dell'entropia esplicito e adattivo, potrebbe non raggiungere l'optimum
3. Limitazione di scala: Limitato da risorse computazionali, non verificato su modelli di grandi dimensioni (>10B)
4. Instabilità del modello 8B: Dati di addestramento troppo piccoli (3.236 campioni) causano overfitting

Direzioni Future

Gli autori identificano chiaramente quattro direzioni di ricerca:

1. Controllo dell'entropia adattivo: Combinare LTE con meccanismi di regolazione dinamica dell'entropia
2. Informazioni di suggerimento migliorate: Integrare informazioni ground truth evitando l'hacking delle ricompense
3. Suggerimenti a grana fine: Applicare suggerimenti di risposte errate cumulative a livello di singolo rollout
4. Estensione dei compiti: Generalizzare a generazione di codice, dimostrazione di teoremi e altri domini

Valutazione Approfondita

Vantaggi

1. Innovazione del Metodo ⭐⭐⭐⭐⭐

• Innovazione fondamentale: Primo utilizzo sistematico delle risposte errate dell'LLM stesso come guida all'esplorazione
• Supporto teorico: Fornisce prove di potatura dello spazio degli stati e guadagno di informazione
• Valore pratico: Nessuna risorsa esterna richiesta, costo basso, forte scalabilità

2. Completezza Sperimentale ⭐⭐⭐⭐

• Valutazione multidimensionale: Copre 6 benchmark, 2 modelli, 2 dimensioni di metriche
• Analisi approfondita:
  • Dinamica dei dati di addestramento (none/some/all-pass)
  • Dinamica del processo di addestramento (entropia, lunghezza della risposta)
  • Esperimenti di ablazione (impatto della perdita di entropia)
• Confronti completi: Include più baseline e varianti

3. Dettagli Tecnici ⭐⭐⭐⭐⭐

• Strategia di suggerimento adattivo: Regolazione dinamica in base alla situazione di troncamento, considerazione attenta
• Ottimizzazione con politica mista: Campionamento di importanza regolarizzato per gestire dati off-policy, tecnica matura
• Implementazione completa: Fornisce iperparametri dettagliati e pseudocodice dell'algoritmo

4. Chiarezza della Scrittura ⭐⭐⭐⭐

• Titolo ricco di filosofia ("Non entrare due volte nello stesso fiume")
• Figure abbondanti (diagrammi del framework, modelli di suggerimento, curve di addestramento)
• Logica chiara, progressione da problema → metodo → esperimento → analisi

Insufficienze

1. Limitazioni del Metodo

• Specificità del compito: Dipende da formato di risposta estraibile, difficile da trasferire direttamente a compiti di generazione aperta
• Gestione semplificata del troncamento: Tratta tutte le risposte troncate come non valide, potrebbe perdere informazioni parzialmente utili
• Progettazione del suggerimento: I modelli di suggerimento fissi potrebbero non essere ottimali, manca il meccanismo di ottimizzazione automatica

2. Difetti della Configurazione Sperimentale

• Squilibrio dei dati di addestramento: Solo 3.236 campioni per il modello 8B, risultati instabili
• Scala del modello limitata: Non verificato su scala 10B+, generalizzabilità discutibile
• Mancanza di valutazione umana: Manca l'analisi manuale della qualità delle catene di ragionamento generate

3. Profondità dell'Analisi

• Qualità delle risposte errate: Non analizza quali tipi di risposte errate sono più efficaci
• Sensibilità del suggerimento: Manca la ricerca sistematica sull'impatto del formato del suggerimento e del numero di risposte errate
• Costo computazionale: Non riporta il tempo di addestramento e il sovraccarico computazionale dei rollout aggiuntivi

4. Gap tra Teoria e Pratica

• Assunzioni teoriche: L'assunzione $\alpha \sim \Omega(1)$ nell'analisi della potatura dello spazio degli stati manca di verifica empirica
• Trattamento semplificato: Nel campionamento di importanza, trattare $\pi_{\theta_{old}}$ come 1, la correttezza teorica richiede ulteriore discussione

Valutazione dell'Impatto

Valore Accademico ⭐⭐⭐⭐

• Cambio di paradigma: Dalla dipendenza da guida esterna all'apprendimento autonomo, altamente ispiratore
• Contributo teorico: Connette l'esplorazione dell'apprendimento per rinforzo con il ragionamento dell'LLM, significato interdisciplinare
• Ricerca successiva: Ha già suscitato ampia attenzione sul paradigma "imparare dai fallimenti"

Valore Pratico ⭐⭐⭐⭐

• Facile implementazione: Richiede solo modifiche al prompt e alla strategia di campionamento, user-friendly per l'ingegneria
• Convenienza economica: Nessuna annotazione dati aggiuntiva o modello più forte richiesto
• Benefici immediati: Gli esperimenti mostrano miglioramenti significativi e coerenti delle prestazioni

Riproducibilità ⭐⭐⭐⭐

• Dettagli completi: Fornisce configurazione di addestramento e iperparametri completi
• Compatibilità open-source: Basato su framework verl, implementazione relativamente semplice
• Dati pubblici: Utilizza il dataset pubblico Skywork-OR1-RL-Data

Scenari Applicabili

Altamente Applicabile ✅

1. Ragionamento matematico: Risposte verificabili, formato regolare
2. Generazione di codice: Verificabile tramite test case (richiede adattamento)
3. Ragionamento logico: Compiti con chiaro giudizio di correttezza/errore
4. Scenari con risorse limitate: Impossibilità di accedere a modelli più forti o annotazioni manuali

Moderatamente Applicabile ⚠️

1. QA aperta: Richiede progettazione di meccanismi di estrazione e verifica delle risposte
2. Ragionamento multimodale: Richiede estensione a modalità non testuali
3. Generazione di testo lungo: La strategia di gestione del troncamento richiede approcci più raffinati

Non Applicabile ❌

1. Scrittura creativa: Nessuno standard oggettivo di correttezza/errore
2. Compiti soggettivi: Come analisi del sentimento, trasferimento di stile
3. Compiti senza verificatore: Mancanza di meccanismo di verifica automatica

Intuizioni Chiave

1. "Il fallimento è informazione": Le risposte errate non sono rumore, ma segnali preziosi per restringere lo spazio delle soluzioni
2. Equilibrio esplorazione-sfruttamento: LTE migliora simultaneamente entrambi attraverso l'apprendimento autonomo, rompendo il trade-off tradizionale
3. Emergenza del pensiero profondo: L'aumento della lunghezza della risposta dimostra che il modello ha imparato a investire più risorse computazionali
4. Paradosso della concisione: Suggerire "pensiero conciso" aiuta paradossalmente a risolvere problemi complessi, incarnando la qualità rispetto alla quantità

Riferimenti (Selezionati)

1. DeepSeek-AI (2025): DeepSeek-R1 - Lavoro pioneristico nell'incentivare capacità di ragionamento attraverso l'apprendimento per rinforzo
2. Shao et al. (2024): Algoritmo GRPO - Metodo di base di questo articolo
3. Yan et al. (2025): Apprendimento con guida off-policy - Fonte di ispirazione per l'ottimizzazione con politica mista
4. Cui et al. (2025): Analisi dei meccanismi di entropia - Base teorica per la capacità di esplorazione

Valutazione Complessiva: ⭐⭐⭐⭐ (4,5/5)

Raccomandazione di Lettura: Fortemente consigliato ai ricercatori che lavorano su ragionamento LLM, apprendimento per rinforzo e risoluzione di problemi matematici. Il metodo è semplice ed efficace, la combinazione di teoria e pratica è stretta, rappresenta un importante progresso nel campo dell'RLVR.