No Entres Dos Veces en el Mismo Río: Aprendiendo a Razonar desde el Ensayo y Error

Información Básica

• ID del Artículo: 2510.26109
• Título: Do Not Step Into the Same River Twice: Learning to Reason from Trial and Error
• Autores: Chenming Tang, Hsiu-Yuan Huang, Weijie Liu, Saiyong Yang, Yunfang Wu (Universidad de Pekín & Tencent)
• Clasificación: cs.LG (Aprendizaje Automático)
• Fecha de Publicación: 30 de octubre de 2025 (preimpresión arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.26109v1

Resumen

Este artículo propone el método LTE (Learning to reason from Trial and Error), cuyo objetivo es resolver el problema del estancamiento exploratorio en el aprendizaje por refuerzo con recompensas verificables (RLVR) para modelos de lenguaje grandes (LLMs). Los métodos RLVR existentes se entrenan únicamente con respuestas generadas por el modelo, limitados por su capacidad inicial, lo que dificulta resolver problemas que superan su límite superior de capacidad. LTE aprovecha las respuestas incorrectas generadas previamente por el modelo como indicaciones, superando cuellos de botella de capacidad sin requerir orientación de expertos externos. Los experimentos en Qwen3-4B-Base demuestran que LTE supera el método GRPO estándar en seis puntos de referencia matemáticos con un promedio de 6.38 (Pass@1) y 9.00 (Pass@k).

Contexto de Investigación y Motivación

Problema Central a Resolver

Este artículo aborda el problema del estancamiento exploratorio en el entrenamiento de aprendizaje por refuerzo de modelos de lenguaje grandes. Se manifiesta específicamente como: cuando la dificultad de las muestras de entrenamiento supera el límite superior de capacidad actual del modelo, todas las respuestas muestreadas fallan en la verificación (es decir, muestras none-pass), lo que resulta en funciones de ventaja cero para todas ellas, impidiendo que el modelo aprenda de estas muestras.

Importancia del Problema

1. Cuello de Botella de Capacidad: Los métodos RLVR existentes atrapan el modelo dentro de su rango de capacidad inicial, sin poder superar su propio límite superior
2. Eficiencia de Entrenamiento: Numerosas muestras de entrenamiento no pueden proporcionar señales de aprendizaje efectivas debido al estancamiento exploratorio
3. Capacidad de Razonamiento: Limita la mejora del rendimiento del modelo en tareas que requieren pensamiento profundo, como el razonamiento matemático

Limitaciones de Métodos Existentes

Las soluciones existentes dependen principalmente de orientación externa:

• Respuestas estándar anotadas manualmente: Alto costo, baja escalabilidad
• Cadenas de razonamiento generadas por modelos más fuertes: No disponibles al entrenar modelos insignia
• Simplemente aumentar el número de muestras: No aprovecha la información de rollout existente, baja eficiencia

Motivación de la Investigación

Proponer un método de aprendizaje autónomo que utilice únicamente la experiencia de ensayo y error del propio modelo, sin requerir orientación de expertos externos, para superar el cuello de botella exploratorio.

Contribuciones Principales

1. Propone el Método LTE: Primer método que aprovecha la experiencia de ensayo y error del LLM (respuestas incorrectas) como indicaciones para resolver el estancamiento exploratorio, sin requerir orientación de expertos externos
2. Mecanismo de Optimización de Política Mixta: Diseña un marco de entrenamiento que combina muestras on-policy y off-policy, manejando soluciones correctas generadas por indicaciones mediante muestreo de importancia regularizado
3. Verificación Experimental Integral: Valida la efectividad en dos LLMs (4B y 8B) y seis puntos de referencia matemáticos, mejorando significativamente el rendimiento Pass@1 y Pass@k
4. Análisis Mecanístico Profundo:
   • Prueba teórica de que LTE aumenta la probabilidad de alcanzar respuestas correctas
   • Análisis empírico confirmando que LTE alivia exitosamente el estancamiento exploratorio
   • Revela que LTE mejora simultáneamente las capacidades de explotación y exploración

Explicación Detallada del Método

Definición de Tarea

Entrada: Consulta de problema matemático $q \sim D$
Salida: Cadena de razonamiento y respuesta final $o$
Objetivo: Maximizar la probabilidad de generar respuestas correctas mediante RLVR, mientras se supera el límite superior de capacidad inicial del modelo

Marco General

El proceso central de LTE incluye tres etapas:

1. Rollouts Iniciales

Para cada problema de entrenamiento $q$, muestrear $G$ respuestas $\{o_1, o_2, ..., o_G\}$ y verificar su corrección.

2. Rollouts Adicionales con Indicaciones (Innovación Clave)

Para muestras none-pass (todos los rollouts iniciales fallan), seleccionar estrategia de indicación según el estado de truncamiento:

a) All-truncated (todas las respuestas están truncadas)

Plantilla de indicación: "Let's think concisely and output the final answer within \boxed{}."

Atribuido a respuestas demasiado largas, indicando al modelo pensar de manera concisa.

b) Some-truncated (algunas respuestas están truncadas)

Plantilla de indicación: "Hint: possible incorrect answers include [a1, a2, ...]
Do not use or mention the hint explicitly. Let's think concisely..."

Recopilar respuestas incorrectas de respuestas no truncadas como indicaciones, mientras se requiere concisión.

c) None-truncated (sin respuestas truncadas)

Plantilla de indicación: "Hint: possible incorrect answers include [a1, a2, ...]
Do not use or mention the hint explicitly. Let's think step by step..."

Proporcionar únicamente indicaciones de respuestas incorrectas, permitiendo razonamiento de longitud normal.

Basándose en la plantilla seleccionada, muestrear nuevamente $G$ rollouts adicionales $\{o_1^{hinted}, o_2^{hinted}, ..., o_G^{hinted}\}$.

3. Optimización de Política Mixta

Si hay $G'$ soluciones correctas $\{o'_1, ..., o'_{G'}\}$ en los rollouts adicionales, reemplazar aleatoriamente $G'$ respuestas en los rollouts iniciales.

Técnica Clave: Utilizar muestreo de importancia regularizado para manejar muestras off-policy:

$\hat{r}'_{i,t}(\theta) = \frac{\pi_\theta(o'_{i,t} | q, o_{i,<t})}{\pi_{\theta_{old}}(o'_{i,t} | H_q, q, o_{i,<t})}$

$f(\hat{r}'_{i,t}(\theta)) = \frac{\hat{r}'_{i,t}(\theta)}{\hat{r}'_{i,t}(\theta) + \gamma}$

donde $\gamma = 0.1$, $H_q$ es la información de indicación.

Función Objetivo de Política Mixta:

$J_{Mixed}(\theta) = \mathbb{E}_{q,\{o'_i, o_{s_i}\}} \left[ \frac{1}{Z'} \sum_{i=1}^{G'} \sum_{t=1}^{|o'_i|} (f(\hat{r}'_{i,t}(\theta)) \cdot \hat{A}'_{i,t}) + \frac{1}{Z} \sum_{i=1}^{G-G'} \sum_{t=1}^{|o_{s_i}|} \text{CLIP}(r_{s_i,t}(\theta), \hat{A}_{s_i,t}, \epsilon) \right]$

Puntos de Innovación Técnica

1. Mecanismo de Aprendizaje Autónomo: No depende de supervisión externa, utiliza únicamente los intentos fallidos del modelo
   • Las respuestas incorrectas actúan como "contraejemplos", reduciendo el espacio de soluciones
   • Indica al modelo evitar repetir los mismos errores
2. Poda del Espacio de Estados: El análisis teórico muestra que la indicación poda el espacio de estados de $S_q$ a $S'_q = S_q \backslash S^f_q$ (excluyendo subespacios fallidos), aumentando la probabilidad de alcanzar respuestas correctas
3. Estrategia de Indicación Adaptativa: Ajusta dinámicamente el contenido de la indicación según el estado de truncamiento
   • Aborda el problema de respuestas demasiado largas
   • Equilibra la profundidad y eficiencia de la exploración
4. Entrenamiento de Política Mixta: Maneja elegantemente datos on-policy y off-policy
   • Mantiene la estabilidad del entrenamiento
   • Aprovecha plenamente la información de rollouts adicionales

Configuración Experimental

Conjuntos de Datos

Datos de Entrenamiento: Skywork-OR1-RL-Data

• Qwen3-4B-Base: Subconjunto de Nivel 1, 9,189 muestras
• Qwen3-8B-Base: Subconjunto de Nivel 3, 3,236 muestras
• Criterio de Selección: Dificultad media, asegurando la mejor capacidad de aprendizaje

Métricas de Evaluación

Seis Puntos de Referencia Matemáticos:

1. MATH-500: 4 muestras, reportar Mean@4 y Pass@4
2. Minerva: 4 muestras, reportar Mean@4 y Pass@4
3. OlympiadBench: 4 muestras, reportar Mean@4 y Pass@4
4. AMC'23: 16 muestras, reportar Mean@16 y Pass@16
5. AIME'24: 16 muestras, reportar Mean@16 y Pass@16
6. AIME'25: 16 muestras, reportar Mean@16 y Pass@16

Métricas Principales:

• Pass@1: Precisión de muestreo único (capacidad de explotación)
• Pass@k: Probabilidad de al menos una respuesta correcta en k muestras (límite superior de exploración)

Métodos de Comparación

1. Base: Rendimiento del modelo base
2. GRPO: Optimización de Política Relativa de Grupo estándar
3. GRPO + Extra Rollouts: Aumentar simplemente rollouts para muestras none-pass (sin indicaciones)
4. LTE: Método propuesto

Cada método se prueba en dos versiones:

• w/o Entropy Loss: Sin pérdida de entropía
• w/ Entropy Loss: Añadiendo pérdida de entropía con coeficiente 0.003

Detalles de Implementación

Marco de Entrenamiento: verl
Hiperparámetros Clave:

• Tasa de aprendizaje: 1e-6
• Pasos de entrenamiento: 300
• Tamaño de lote: 128
• Número de muestras por prompt: 8
• Temperatura: 1.0 (entrenamiento), 0.6 (evaluación)
• Longitud máxima de respuesta: 16,384 (entrenamiento), 32,768 (evaluación)
• Coeficiente KL: 0.001
• Ratio de Clip: 0.2

Configuración de Evaluación: Cumplir estrictamente con protocolos estándar; las indicaciones durante el entrenamiento se utilizan únicamente en la fase de entrenamiento, no en la evaluación.

Resultados Experimentales

Resultados Principales

Rendimiento Pass@1 (Tabla 1)

Qwen3-4B-Base:

Hallazgos Clave:

• LTE (w/ entropy) supera GRPO + Extra Rollouts con una mejora promedio de +6.38
• La mejora es especialmente significativa en tareas de alta dificultad como AIME'24 y AIME'25 (+5.00 y +10.00)

Qwen3-8B-Base:

• Puntuación promedio de LTE (w/ entropy) 42.40, mejora de +1.78 respecto a GRPO
• Rendimiento relativamente inestable, atribuido al pequeño tamaño del conjunto de datos de entrenamiento (3,236 muestras)

Rendimiento Pass@k (Tabla 3)

Qwen3-4B-Base:

Hallazgos Importantes:

• GRPO estándar reduce Pass@k (47.52 vs 48.31 línea base), indicando capacidad de exploración dañada
• LTE (w/ entropy) mejora significativamente Pass@k a 60.97, +12.66 respecto a la línea base
• Demuestra que LTE no solo no daña el límite superior de exploración, sino que lo mejora significativamente

Análisis de Datos de Entrenamiento

Cambio en Muestras None-pass (Figura 3a):

• GRPO se estanca después de 200 pasos, incapaz de resolver más muestras none-pass
• Extra Rollouts solo proporciona mejoras marginales
• LTE reduce continuamente muestras none-pass, manteniendo tendencia descendente en etapas posteriores del entrenamiento
• LTE (w/ entropy) reduce muestras none-pass de inicial 80+ a aproximadamente 45

Cambio en Muestras Some-pass (Figura 3b):

• LTE mantiene mayor cantidad de muestras some-pass en etapas posteriores del entrenamiento (~60 vs ~50)
• Las muestras some-pass proporcionan gradientes no nulos, siendo la principal fuente de señal de aprendizaje

Cambio en Muestras All-pass (Figura 3c):

• LTE mantiene menor cantidad de muestras all-pass (~5 vs ~15-20)
• Evita convergencia excesivamente determinista, manteniendo capacidad de exploración

Análisis de Dinámicas de Entrenamiento

Rendimiento en Conjunto de Validación (Figura 4a-b):

• Pass@1: Los métodos base se estancan después de 100 pasos, LTE mejora continuamente a 75%+
• Pass@4: Los métodos base disminuyen después de 100 pasos, LTE mejora continuamente a 82%+

Entropía de Política (Figura 4c):

• Todos los métodos experimentan decaimiento de entropía
• LTE mantiene entropía relativamente más alta en etapas posteriores del entrenamiento (~0.2 vs ~0.05)
• Indica que LTE mantiene cierto grado de incertidumbre y capacidad de exploración

Longitud de Respuesta (Figura 4d):

• Los métodos base aumentan lentamente la longitud de respuesta, estancándose después de 250 pasos (~2500 tokens)
• LTE aumenta significativamente la longitud de respuesta en etapas posteriores del entrenamiento a 3500+ tokens
• Demuestra que LTE implícitamente fomenta pensamiento profundo en tiempo de prueba (test-time deep thinking)

Hallazgos de Experimentos de Ablación

Rol de la Pérdida de Entropía:

• Proporciona mejora de rendimiento para todos los métodos
• Efecto óptimo cuando se combina con LTE, indicando sinergia entre control de entropía y exploración autónoma

Limitaciones de Extra Rollouts:

• Simplemente aumentar rollouts no aprovecha plenamente la información existente
• A veces incluso produce efectos negativos (como en ciertos indicadores del modelo 8B)

Análisis Teórico

Prueba de Poda del Espacio de Estados

Definición de Subespacio Fallido: $S^f_q = \{s \in S_q : \text{Extract}(s) \in A_q\}$, donde $A_q$ es el conjunto de respuestas incorrectas generadas

Definición de Subespacio Podado: $S'_q = S_q \backslash S^f_q$

Teorema Central: Dada la indicación $H_q$ (conteniendo respuestas incorrectas), la probabilidad de alcanzar una respuesta correcta aumenta:

$\frac{P(s \in M_q | q, H_q, \pi_\theta)}{P(s \in M_q | q, \pi_\theta)} \geq \alpha \cdot \left(1 + \frac{\delta}{1-\tau^{1/n}}\right)$

donde:

• $M_q$: Conjunto de estados con respuesta correcta
• $\delta > 0$: Cantidad de reducción de probabilidad del subespacio fallido causada por la indicación
• $\tau$: Nivel de confianza de observar n fallos consecutivos
• $\alpha \sim \Omega(1)$: Factor de impacto de la indicación en la capacidad de razonamiento dentro del subespacio podado

Conclusión: Dado que $\alpha$ no debería ser mucho menor que 1, esta razón es mayor que 1, probando que la indicación aumenta la probabilidad de alcanzar una respuesta correcta.

Análisis de Ganancia de Información

Desde la perspectiva de la teoría de la información:

$I_{LTE} - I_{GRPO} = I(\pi_\theta; H | D) \geq 0$

Demuestra que LTE obtiene información mutua adicional del conjunto de indicaciones $H$, siendo teóricamente superior a GRPO.

Trabajo Relacionado

Mejora de Capacidad de Exploración

1. Métodos de Control de Entropía:
   • Clip-Cov y KL-Cov (Cui et al., 2025)
   • Clip-Higher (Yu et al., 2025)
   • Pérdida de Entropía Adaptativa (He et al., 2025)
2. Métodos sin Control de Entropía:
   • Reproducción de Historial (Dou et al., 2025)
   • Recompensa Pass@k (Chen et al., 2025)
   • Promoción de Diversidad (Song et al., 2025)

Aprendizaje con Orientación Externa

• Entrenamiento Mixto (Yan et al., 2025; Ma et al., 2025)
• Métodos de Indicación (Zhang et al., 2025a)
• Limitaciones: Dependen de anotación manual o modelos más fuertes, alto costo y disponibilidad limitada

Diferencia de Este Artículo

• EvoCoT (Liu et al., 2025a): Utiliza respuestas ground truth como indicaciones
• LTE: Utiliza respuestas incorrectas propias, aprovecha más plenamente la información computacional, evita hackeo de recompensas

Extensión de Rollouts

• Extensión Extrema de Rollouts (Hu et al., 2025)
• Estrategia de Rollout Adaptativa (Li et al., 2025; Zhang et al., 2025c)
• Ventaja de LTE: Aprovecha información de ensayo y error, en lugar de simplemente aumentar muestreo

Conclusiones y Discusión

Conclusiones Principales

1. Validación de Efectividad: LTE supera significativamente GRPO y extra rollouts simples en dos LLMs y seis puntos de referencia
2. Alivio del Estancamiento Exploratorio: Reduce exitosamente muestras none-pass, aprendiendo continuamente de datos de entrenamiento
3. Mejora Dual de Capacidades: Mejora simultáneamente explotación (Pass@1) y exploración (Pass@k)
4. Aprendizaje Autónomo: Supera cuellos de botella de capacidad sin orientación de expertos externos

Limitaciones

1. Limitación de Tareas: Actualmente solo aplicable a razonamiento matemático con formato de respuesta conciso
   • Requiere modificación para soportar generación de código y otras tareas
2. Control de Entropía: No integra control de entropía adaptativo explícito, posiblemente aún no óptimo
3. Limitación de Escala: Restringido por recursos computacionales, no verificado en modelos grandes (>10B)
4. Inestabilidad del Modelo 8B: Conjunto de datos de entrenamiento demasiado pequeño (3,236 muestras) causa sobreajuste

Direcciones Futuras

Los autores identifican explícitamente cuatro direcciones de investigación:

1. Control de Entropía Adaptativo: Combinar LTE con mecanismo de ajuste dinámico de entropía
2. Información de Indicación Mejorada: Integrar información ground truth evitando hackeo de recompensas
3. Indicación de Grano Fino: Aplicar indicaciones de respuestas incorrectas acumuladas a nivel de rollout individual
4. Extensión de Tareas: Generalizar a generación de código, demostración de teoremas y otros dominios

Evaluación Profunda

Fortalezas

1. Innovación del Método ⭐⭐⭐⭐⭐

• Innovación Central: Primer aprovechamiento sistemático de respuestas incorrectas del LLM como guía de exploración
• Soporte Teórico: Proporciona pruebas de poda del espacio de estados y ganancia de información
• Valor Práctico: Sin requerir recursos externos, bajo costo, alta escalabilidad

2. Suficiencia Experimental ⭐⭐⭐⭐

• Evaluación Multidimensional: Abarca 6 puntos de referencia, 2 modelos, 2 dimensiones de métricas
• Análisis Profundo:
  • Dinámicas de datos de entrenamiento (none/some/all-pass)
  • Dinámicas del proceso de entrenamiento (entropía, longitud de respuesta)
  • Experimentos de ablación (impacto de pérdida de entropía)
• Comparación Integral: Incluye múltiples baselines y variantes

3. Detalles Técnicos ⭐⭐⭐⭐⭐

• Estrategia de Indicación Adaptativa: Ajusta dinámicamente según estado de truncamiento, consideración cuidadosa
• Optimización de Política Mixta: Muestreo de importancia regularizado para manejar datos off-policy, técnica madura
• Implementación Completa: Proporciona hiperparámetros detallados y pseudocódigo de algoritmo

4. Claridad de Escritura ⭐⭐⭐⭐

• Título filosófico ("No entres dos veces en el mismo río")
• Figuras abundantes (diagrama de marco, plantillas de prompt, curvas de entrenamiento)
• Lógica clara, progresión de problema → método → experimento → análisis

Insuficiencias

1. Limitaciones del Método

• Especificidad de Tarea: Depende de formato de respuesta extraíble, difícil de transferir a tareas de generación abierta
• Manejo de Truncamiento Simplificado: Trata todas las respuestas truncadas como inválidas, posiblemente perdiendo información útil
• Diseño de Indicación: Plantillas de indicación fijas pueden no ser óptimas, carece de mecanismo de optimización automática

2. Defectos en Configuración Experimental

• Desbalance de Datos de Entrenamiento: Modelo 8B con solo 3,236 muestras, resultados inestables
• Escala de Modelo Limitada: No verificado en escala 10B+, generalización cuestionable
• Falta de Evaluación Humana: Carece de análisis manual de calidad de cadenas de razonamiento generadas

3. Profundidad de Análisis

• Calidad de Respuestas Incorrectas: No analiza qué tipos de respuestas incorrectas son más efectivas
• Sensibilidad de Indicación: No estudia sistemáticamente impacto de formato de indicación, cantidad de respuestas incorrectas
• Costo Computacional: No reporta tiempo de entrenamiento y sobrecarga computacional de rollouts adicionales

4. Brecha entre Teoría y Práctica

• Supuestos Teóricos: Supuesto $\alpha \sim \Omega(1)$ en análisis de poda del espacio de estados carece de verificación empírica
• Simplificación: Tratar $\pi_{\theta_{old}}$ como 1 en muestreo de importancia, corrección teórica requiere verificación adicional

Evaluación de Impacto

Valor Académico ⭐⭐⭐⭐

• Cambio de Paradigma: Transición de dependencia de orientación externa a aprendizaje autónomo, altamente inspirador
• Contribución Teórica: Conecta exploración en aprendizaje por refuerzo con razonamiento de LLM, significado interdisciplinario
• Investigación Posterior: Ha inspirado atención generalizada al paradigma de "aprender de fallos"

Valor Práctico ⭐⭐⭐⭐

• Fácil Implementación: Solo requiere modificación de prompt y estrategia de muestreo, amigable con ingeniería
• Amigable con Costos: Sin requerir anotación de datos adicional o modelos más fuertes
• Beneficio Inmediato: Experimentos muestran mejora de rendimiento significativa y consistente

Reproducibilidad ⭐⭐⭐⭐

• Detalles Completos: Proporciona configuración completa de hiperparámetros y entrenamiento
• Amigable con Código Abierto: Basado en marco verl, implementación relativamente simple
• Datos Públicos: Utiliza conjunto de datos público Skywork-OR1-RL-Data

Escenarios Aplicables

Altamente Aplicable ✅

1. Razonamiento Matemático: Respuestas verificables, formato regulado
2. Generación de Código: Verificable mediante casos de prueba (requiere adaptación)
3. Razonamiento Lógico: Tareas con juicio claro de corrección/incorrección
4. Escenarios con Recursos Limitados: Imposible obtener modelos más fuertes o anotación manual

Moderadamente Aplicable ⚠️

1. QA Abierto: Requiere diseñar mecanismo de extracción y verificación de respuestas
2. Razonamiento Multimodal: Requiere extensión a modalidades no textuales
3. Generación de Texto Largo: Estrategia de manejo de truncamiento requiere refinamiento

No Aplicable ❌

1. Escritura Creativa: Sin estándar objetivo de corrección/incorrección
2. Tareas Subjetivas: Como análisis de sentimiento, transferencia de estilo
3. Tareas sin Verificador: Carece de mecanismo de verificación automática

Perspectivas Clave

1. "El Fracaso es Información": Las respuestas incorrectas no son ruido, sino señal valiosa para reducir espacio de soluciones
2. Balance Exploración-Explotación: LTE mejora ambos simultáneamente mediante aprendizaje autónomo, rompiendo trade-off tradicional
3. Emergencia de Pensamiento Profundo: Aumento de longitud de respuesta demuestra que el modelo aprendió a invertir más recursos computacionales
4. Paradoja de Concisión: Indicar "pensar de manera concisa" paradójicamente ayuda a resolver problemas complejos, demostrando que calidad supera cantidad

Referencias (Seleccionadas)

1. DeepSeek-AI (2025): DeepSeek-R1 - Trabajo pionero en motivar capacidad de razonamiento mediante aprendizaje por refuerzo
2. Shao et al. (2024): Algoritmo GRPO - Método base de este artículo
3. Yan et al. (2025): Aprendizaje con Orientación Off-policy - Fuente de inspiración para optimización de política mixta
4. Cui et al. (2025): Análisis de Mecanismo de Entropía - Base teórica de capacidad de exploración

Puntuación General: ⭐⭐⭐⭐ (4.5/5)

Recomendación de Lectura: Altamente recomendado para investigadores que trabajan en razonamiento de LLM, aprendizaje por refuerzo y resolución de problemas matemáticos. El método es simple y efectivo, con combinación cercana de teoría y práctica, representando progreso importante en el campo de RLVR.