De a : Supervisión Multidimensional del Proceso de Razonamiento para la Optimización de LLM

Información Básica

• ID del Artículo: 2510.11457
• Título: From to : Multidimensional Supervision of Reasoning Process for LLM Optimization
• Autores: Beining Wang, Weihang Su, Hongtao Tian, Tao Yang, Yujia Zhou, Ting Yao, Qingyao Ai, Yiqun Liu
• Clasificación: cs.AI
• Fecha de Publicación: 13 de octubre de 2025
• Enlace del Artículo: https://arxiv.org/abs/2510.11457

Resumen

Mejorar la capacidad de razonamiento multietapa de los modelos de lenguaje grande (LLMs) es una tarea crítica pero desafiante. El paradigma predominante —aprendizaje por refuerzo con verificación de resultados (RLVR)— solo recompensa respuestas finales correctas, frecuentemente propagando razonamientos defectuosos y sufriendo de señales de recompensa dispersas. Aunque los modelos de recompensa a nivel de proceso (PRMs) proporcionan retroalimentación más densa paso a paso, carecen de generalización e interpretabilidad, requiriendo segmentación de procesos de razonamiento específica para cada tarea. Para abordar esto, los autores proponen el Modelo de Recompensa a Nivel Dimensional (DRM), un nuevo marco de supervisión que cierra la brecha entre ambos enfoques. El DRM evalúa la calidad del proceso de razonamiento a lo largo de tres dimensiones fundamentales, complementarias e interpretables: confianza (calibración de incertidumbre), relevancia (alineación semántica) y coherencia (consistencia lógica). Estas dimensiones capturan conjuntamente aspectos más allá de la corrección de la respuesta final, permitiendo evaluación interpretable sin necesidad de respuestas de referencia. Los resultados experimentales demuestran que DRM proporciona señales de supervisión efectivas que guían la optimización de LLMs y mejoran sus capacidades de razonamiento.

Antecedentes de Investigación y Motivación

Definición del Problema

El problema central que enfrentan los LLMs actuales en tareas de razonamiento multietapa es: ¿cómo supervisar y optimizar efectivamente la calidad del proceso de razonamiento, sin enfocarse únicamente en la corrección de la respuesta final?

Limitaciones de Métodos Existentes

1. Problemas con RLVR:
   • Recompensas binarias basadas únicamente en la respuesta final, ignorando la calidad del proceso de razonamiento
   • Puede recompensar casos de "respuesta correcta pero razonamiento incorrecto"
   • Cuando el modelo es demasiado fuerte o débil, la señal de recompensa tiende a ser constante, limitando su capacidad de guía
2. Limitaciones de PRMs:
   • Requiere segmentar el proceso de razonamiento en pasos independientes, segmentación frecuentemente específica de la tarea
   • Carece de generalización, dificultad para adaptarse a tareas de dominio abierto
   • Como evaluador de caja negra, carece de interpretabilidad

Motivación de la Investigación

Los autores observan que un proceso de razonamiento de alta calidad debe poseer tres características clave: mantener certeza sobre la salida, basarse en la entrada dada, y mantener consistencia interna. Basándose en esta perspectiva, proponen un marco de supervisión multidimensional.

Contribuciones Principales

1. Propuesta del Marco DRM: Primera descomposición de la supervisión de razonamiento en tres dimensiones complementarias (confianza, relevancia, coherencia), proporcionando señales de supervisión densas e interpretables
2. Resolución de Limitaciones Existentes: Evita el problema de recompensas dispersas de RLVR y la necesidad de segmentación específica de tareas de PRMs
3. Logro de Mejoras Significativas de Rendimiento: Mejoras consistentes en múltiples tareas de dominio abierto, como MATH500(+8.8), 2WIKI RAG(+8.7), CRUXEVAL(+7.1)
4. Provisión de Perspectivas Teóricas y Prácticas: Demuestra que la supervisión multidimensional de razonamiento puede mejorar la capacidad de generalización de LLMs más allá de la distribución de entrenamiento

Detalles del Método

Definición de Tarea

Definición formalizada: dado un entrada I, la salida del modelo O se descompone en proceso de razonamiento R y respuesta A. En escenarios de dominio abierto, I contiene pregunta Q e información adicional D. La estructura completa entrada-salida se representa como cuádrupla: (Q,D,R,A).

Marco de Tres Dimensiones de DRM

1. Confianza (Confidence)

Objetivo: Evaluar la certeza del modelo sobre su salida Implementación:

scoreConf_R = (1/|R|) * Σ log p  (probabilidad logarítmica promedio de todos los tokens en R)
scoreConf_A = Σ log p  (suma de probabilidades logarítmicas de todos los tokens en A)
scoreConf = scoreConf_R + scoreConf_A

2. Relevancia (Relevance)

Objetivo: Evaluar la relación semántica del proceso de razonamiento con otros componentes Implementación: Evaluación de tres relaciones

• Q→R: mediante relación de implicación en lenguaje natural (NLI)
• R↔D: mediante medida de similitud semántica
• R→A: mediante relación de implicación en lenguaje natural (NLI)

3. Coherencia (Coherence)

Objetivo: Evaluar la consistencia lógica y calidad textual del proceso de razonamiento Implementación: Uso de modelo de recompensa a nivel de resultado externo (ORM) para evaluar consistencia lógica, fluidez y calidad textual general

Cálculo de Recompensa Integrada

R^DRM_i = Σ_D w_D * s̃core^D_i

donde D ∈ {Conf, Rel, Coh}, s̃core^D_i es la puntuación dimensional normalizada, y los pesos se determinan mediante búsqueda en cuadrícula en el conjunto de validación.

Estrategias de Optimización

Optimización Fuera de Política (DPO)

L_DPO(θ) = -E[(I,O+,O-)] [log σ(β log π_θ(O+|I)/π_ref(O+|I) - β log π_θ(O-|I)/π_ref(O-|I))]

donde O+ = argmax RDRM, O- = argmin RDRM

Optimización En Política (GRPO)

Combinación de ventaja DRM con ventaja GRPO nativa:

A_i,t = Â_i,t + Â^DRM_i,t

Configuración Experimental

Modelos

• LLaMA-3.1-8B-Instruct: Modelo base con capacidades de razonamiento limitadas
• R1-Distil-Llama8B: Modelo de razonamiento especializado
• Qwen3-8B: Modelo de razonamiento híbrido

Conjuntos de Datos

Abarcando 17 tareas de dominio abierto:

• Tareas de Código: CodeMMLU, CodeScope, Cruxeval, Execution-v2
• Tareas de Preferencia: RM-Bench, UltraFeedback
• Tareas Matemáticas: AIME24, AMC23, GSM8K, Math500
• Preguntas Científicas: MMLU-Pro, GPQA
• Razonamiento Lógico: MuSR, DROP, QASC
• Preguntas y RAG: 2WikiMultihopQA, HotpotQA y sus variantes RAG

Métricas de Evaluación

• Tareas matemáticas: Verificación automática de soluciones MATH-VERIFY
• Otras tareas: Coincidencia exacta (Exact Match)

Resultados Experimentales

Resultados Principales

RQ1: ¿Puede DRM determinar confiablemente la corrección de la respuesta final?

Los resultados en RewardBench 2 muestran que DRM obtiene consistentemente mayor precisión que el muestreo aleatorio:

• LLaMA3.1-8B-Instruct: 78.57% vs 67.17%
• R1-Distil-Llama8B: 76.16% vs 63.46%
• Qwen3-8B: 85.65% vs 84.87%

RQ2 y RQ3: Efectividad de la Supervisión DRM

Los resultados de entrenamiento DPO fuera de política muestran que DRM@ANY supera consistentemente a RLVR@T+F:

RQ4: Efecto de Combinar RLVR y DRM

El entrenamiento GRPO en política muestra que el método combinado generalmente funciona mejor o comparable al mejor método individual.

Experimentos de Ablación

Los experimentos de supervisión unidimensional demuestran que:

• Las dimensiones individuales muestran mejora en algunas tareas, pero también pueden disminuir en otras
• Ninguna dimensión individual es suficiente para lograr mejora robusta en todas las tareas
• La combinación multidimensional produce efectos sinérgicos, logrando mejoras más amplias y consistentes

Análisis de Casos

La evaluación por GPT-4o muestra que la supervisión DRM reduce significativamente instancias de "respuesta correcta pero razonamiento incorrecto", demostrando que DRM prioriza la selección de instancias con mayor calidad de razonamiento.

Trabajo Relacionado

Aprendizaje por Refuerzo y Recompensas Verificables (RLVR)

RLVR mejora efectivamente la capacidad de razonamiento de LLM utilizando señales de corrección automáticamente verificables como recompensas, pero sufre de recompensas dispersas e ignora la calidad del proceso de razonamiento.

Modelos de Recompensa

• Modelos de Recompensa a Nivel de Resultado (ORMs): Evalúan la calidad general de la respuesta, pero pueden dar puntuaciones altas a casos con razonamiento incorrecto pero respuesta correcta
• Modelos de Recompensa a Nivel de Proceso (PRMs): Evalúan el proceso de razonamiento en lugar de solo la respuesta final, pero requieren segmentación de pasos específica de la tarea

Conclusiones y Discusión

Conclusiones Principales

1. DRM proporciona señales de supervisión efectivas que guían la optimización de LLM y mejoran las capacidades de razonamiento
2. La supervisión multidimensional de razonamiento logra mejoras consistentes en tareas dentro y fuera de la distribución
3. DRM resuelve exitosamente las limitaciones clave de RLVR y PRMs

Limitaciones

1. La configuración de pesos requiere búsqueda en cuadrícula en el conjunto de validación, potencialmente limitando la generalización entre dominios
2. Depende de modelos externos para evaluación de relevancia y coherencia, aumentando el costo computacional
3. En algunas tareas intensivas en razonamiento o conocimiento, RLVR directo puede interferir con la optimización

Direcciones Futuras

1. Explorar mecanismos de ajuste de pesos adaptativos
2. Investigar métodos más eficientes para evaluación dimensional
3. Extender a más dimensiones de razonamiento y tipos de tareas

Evaluación Profunda

Fortalezas

1. Alta Innovación: Primera propuesta de supervisión de razonamiento a nivel dimensional, cerrando la brecha entre RLVR y PRMs
2. Base Teórica Sólida: Marco diseñado basado en tres características clave del razonamiento de alta calidad
3. Experimentación Exhaustiva: Validación en 17 tareas diferentes, abarcando múltiples dominios
4. Buena Interpretabilidad: Las tres dimensiones poseen significado semántico claro e interpretabilidad
5. Alto Valor Práctico: Logra mejoras sin necesidad de datos específicos de tarea o entrenamiento adicional

Deficiencias

1. Costo Computacional: Requiere múltiples modelos externos para evaluación dimensional, aumentando costo de inferencia
2. Sensibilidad de Pesos: Las configuraciones de pesos óptimos difieren entre modelos, potencialmente afectando generalización
3. Dependencia de Evaluación: La evaluación de relevancia y coherencia depende de la calidad de modelos externos
4. Análisis Teórico Insuficiente: Carece de análisis teórico sobre por qué estas tres dimensiones son la opción óptima

Impacto

1. Contribución Académica: Proporciona nueva dirección de investigación y marco para supervisión de razonamiento
2. Valor Práctico: Puede aplicarse directamente a flujos de entrenamiento de LLM existentes
3. Reproducibilidad: Código y conjuntos de datos disponibles públicamente, facilitando reproducción y extensión

Escenarios Aplicables

1. Escenarios de aplicación que requieren procesos de razonamiento de alta calidad
2. Tareas de razonamiento multietapa de dominio abierto
3. Escenarios con falta de datos anotados abundantes de pasos de razonamiento
4. Aplicaciones que requieren evaluación de razonamiento interpretable

Referencias

El artículo cita trabajos importantes en campos relacionados como evaluación de razonamiento, aprendizaje por refuerzo y modelado de recompensas, proporcionando base teórica sólida y comparaciones con baselines.

Evaluación General: Este es un artículo de investigación de alta calidad que propone un marco innovador de supervisión multidimensional de razonamiento, resolviendo efectivamente las limitaciones de métodos existentes. El diseño experimental es exhaustivo, los resultados convincentes, y posee valor teórico y práctico importante para mejorar las capacidades de razonamiento de LLM.