Diseño Colaborativo de Recompensas Multi-Agente para Mejorar el Razonamiento en Aprendizaje por Refuerzo

Información Básica

• ID del Artículo: 2511.16202
• Título: Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning
• Autores: Pei Yang (Gradient), Ke Zhang (Waseda University), Ji Wang (Columbia University), Xiao Chen (Hong Kong Polytechnic University), Yuxin Tang (Rice University & Gradient Network), Eric Yang, Lynn Ai, Bill Shi (Gradient)
• Clasificación: cs.AI
• Fecha de Publicación: 20 de noviembre de 2025 (preimpresión en arXiv, en revisión)
• Enlace del Artículo: https://arxiv.org/abs/2511.16202

Resumen

Este artículo propone el marco CRM (Modelo de Recompensa Colaborativa, Collaborative Reward Model), que reemplaza un único modelo de recompensa de caja negra mediante un equipo coordinado de evaluadores expertos para mejorar la robustez e interpretabilidad del RLHF (Aprendizaje por Refuerzo a partir de Retroalimentación Humana). Los modelos de recompensa tradicionales tienen dificultades para optimizar simultáneamente múltiples dimensiones de preferencia potencialmente conflictivas (como factualidad, utilidad y seguridad), y ofrecen transparencia limitada sobre las razones de las puntuaciones. CRM aborda estos problemas descomponiendo la evaluación de preferencias en agentes específicos del dominio, donde cada agente produce señales parciales, acompañados por un evaluador global basado en clasificación y similitud de incrustaciones. Un agregador centralizado fusiona estas señales en cada paso de tiempo, equilibrando la corrección progresiva, la consistencia multi-agente y penalizaciones por repetición, produciendo una única recompensa de entrenamiento compatible con canalizaciones RL estándar. El artículo también introduce la suite de referencia RewardBench, proporcionando una ruta práctica para modelado de recompensas modular e interpretable.

Contexto de Investigación y Motivación

1. Problema Central

La alineación de Modelos de Lenguaje Grande (LLMs) generalmente depende de la técnica RLHF, donde un modelo de recompensa aprendido guía la política hacia comportamientos preferidos. Sin embargo, los modelos de recompensa escalares únicos tradicionales presentan los siguientes problemas clave:

• Dificultad en equilibrar preferencias multidimensionales: Las preferencias humanas son inherentemente multidimensionales, abarcando precisión factual, coherencia, utilidad y seguridad, mientras que una recompensa escalar única no puede capturar fácilmente los compromisos entre estos criterios a menudo competitivos
• Interpretabilidad insuficiente: Los modelos de recompensa tradicionales proporcionan información limitada, dificultando la comprensión de por qué una salida recibe una puntuación alta o baja
• Riesgo de manipulación de recompensas: La falta de transparencia dificulta el diagnóstico de errores, aumentando el riesgo de que la política aprenda a explotar vulnerabilidades en la función de recompensa (produciendo salidas con puntuaciones altas pero inconsistentes con la intención real)

2. Importancia del Problema

Con el despliegue cada vez mayor de LLMs en aplicaciones críticas, garantizar la confiabilidad, seguridad e interpretabilidad del comportamiento del modelo es cada vez más crucial. El modelo de recompensa, como componente central de la canalización de alineación, impacta directamente en el desempeño y credibilidad del modelo final.

3. Limitaciones de Métodos Existentes

• Métodos de conjunto: Aunque hay investigaciones que exploran modelos de recompensa basados en conjuntos para mitigar la sobreoptimización, aún carecen de descomposición estructurada de evaluaciones
• Formulaciones multi-objetivo: El trabajo existente descompone la retroalimentación en dimensiones interpretables y reagrega mediante mezclas aprendidas, pero carece de mecanismos de retroalimentación multi-perspectiva en tiempo real
• Métodos de auto-reflexión: Como Critique-out-Loud que produce puntuaciones y críticas para mejorar la interpretabilidad, pero no integra agentes expertos en el modelado de recompensas

4. Motivación de la Investigación

La motivación central de este artículo es redefinir el modelado de recompensas de un único oráculo de caja negra a un ecosistema de evaluación multi-agente adaptativo, interpretable y escalable, logrando una conformación de recompensas más transparente y robusta mediante evaluadores distribuidos coordinados.

Contribuciones Principales

1. Nuevo Paradigma: Propone un nuevo paradigma de evaluación multi-agente colaborativa que extiende RLHF, mejorando la interpretabilidad y robustez en comparación con modelos de recompensa de caja negra única
2. Mecanismo de Colaboración Estructurada: Diseña un mecanismo de recompensa colaborativa estructurado MARM (Modelo de Recompensa Multi-Agente), que incluye evaluadores expertos y un agregador centralizado, fusionando señales interpretables multidimensionales en una única recompensa utilizable por métodos de gradiente de política estándar
3. Referencia RewardBench: Publica una suite de referencia y entrenamiento organizada alrededor de preferencias multi-agente, proporcionando una plataforma común para investigar modelado de recompensas modular e interpretable
4. Mejoras de Desempeño Significativas: Logra ganancias significativas en tareas de razonamiento complejo, con mayor precisión y estabilidad en comparación con líneas base de RM único, manteniendo fluidez y seguridad, demostrando la efectividad de la conformación de recompensas multi-perspectiva

Explicación Detallada del Método

Definición de Tarea

Dado un modelo de política a gran escala πθ y un conjunto de indicaciones x, el modelo genera salidas estructuradas o = πθ(x) que contienen trayectorias de razonamiento multi-paso y respuestas finales. El objetivo es aprender a través de un espacio de evaluación multidimensional, en lugar de optimizar una recompensa escalar fija.

El objetivo se formaliza como:

max_θ E_{x~D}[F(αR_ranker(o) + βR_similarity(o) + Σ_{i=1}^K λ_i R_i(o))]

Donde:

• F(·) es el agregador central que convierte señales heterogéneas en recompensa escalar
• {α, β, λ_i} son pesos adaptativos aprendidos o ajustados durante el entrenamiento
• A = {a1, a2, ..., aK} es el conjunto de agentes, donde cada agente ai produce puntuaciones Ri(o) para dimensiones de evaluación específicas

Arquitectura del Modelo

1. Modelado de Recompensa Colaborativa (CRM)

CRM reconstruye el post-entrenamiento como un proceso de optimización distribuido impulsado por retroalimentación, introduciendo un equipo de agentes expertos que colaboran en la evaluación de salidas de modelos grandes desde perspectivas complementarias:

Cuatro Agentes Principales:

• Optimizador de Datos (Data Optimizer): Cuantifica la eficiencia y diversidad de salidas, penalizando trayectorias de razonamiento redundantes mientras fomenta la exploración equilibrada
• Evaluador de Calidad (Quality Assessor): Proporciona juicios de grano fino, evaluando precisión de razonamiento, consistencia factual y coherencia lógica de pasos intermedios
• Sintetizador de Datos (Data Synthesizer): Mejora la supervisión mediante inyección de perturbaciones sintéticas e integración de conocimiento externo, mejorando robustez y capacidad de generalización del dominio
• Analizador de Datos (Data Analyzer): Monitorea continuamente tendencias estadísticas de señales de recompensa, forzando estabilidad y previniendo colapso o desviación de patrones

2. Diseño de Función de Recompensa

Recompensas a Nivel de Paso:

• Recompensa de Resultado (Outcome Reward): Verifica si el razonamiento parcial se alinea con expectativas intermedias
• Recompensa de Datos Mejorada (Enhanced Data Reward): Utiliza muestras mejoradas o contrafácticas generadas por el sintetizador de datos para proporcionar supervisión más fuerte

Recompensas a Nivel de Modelo: Utilizando el codificador all-MiniLM-L6-v2 para calcular similitud coseno entre incrustaciones predichas y de referencia:

R_sim = cos(h_pred, h_ref)

Componentes de Evaluación Multidimensional:

• Recompensa de Precisión (R_acc): Verifica equivalencia matemática mediante comparación simbólica (usando latex2sympy2, math_verify)
• Recompensa de Formato (R_fmt): Fuerza cumplimiento del formato de razonamiento definido por etiquetas <think> y <answer>
• Recompensa de Pasos de Razonamiento (R_step): Fomenta explicaciones organizadas y multi-paso interpretables
• Recompensa de Escalado Coseno (R_cs): Modera la recompensa de precisión mediante modulación de longitud de finalización para prevenir verbosidad
• Penalización por Repetición (R_rep): Penaliza redundancia n-gramas y bucles degenerados detectados por el analizador de datos

Mecanismo de Pesos Colaborativos:

R_collab = αR_acc + βR_sim + γR_fmt + δR_step - ηR_rep

Donde los coeficientes (α, β, γ, δ, η) se ajustan empíricamente para equilibrar corrección factual, claridad de razonamiento y fluidez lingüística.

3. Agregación de Recompensas y Actualización de Política

Agregación Centralizada:

r_t = F(R_collab(o_t), R_enhanced(o_t))

Donde F es un operador de fusión no lineal que equilibra formato de razonamiento, precisión y penalizaciones por repetición.

Optimización de Política: Actualiza el modelo de política usando Estimación de Ventaja Generalizada (GAE):

L_policy = -E_t[Â_t log π_θ(a_t|s_t)]

Optimización del Modelo de Valor: Optimiza mediante regresión sobre recompensas centralizadas:

L_value = E_t[(V_φ(s_t) - r_t)²]

Donde Â_t es la función de ventaja y V_φ es el modelo de valor.

Puntos de Innovación Técnica

1. Arquitectura de Evaluación Distribuida: Sistematiza por primera vez el modelado de recompensas como un proceso de colaboración multi-agente, donde cada agente se enfoca en una dimensión de evaluación específica
2. Mejora de Interpretabilidad: La puntuación de cada agente representa una evaluación comprensible por humanos (como precisión factual), formando colectivamente un retrato multidimensional de la calidad de salida
3. Diseño Modular: Permite que nuevos evaluadores se introduzcan como agentes complementarios, proporcionando una ruta escalable hacia auto-regulación y alineación de recompensas interpretables
4. Sin Anotación Adicional: La conformación de recompensas multi-perspectiva no requiere anotación humana adicional más allá de la utilizada para entrenar los evaluadores
5. Compatibilidad Estándar: Produce una única recompensa de entrenamiento completamente compatible con canalizaciones RL estándar (como GRPO, PPO)

Configuración Experimental

Conjuntos de Datos

Conjuntos de Datos Principales:

1. RewardBench: Referencia organizada alrededor de preferencias multi-agente, incluyendo múltiples dimensiones de evaluación:
   • Chat: Calidad de diálogo
   • Chat Hard: Escenarios de diálogo difíciles
   • Safety: Evaluación de seguridad
   • Reasoning: Capacidad de razonamiento
2. GSM8K: Conjunto de datos de razonamiento matemático
3. Math: Conjunto de datos de resolución de problemas matemáticos
4. AI-MO/NuminaMath-TIR:
   • Conjunto de entrenamiento: 3,800 muestras
   • Conjunto de prueba: 99 muestras

Métricas de Evaluación

• Precisión: Tasa de corrección en categorías de tareas
• Calidad de Razonamiento: Coherencia lógica e integridad de pasos
• Calidad de Diálogo: Fluidez y utilidad
• Seguridad: Puntuación de seguridad de salidas

Métodos de Comparación

Modelo Base: Qwen2.5-0.5B-Instruct (aproximadamente 494M parámetros)

Configuraciones Experimentales:

• Dos agentes: Analizador de Datos + Optimizador de Datos
• Tres agentes: Analizador de Datos + Optimizador de Datos + Evaluador de Calidad
• Cuatro agentes: Analizador de Datos + Optimizador de Datos + Evaluador de Calidad + Sintetizador de Datos

Variantes:

• MARM: Modelo colaborativo base
• MARM(rerank): Versión con reordenamiento
• MARM(emb): Versión basada en incrustaciones

Detalles de Implementación

• Marco de Optimización: GRPO (Optimización de Preferencia de Política de Refuerzo Generalizada)
• Modelo Base: Qwen/Qwen2.5-0.5B-Instruct (494M parámetros)
• Formato de Indicación: Utiliza indicaciones estructuradas, con proceso de razonamiento dentro de etiquetas <think>...</think> y respuesta final dentro de etiquetas <answer>...</answer>
• Modelo de Incrustación: all-MiniLM-L6-v2 para cálculo de similitud semántica

Resultados Experimentales

Resultados Principales

Tabla 1: Resultados de MARM en RewardBench, Math y GSM8K

Configuración de Dos Agentes (Analizador de Datos + Optimizador de Datos)

Hallazgos Clave:

• Precisión en GSM8K mejorada de 0.08% a 22.33%, mejora de aproximadamente 279 veces
• Dimensión de razonamiento mejorada de 0.598 a 0.659 (versión base MARM)

Configuración de Tres Agentes (+ Evaluador de Calidad)

Hallazgos Clave:

• La adición del evaluador de calidad mejora aún más GSM8K a 23.15%
• Las métricas relacionadas con razonamiento continúan mejorando

Configuración de Cuatro Agentes (+ Sintetizador de Datos)

Mejor Desempeño:

• Precisión en GSM8K alcanza 29.87% (MARM(rerank)), mejora de aproximadamente 374 veces en comparación con la línea base
• Dimensión Math alcanza 0.192, significativamente superior a otras configuraciones

Estudios de Ablación

Impacto del Número de Agentes:

1. Dos agentes → Tres agentes:
   • Mejora significativa en precisión de razonamiento
   • RewardBench(rerank) mejora de 0.639 a 0.689
   • El evaluador de calidad introduce retroalimentación de evaluación de grano fino, capturando mejor coherencia estructural y razonabilidad lógica paso a paso
2. Tres agentes → Cuatro agentes:
   • Mejora adicional en tareas de razonamiento combinado y síntesis de hechos
   • El sintetizador de datos mejora la generalización del modelo mitigando sobreajuste local
   • Mejora la integridad semántica de cadenas de razonamiento intermedias

Impacto de la Estrategia de Agregación:

• Método de Reordenamiento: Supera consistentemente otras variantes en tareas de razonamiento de alta precisión, con modelado de preferencia explícito y clasificación por pares contribuyendo a conformación de recompensas más discriminativa
• Método de Incrustación: Demuestra mejor estabilidad y escalabilidad en coordinación multi-agente compleja

Análisis de Casos

El artículo demuestra el comportamiento del modelo a través de indicaciones estructuradas:

• Proceso de Razonamiento: Muestra razonamiento paso a paso dentro de etiquetas <think>, permitiendo que el modelo de recompensa evalúe la calidad del razonamiento
• Respuesta Final: Proporciona resultado final dentro de etiquetas <answer>, facilitando verificación de corrección

Esta salida estructurada permite que cada agente evalúe por separado diferentes aspectos de la cadena de razonamiento.

Hallazgos Experimentales

1. Efectividad de Evaluación Multi-Perspectiva: El marco colaborativo logra mejoras significativas en robustez de razonamiento y precisión matemática, sin comprometer la calidad del diálogo
2. Ventajas de Modularidad: La introducción de diferentes agentes aporta mejoras progresivas, validando el valor de la descomposición de evaluaciones
3. Mantenimiento de Estabilidad: El desempeño se mantiene relativamente estable en tareas generales de diálogo (Chat, Chat Hard), indicando que el mecanismo de fusión de recompensas equilibra efectivamente objetivos multidimensionales
4. Capacidad de Generalización: La introducción del sintetizador de datos mejora significativamente el desempeño del modelo en tareas que requieren razonamiento combinado

Trabajo Relacionado

1. Modelado de Recompensas y RLHF

• Métodos Clásicos: InstructGPT, GPT-4 y otros utilizan modelos de recompensa escalares, pero con transparencia limitada
• Métodos de Conjunto: Mitigan la sobreoptimización mediante conjuntos de modelos de recompensa
• Métodos Multi-Objetivo: Descomponen retroalimentación en dimensiones interpretables (utilidad, honestidad, verbosidad)
• Métodos de Auto-Reflexión: Critique-out-Loud produce puntuaciones y críticas para mejorar interpretabilidad

2. Evaluación Multi-Agente y Estructurada

• AI Safety via Debate: Introduce mecanismo pionero donde dos modelos debaten y un tercero evalúa
• Configuraciones Estilo RLAIF: Agentes simulan revisores o árbitros desde diferentes perspectivas
• ChatEval: Agrega múltiples LLMs como panel de árbitros para debate y votación

Diferencias de CRM:

• No solo utiliza agentes en evaluación, sino que los integra en modelado de recompensas
• Los agentes expertos son contribuyentes en tiempo real de señales de recompensa durante entrenamiento
• Proporciona retroalimentación multi-perspectiva consciente de estructura

3. Técnicas de Retroalimentación de Grano Fino

• GRPO: Optimización de Preferencia de Política de Refuerzo Guiada
• SPIN: Aprendizaje por Refuerzo a partir de Retroalimentación Estructurada
• RAFT: Alineación de Recompensas con Árbol de Retroalimentación

CRM es complementario a estas técnicas, enfocándose en descomposición de recompensas de colaboración multi-agente.

Conclusiones y Discusión

Conclusiones Principales

1. Cambio de Paradigma: MARM redefine exitosamente el modelado de recompensas como un proceso de evaluación multi-agente, en lugar de un único oráculo de caja negra
2. Validación de Desempeño: Experimentos exhaustivos en RewardBench, Math y GSM8K demuestran que la colaboración multi-agente mejora significativamente precisión de razonamiento, precisión matemática y estabilidad general, sin comprometer calidad de diálogo
3. Ventajas de Modularidad: La introducción de roles como evaluador de calidad y sintetizador de datos mejora aún más consistencia y capacidad de generalización, destacando las ventajas de descomposición específica del dominio y retroalimentación coordinada en modelado de recompensas
4. Valor Práctico: Proporciona diseño escalable y modular que soporta integración de nuevos evaluadores como agentes complementarios, compatible con canalizaciones RLHF existentes

Limitaciones

1. Costo Computacional: La evaluación multi-agente requiere más recursos computacionales que un único modelo de recompensa, con cada agente requiriendo evaluación independiente
2. Ajuste de Pesos: Los coeficientes de pesos colaborativos (α, β, γ, δ, η) requieren ajuste empírico, careciendo de mecanismo de optimización automática
3. Diseño de Agentes: El artículo no especifica en detalle cómo entrenar cada agente experto, ni cómo asegurar la calidad de sus evaluaciones
4. Validación de Escala: Los experimentos se realizan principalmente en modelos pequeños (494M parámetros), con desempeño en modelos a gran escala desconocido
5. Compensación de Calidad de Diálogo: Aunque el artículo afirma mantener calidad de diálogo, los datos de tabla muestran ligera disminución en dimensiones Chat y Chat Hard

Direcciones Futuras

1. Aprendizaje Automático de Pesos: Desarrollar mecanismos adaptativos para aprender y ajustar automáticamente pesos colaborativos
2. Métodos de Entrenamiento de Agentes: Sistematizar el proceso de entrenamiento de agentes expertos y mecanismos de aseguramiento de calidad
3. Validación a Gran Escala: Validar la efectividad y escalabilidad del marco en modelos de mayor escala
4. Selección Dinámica de Agentes: Seleccionar y combinar dinámicamente agentes relevantes según tipo de tarea
5. Generalización Transdominio: Extender a más dominios y tipos de tareas

Evaluación Profunda

Fortalezas

1. Innovación Fuerte:
   • Sistematiza por primera vez el modelado de recompensas como proceso de colaboración multi-agente
   • La arquitectura de evaluación distribuida propuesta es original
   • El concepto de diseño modular es avanzado
2. Avance en Interpretabilidad:
   • Cada agente proporciona dimensiones de evaluación comprensibles por humanos
   • Mejora significativa de transparencia en comparación con modelos de recompensa de caja negra
   • Facilita diagnóstico y depuración de comportamiento del modelo
3. Validación Experimental Suficiente:
   • Evaluación sistemática en múltiples referencias
   • Estudios de ablación con múltiples configuraciones de agentes
   • Mejora impresionante en GSM8K (279-374 veces)
4. Valor Práctico Alto:
   • Compatible con canalizaciones RL estándar
   • Proporciona referencia RewardBench para promover investigación posterior
   • Diseño modular facilita extensión y personalización
5. Fundamento Teórico Sólido:
   • Definición clara del problema
   • Formalización matemática rigurosa
   • Diseño de método con apoyo teórico

Insuficiencias

1. Detalles de Método Incompletos:
   • Métodos específicos de entrenamiento de agentes expertos no suficientemente detallados
   • Proceso de ajuste de coeficientes de peso carece de descripción detallada
   • Implementación específica de función de agregación F(·) no suficientemente clara
2. Limitaciones Experimentales:
   • Validación solo en modelo pequeño (494M parámetros)
   • Comparación limitada con más métodos SOTA
   • Falta de pruebas de significancia estadística
   • Disminución en dimensión de calidad de diálogo no analizada en profundidad
3. Análisis de Eficiencia Computacional Ausente:
   • Tiempo de entrenamiento e velocidad de inferencia no reportados
   • Costo computacional de evaluación multi-agente no cuantificado
   • Falta análisis de compensación entre eficiencia y desempeño
4. Problemas de Reproducibilidad:
   • Configuración de hiperparámetros no suficientemente detallada
   • Detalles de implementación de agentes insuficientes
   • Código y modelos sin declaración de disponibilidad de código abierto
5. Validación de Generalización Insuficiente:
   • Enfoque principal en tareas de razonamiento matemático
   • Desempeño en otros dominios (generación de código, escritura creativa) desconocido
   • Capacidades multilingües no evaluadas
6. Análisis Teórico Deficiente:
   • Falta análisis de convergencia
   • No explica desde perspectiva teórica por qué multi-agente supera modelo único
   • Relación entre número de agentes y desempeño carece de orientación teórica

Impacto

1. Contribución Académica:
   • Proporciona nueva dirección de investigación para campo RLHF
   • Modelado de recompensas multi-agente puede convertirse en nuevo paradigma
   • Referencia RewardBench ayuda a estandarizar evaluación
2. Valor Práctico:
   • Mejora interpretabilidad de alineación de modelos grandes
   • Ventaja clara en tareas que requieren alta precisión como razonamiento matemático
   • Diseño modular facilita aplicación industrial
3. Impacto Potencial:
   • Puede impulsar transformación de modelado de recompensas de caja negra a caja blanca
   • Proporciona herramientas para investigación en IA segura y confiable
   • Inspira más investigación en colaboración multi-agente
4. Reproducibilidad:
   • Descripción de método relativamente clara
   • Pero detalles de implementación insuficientes pueden afectar reproducción
   • Se espera que autores liberen código y modelos

Escenarios de Aplicación

Altamente Aplicable:

1. Tareas de Razonamiento Matemático: Experimentos demuestran efecto significativo en referencias matemáticas como GSM8K
2. Requisitos de Evaluación Multidimensional: Aplicaciones que necesitan considerar simultáneamente precisión, seguridad, utilidad y otras dimensiones
3. Requisitos de Alta Interpretabilidad: Dominios como finanzas y medicina que requieren explicación de razones de decisión
4. Tareas de Salida Estructurada: Resolución de problemas que requieren razonamiento paso a paso

Usar con Precaución:

1. Generación de Diálogo: Experimentos muestran ligera disminución en calidad de diálogo, requiere equilibrio
2. Tareas Creativas: Estructura excesiva puede limitar creatividad
3. Aplicaciones en Tiempo Real: Evaluación multi-agente puede aumentar latencia
4. Escenarios con Recursos Limitados: Costo computacional relativamente alto

Requiere Validación:

1. Modelos a Gran Escala: Desempeño en modelos de decenas de miles de millones de parámetros desconocido
2. Escenarios Multilingües: Aplicabilidad de tareas no inglesas pendiente de verificación
3. Generación de Texto Largo: Efecto en escritura de ensayos largos no claro
4. Tareas Multimodales: Extensibilidad a tareas de imagen, audio y otras modalidades

Referencias

Citas Clave:

1. Fundamentos de RLHF:
   • Christiano et al. (2017) - Deep reinforcement learning from human preferences
   • Ouyang et al. (2022) - InstructGPT: Training language models to follow instructions with human feedback
2. Modelado de Recompensas:
   • Coste et al. (2023) - Reward model ensembles help mitigate overoptimization
   • Wang et al. (2024) - Interpretable preferences via multi-objective reward modeling
3. Evaluación Multi-Agente:
   • Irving et al. (2018) - AI safety via debate
   • Chan et al. (2023) - ChatEval: Towards better LLM-based evaluators through multi-agent debate
4. Retroalimentación de Grano Fino:
   • Zheng et al. (2024) - GRPO: Guided reinforcement preference optimization
   • Ankner et al. (2024) - Critique-out-loud reward models

Evaluación General: Este artículo propone un marco innovador y práctico de modelado de recompensas colaborativo multi-agente, haciendo contribuciones importantes en mejorar interpretabilidad y capacidad de razonamiento de RLHF. Aunque existen problemas como escala experimental limitada e insuficiencia de detalles de implementación, la idea central posee valor académico importante y perspectivas de aplicación. Se espera que en trabajo posterior los autores complementen más detalles de implementación, expandan escala experimental, y liberen código y modelos relacionados para promover desarrollo de la comunidad.