Conception Collaborative de Récompense Multi-Agent pour Améliorer le Raisonnement en Apprentissage par Renforcement

Informations Fondamentales

• ID de l'article : 2511.16202
• Titre : Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning
• Auteurs : Pei Yang (Gradient), Ke Zhang (Université Waseda), Ji Wang (Université Columbia), Xiao Chen (Université Polytechnique de Hong Kong), Yuxin Tang (Université Rice & Réseau Gradient), Eric Yang, Lynn Ai, Bill Shi (Gradient)
• Classification : cs.AI
• Date de publication : 20 novembre 2025 (prépublication arXiv, en cours d'examen)
• Lien de l'article : https://arxiv.org/abs/2511.16202

Résumé

Cet article propose le cadre CRM (Collaborative Reward Model, Modèle de Récompense Collaborative Multi-Agent), qui remplace un modèle de récompense unique de type boîte noire par une équipe d'experts coordonnés pour améliorer la robustesse et l'interprétabilité de l'RLHF (Apprentissage par Renforcement à partir de Retours Humains). Les modèles de récompense traditionnels peinent à optimiser simultanément plusieurs dimensions de préférences potentiellement conflictuelles (comme la factualité, l'utilité, la sécurité) et offrent une transparence limitée quant aux raisons des évaluations. Le CRM résout ces problèmes en décomposant l'évaluation des préférences en agents spécialisés par domaine, chaque agent produisant un signal partiel, accompagné d'un évaluateur global basé sur le classement et la similarité d'intégration. Un agrégateur centralisé fusionne ces signaux à chaque pas de temps, équilibrant la correction progressive, la cohérence multi-agent et les pénalités de répétition, produisant une récompense d'entraînement unique compatible avec les pipelines RL standard. L'article introduit également la suite de benchmarks RewardBench, offrant un chemin pratique vers la modélisation de récompenses modulaire et interprétable.

Contexte de Recherche et Motivation

1. Problème Central

L'alignement des grands modèles de langage (LLMs) repose généralement sur la technique RLHF, où un modèle de récompense appris guide la politique vers un comportement préféré. Cependant, les modèles de récompense scalaires uniques traditionnels présentent les problèmes clés suivants :

• Difficultés à équilibrer les préférences multidimensionnelles : Les préférences humaines sont intrinsèquement multidimensionnelles, englobant la précision factuelle, la cohérence, l'utilité et la sécurité, tandis qu'une récompense scalaire unique ne peut pas facilement capturer les compromis entre ces critères parfois concurrents
• Interprétabilité insuffisante : Les modèles de récompense traditionnels offrent des perspectives limitées, rendant difficile la compréhension des raisons pour lesquelles une sortie reçoit un score élevé ou faible
• Risque de piratage de récompense : L'opacité rend le diagnostic des erreurs difficile, augmentant le risque que la politique exploite les failles de la fonction de récompense (produisant des sorties avec des scores élevés mais non alignées avec l'intention réelle)

2. Importance du Problème

Avec le déploiement croissant des LLMs dans des applications critiques, assurer la fiabilité, la sécurité et l'interprétabilité du comportement des modèles devient essentiel. Le modèle de récompense, en tant que composant central du pipeline d'alignement, affecte directement la performance et la crédibilité du modèle final.

3. Limitations des Approches Existantes

• Méthodes d'ensemble : Bien que certaines recherches explorent les modèles de récompense basés sur des ensembles pour atténuer la suroptimisation, il manque une décomposition d'évaluation structurée
• Formulations multi-objectifs : Les travaux existants décomposent les retours en dimensions interprétables et réagrègent par apprentissage de mélange, mais manquent d'un mécanisme de retours multi-perspectives en temps réel
• Méthodes d'auto-réflexion : Comme Critique-out-Loud qui produit des scores et des critiques pour améliorer l'interprétabilité, mais n'intègre pas les agents experts dans la modélisation de récompenses

4. Motivation de la Recherche

La motivation centrale de cet article est de redéfinir la modélisation de récompenses, passant d'un oracle unique de type boîte noire à un écosystème d'évaluation multi-agent adaptatif, interprétable et scalable, réalisant un façonnage de récompenses plus transparent et robuste par le biais d'évaluateurs distribués coordonnés.

Contributions Principales

1. Nouveau paradigme : Propose un nouveau paradigme d'évaluation collaborative multi-agent étendant l'RLHF, améliorant l'interprétabilité et la robustesse par rapport aux modèles de récompense uniques de type boîte noire
2. Mécanisme de Collaboration Structuré : Conçoit une structure MARM (Multi-Agent Reward Model, Modèle de Récompense Multi-Agent) avec des évaluateurs experts et un agrégateur centralisé, fusionnant les signaux multidimensionnels interprétables en une récompense d'entraînement unique utilisable par les méthodes de gradient de politique standard
3. Benchmark RewardBench : Publie une suite de benchmarks et d'entraînement organisée autour de préférences multi-agent, fournissant une plateforme commune pour la recherche sur la modélisation de récompenses modulaire et interprétable
4. Améliorations Significatives de Performance : Réalise des gains significatifs sur les tâches de raisonnement complexe, avec une précision et une stabilité supérieures aux baselines de RM unique, tout en maintenant la fluidité et la sécurité, prouvant l'efficacité du façonnage de récompenses multi-perspectives

Détails de la Méthode

Définition de la Tâche

Étant donné un modèle de politique à grande échelle πθ et un ensemble d'invites x, le modèle génère une sortie structurée o = πθ(x) contenant des trajectoires de raisonnement multi-étapes et une réponse finale. L'objectif est d'apprendre dans un espace d'évaluation multidimensionnel plutôt que d'optimiser une récompense scalaire fixe.

L'objectif formalisé est :

max_θ E_{x~D}[F(αR_ranker(o) + βR_similarity(o) + Σ_{i=1}^K λ_i R_i(o))]

Où :

• F(·) est l'agrégateur central, convertissant les signaux hétérogènes en récompense scalaire
• {α, β, λ_i} sont les poids adaptatifs appris ou ajustés pendant l'entraînement
• A = {a1, a2, ..., aK} est l'ensemble des agents, chaque agent ai produisant un score Ri(o) pour une dimension d'évaluation spécifique

Architecture du Modèle

1. Modélisation de Récompense Collaborative (CRM)

Le CRM restructure l'entraînement post-formation en un processus d'optimisation distribué et piloté par les retours, introduisant une équipe d'agents experts évaluant collaborativement les sorties du grand modèle sous des perspectives complémentaires :

Quatre Agents Principaux :

• Optimiseur de Données (Data Optimizer) : Quantifie l'efficacité et la diversité des sorties, pénalisant les trajectoires de raisonnement redondantes tout en encourageant l'exploration équilibrée
• Évaluateur de Qualité (Quality Assessor) : Fournit des jugements à grain fin, évaluant la précision du raisonnement, la cohérence factuelle et la cohérence logique des étapes intermédiaires
• Synthétiseur de Données (Data Synthesizer) : Améliore la supervision en injectant des perturbations synthétiques et en intégrant des connaissances externes, améliorant la robustesse et la capacité de généralisation inter-domaines
• Analyseur de Données (Data Analyzer) : Surveille continuellement les tendances statistiques des signaux de récompense, imposant la stabilité et prévenant l'effondrement ou la dérive de motifs

2. Conception de la Fonction de Récompense

Récompenses au Niveau des Étapes :

• Récompense de Résultat (Outcome Reward) : Vérifie si le raisonnement partiel satisfait les attentes intermédiaires
• Récompense de Données Améliorées (Enhanced Data Reward) : Utilise les échantillons améliorés ou contrefactuels générés par le synthétiseur de données pour une supervision plus forte

Récompenses au Niveau du Modèle : Utilise l'encodeur all-MiniLM-L6-v2 pour calculer la similarité cosinus entre les intégrations prédites et de référence :

R_sim = cos(h_pred, h_ref)

Composants d'Évaluation Multidimensionnelle :

• Récompense de Précision (R_acc) : Vérifie l'équivalence mathématique par comparaison symbolique (utilisant latex2sympy2, math_verify)
• Récompense de Format (R_fmt) : Impose le respect du format de raisonnement défini par les balises et
• Récompense d'Étapes de Raisonnement (R_step) : Encourage les explications multi-étapes organisées et interprétables
• Récompense à Mise à l'Échelle Cosinus (R_cs) : Module la récompense de précision par la longueur d'achèvement pour prévenir la verbosité
• Pénalité de Répétition (R_rep) : Pénalise la redondance n-gramme et les boucles dégénérées détectées par l'analyseur de données

Mécanisme de Poids Collaboratif :

R_collab = αR_acc + βR_sim + γR_fmt + δR_step - ηR_rep

Où les coefficients (α, β, γ, δ, η) sont ajustés empiriquement pour équilibrer la correction factuelle, la clarté du raisonnement et la fluidité linguistique.

3. Agrégation de Récompense et Mise à Jour de Politique

Agrégation Centralisée :

r_t = F(R_collab(o_t), R_enhanced(o_t))

Où F est un opérateur de fusion non-linéaire équilibrant le format de raisonnement, la précision et la pénalité de répétition.

Optimisation de Politique : Met à jour le modèle de politique en utilisant l'Estimation d'Avantage Généralisée (GAE) :

L_policy = -E_t[Â_t log π_θ(a_t|s_t)]

Optimisation du Modèle de Valeur : Optimise par régression sur la récompense centralisée :

L_value = E_t[(V_φ(s_t) - r_t)²]

Où Â_t est la fonction d'avantage et V_φ est le modèle de valeur.

Points d'Innovation Technique

1. Architecture d'Évaluation Distribuée : Systématise pour la première fois la modélisation de récompenses en tant que processus de collaboration multi-agent, chaque agent se concentrant sur une dimension d'évaluation spécifique
2. Amélioration de l'Interprétabilité : Le score de chaque agent représente une évaluation compréhensible par l'humain (comme la précision factuelle), formant collectivement un portrait multidimensionnel de la qualité de sortie
3. Conception Modulaire : Permet l'introduction de nouveaux évaluateurs en tant qu'agents plug-in, offrant un chemin scalable vers l'auto-régulation et l'alignement de récompenses interprétables
4. Sans Annotation Supplémentaire : Le façonnage de récompenses multi-perspectives ne nécessite pas d'annotation humaine supplémentaire au-delà de celle utilisée pour l'entraînement des évaluateurs
5. Compatibilité Standard : Produit une récompense d'entraînement unique entièrement compatible avec les pipelines RL standard (comme GRPO, PPO)

Configuration Expérimentale

Ensembles de Données

Ensembles de Données Principaux :

1. RewardBench : Benchmark organisé autour de préférences multi-agent, contenant plusieurs dimensions d'évaluation :
   • Chat : Qualité de conversation
   • Chat Hard : Scénarios de conversation difficiles
   • Safety : Évaluation de sécurité
   • Reasoning : Capacité de raisonnement
2. GSM8K : Ensemble de données de raisonnement mathématique
3. Math : Ensemble de données de résolution de problèmes mathématiques
4. AI-MO/NuminaMath-TIR :
   • Ensemble d'entraînement : 3 800 échantillons
   • Ensemble de test : 99 échantillons

Métriques d'Évaluation

• Précision : Taux de correction par catégorie de tâche
• Qualité du Raisonnement : Cohérence logique et complétude des étapes
• Qualité de Conversation : Fluidité et utilité
• Sécurité : Score de sécurité des sorties

Méthodes de Comparaison

Modèle de Base : Qwen2.5-0.5B-Instruct (environ 494M paramètres)

Configuration Expérimentale :

• Deux agents : Analyseur de Données + Optimiseur de Données
• Trois agents : Analyseur de Données + Optimiseur de Données + Évaluateur de Qualité
• Quatre agents : Analyseur de Données + Optimiseur de Données + Évaluateur de Qualité + Synthétiseur de Données

Variantes :

• MARM : Modèle collaboratif de base
• MARM(rerank) : Version avec réclassement
• MARM(emb) : Version basée sur intégration

Détails d'Implémentation

• Cadre d'Optimisation : GRPO (Optimisation de Politique de Renforcement Généralisée)
• Modèle de Base : Qwen/Qwen2.5-0.5B-Instruct (494M paramètres)
• Format d'Invite : Utilise des invites structurées, le processus de raisonnement dans les balises <think>...</think>, la réponse finale dans les balises <answer>...</answer>
• Modèle d'Intégration : all-MiniLM-L6-v2 pour le calcul de similarité sémantique

Résultats Expérimentaux

Résultats Principaux

Tableau 1 : Résultats de MARM sur RewardBench, Math et GSM8K

Configuration à Deux Agents (Analyseur de Données + Optimiseur de Données)

Découvertes Clés :

• Précision GSM8K passant de 0.08% à 22.33%, amélioration d'environ 279 fois
• Dimension de raisonnement passant de 0.598 à 0.659 (version MARM de base)

Configuration à Trois Agents (+ Évaluateur de Qualité)

Découvertes Clés :

• L'ajout de l'évaluateur de qualité améliore davantage GSM8K à 23.15%
• Les métriques liées au raisonnement continuent de s'améliorer

Configuration à Quatre Agents (+ Synthétiseur de Données)

Meilleure Performance :

• Précision GSM8K atteignant 29.87% (MARM(rerank)), amélioration d'environ 374 fois par rapport à la baseline
• Dimension Math atteignant 0.192, significativement supérieure aux autres configurations

Études d'Ablation

Impact du Nombre d'Agents :

1. Deux agents → Trois agents :
   • Amélioration significative de la précision du raisonnement
   • RewardBench(rerank) passant de 0.639 à 0.689
   • L'évaluateur de qualité introduit des retours d'évaluation à grain fin, capturant mieux la cohérence structurelle et la raisonnabilité logique progressive
2. Trois agents → Quatre agents :
   • Amélioration supplémentaire des tâches de raisonnement combiné et de synthèse factuelle
   • Le synthétiseur de données améliore la généralisation du modèle en atténuant le surapprentissage local
   • Améliore l'intégrité sémantique des chaînes de raisonnement intermédiaires

Impact de la Stratégie d'Agrégation :

• Méthode de Réclassement : Surpasse continuellement les autres variantes sur les tâches de raisonnement haute précision, la modélisation explicite des préférences et le classement par paires contribuant à un façonnage de récompenses plus discriminant
• Méthode d'Intégration : Démontre une meilleure stabilité et scalabilité dans la coordination multi-agent complexe

Analyse de Cas

L'article démontre le comportement du modèle par des invites structurées :

• Processus de Raisonnement : Affiche le raisonnement étape par étape dans les balises <think>, permettant au modèle de récompense d'évaluer la qualité du raisonnement
• Réponse Finale : Fournit le résultat final dans les balises <answer>, facilitant la vérification de correction

Cette sortie structurée permet aux différents agents d'évaluer séparément différents aspects de la chaîne de raisonnement.

Découvertes Expérimentales

1. Efficacité de l'Évaluation Multi-Perspectives : Le cadre collaboratif réalise des améliorations significatives en robustesse du raisonnement et précision mathématique, sans compromettre la qualité de conversation
2. Avantages de la Modularité : L'introduction de différents agents apporte des améliorations progressives, validant la valeur de la décomposition d'évaluation
3. Maintien de la Stabilité : Les performances restent relativement stables sur les tâches de conversation générale (Chat, Chat Hard), indiquant que le mécanisme de fusion de récompenses équilibre efficacement les objectifs multidimensionnels
4. Capacité de Généralisation : L'introduction du synthétiseur de données améliore significativement les performances du modèle sur les tâches nécessitant un raisonnement combiné

Travaux Connexes

1. Modélisation de Récompense et RLHF

• Méthodes Classiques : InstructGPT, GPT-4 et autres utilisent des modèles de récompense scalaires, mais avec une transparence limitée
• Méthodes d'Ensemble : Atténuent la suroptimisation par ensemble de modèles de récompense
• Méthodes Multi-Objectifs : Décomposent les retours en dimensions interprétables (utilité, honnêteté, verbosité)
• Méthodes d'Auto-Réflexion : Critique-out-Loud produit des scores et critiques pour améliorer l'interprétabilité

2. Évaluation Multi-Agent et Structurée

• AI Safety via Debate : Introduit de manière pionnière un mécanisme où deux modèles débattent et un tiers évalue
• Configurations de Style RLAIF : Les agents simulent des examinateurs ou arbitres sous différentes perspectives
• ChatEval : Agrège plusieurs LLMs en tant que panel de juges pour débat et vote

Distinction du CRM :

• Utilise les agents non seulement lors de l'évaluation, mais les intègre également dans la modélisation de récompenses
• Les agents experts en tant que contributeurs en temps réel aux signaux de récompense pendant l'entraînement
• Fournit des retours multi-perspectives conscients de la structure

3. Techniques de Retours à Grain Fin

• GRPO : Optimisation de Politique de Renforcement Guidée
• SPIN : Apprentissage par Renforcement à partir de Retours Structurés
• RAFT : Alignement de Récompense avec Arbre de Retours

Le CRM complète ces techniques, se concentrant sur la décomposition de récompenses de collaboration multi-agent.

Conclusion et Discussion

Conclusions Principales

1. Changement de Paradigme : Le MARM redéfinit avec succès la modélisation de récompenses en tant que processus d'évaluation multi-agent plutôt qu'un oracle unique de type boîte noire
2. Validation de Performance : Les expériences complètes sur RewardBench, Math et GSM8K démontrent que la collaboration multi-agent améliore significativement la précision du raisonnement, la précision mathématique et la stabilité globale, sans compromettre la qualité de conversation
3. Avantages de la Modularité : L'introduction de rôles tels que l'évaluateur de qualité et le synthétiseur de données améliore davantage la cohérence et la capacité de généralisation, soulignant les avantages de la décomposition spécifique au domaine et des retours coordonnés dans la modélisation de récompenses
4. Valeur Pratique : Fournit une conception scalable et modulaire, supportant l'intégration de nouveaux évaluateurs en tant qu'agents plug-in, compatible avec les pipelines RLHF existants

Limitations

1. Surcharge Computationnelle : L'évaluation multi-agent nécessite plus de ressources computationnelles qu'un modèle de récompense unique, chaque agent nécessitant une évaluation indépendante
2. Ajustement des Poids : Les coefficients de poids collaboratif (α, β, γ, δ, η) nécessitent un ajustement empirique, manquant d'un mécanisme d'optimisation automatique
3. Conception d'Agents : L'article ne détaille pas suffisamment comment entraîner les agents experts individuels et assurer la qualité de leurs évaluations
4. Validation à Grande Échelle : Les expériences se concentrent principalement sur les petits modèles (494M paramètres), les performances sur les modèles à grande échelle restant inconnues
5. Compromis de Qualité de Conversation : Bien que l'article affirme maintenir la qualité de conversation, les données du tableau montrent une légère baisse de performance sur les dimensions Chat et Chat Hard

Directions Futures

1. Apprentissage Automatique des Poids : Développer des mécanismes adaptatifs pour apprendre et ajuster automatiquement les poids collaboratifs
2. Méthodes d'Entraînement d'Agents : Systématiser le processus d'entraînement des agents experts et les mécanismes d'assurance qualité
3. Validation à Grande Échelle : Valider l'efficacité et la scalabilité du cadre sur des modèles plus grands
4. Sélection Dynamique d'Agents : Sélectionner et combiner dynamiquement les agents pertinents selon le type de tâche
5. Généralisation Inter-Domaines : Étendre à plus de domaines et types de tâches

Évaluation Approfondie

Points Forts

1. Forte Innovativité :
   • Première systématisation de la modélisation de récompenses en tant que processus de collaboration multi-agent
   • L'architecture d'évaluation distribuée proposée est originale
   • La philosophie de conception modulaire est avancée
2. Percée en Interprétabilité :
   • Chaque agent fournit une dimension d'évaluation compréhensible par l'humain
   • Amélioration significative de la transparence par rapport aux modèles de récompense de type boîte noire
   • Aide au diagnostic et au débogage du comportement du modèle
3. Vérification Expérimentale Complète :
   • Évaluation systématique sur plusieurs benchmarks
   • Études d'ablation avec plusieurs configurations d'agents
   • L'amélioration massive sur GSM8K (279-374 fois) est impressionnante
4. Valeur Pratique Élevée :
   • Compatible avec les pipelines RL standard
   • Fournit le benchmark RewardBench pour promouvoir la recherche ultérieure
   • La conception modulaire facilite l'extension et la personnalisation
5. Fondations Théoriques Solides :
   • Définition claire du problème
   • Formalisation mathématique rigoureuse
   • Conception de méthode avec support théorique

Insuffisances

1. Détails de Méthode Insuffisants :
   • Les méthodes d'entraînement spécifiques des agents experts ne sont pas détaillées
   • Le processus d'ajustement des coefficients de poids manque de description détaillée
   • L'implémentation spécifique de la fonction d'agrégation F(·) n'est pas suffisamment claire
2. Limitations Expérimentales :
   • Validation uniquement sur petit modèle (494M paramètres)
   • Manque de comparaison avec plus de méthodes SOTA
   • Pas de rapport sur les tests de signification statistique
   • La baisse de qualité de conversation n'est pas analysée en profondeur
3. Analyse d'Efficacité Computationnelle Manquante :
   • Pas de rapport sur le temps d'entraînement et la vitesse d'inférence
   • La surcharge computationnelle de l'évaluation multi-agent n'est pas quantifiée
   • Manque d'analyse des compromis entre efficacité et performance
4. Problèmes de Reproductibilité :
   • Les paramètres ne sont pas suffisamment détaillés
   • Les détails d'implémentation des agents sont insuffisants
   • Pas de déclaration sur l'ouverture du code et des modèles
5. Vérification de Généralisation Insuffisante :
   • Se concentre principalement sur les tâches de raisonnement mathématique
   • Les performances sur d'autres domaines (génération de code, écriture créative) sont inconnues
   • Les capacités multilingues n'ont pas été évaluées
6. Analyse Théorique Manquante :
   • Manque d'analyse de convergence
   • Pas d'explication théorique de pourquoi le multi-agent surpasse le modèle unique
   • La relation entre le nombre d'agents et la performance manque de guidance théorique

Impact

1. Contribution Académique :
   • Fournit une nouvelle direction de recherche pour le domaine RLHF
   • La modélisation de récompenses multi-agent pourrait devenir un nouveau paradigme
   • Le benchmark RewardBench aide à standardiser l'évaluation
2. Valeur Pratique :
   • Améliore l'interprétabilité de l'alignement des grands modèles
   • Avantage évident sur les tâches nécessitant haute précision comme le raisonnement mathématique
   • La conception modulaire facilite l'application industrielle
3. Impact Potentiel :
   • Pourrait promouvoir la transition de la modélisation de récompenses de boîte noire à boîte blanche
   • Fournit des outils pour la recherche en IA sûre et IA de confiance
   • Inspire davantage de recherche en collaboration multi-agent
4. Reproductibilité :
   • Description de méthode relativement claire
   • Mais les détails d'implémentation manquants pourraient affecter la reproductibilité
   • Attente que les auteurs ouvrent le code et les modèles

Scénarios Applicables

Hautement Applicable :

1. Tâches de Raisonnement Mathématique : Les expériences prouvent l'efficacité significative sur les benchmarks mathématiques comme GSM8K
2. Besoins d'Évaluation Multidimensionnelle : Applications nécessitant de considérer simultanément précision, sécurité, utilité et autres dimensions
3. Exigences Haute Interprétabilité : Domaines comme la finance, la médecine nécessitant l'explication des raisons des décisions
4. Tâches de Sortie Structurée : Résolution de problèmes nécessitant raisonnement progressif

Utilisation Prudente :

1. Génération de Conversation : Les expériences montrent une légère baisse de qualité de conversation, nécessitant un équilibre
2. Tâches Créatives : La structuration excessive pourrait limiter la créativité
3. Applications Temps Réel : L'évaluation multi-agent pourrait augmenter la latence
4. Scénarios Ressources Limitées : Surcharge computationnelle plus importante

Nécessitant Vérification :

1. Modèles à Grande Échelle : Les performances sur les modèles de dizaines de milliards de paramètres restent inconnues
2. Scénarios Multilingues : L'applicabilité des tâches non-anglaises reste à vérifier
3. Génération de Texte Long : L'efficacité sur les tâches d'écriture longue n'est pas claire
4. Tâches Multimodales : L'extensibilité aux tâches image, audio et autres modalités

Références

Citations Clés :

1. Fondamentaux RLHF :
   • Christiano et al. (2017) - Deep reinforcement learning from human preferences
   • Ouyang et al. (2022) - InstructGPT: Training language models to follow instructions with human feedback
2. Modélisation de Récompense :
   • Coste et al. (2023) - Reward model ensembles help mitigate overoptimization
   • Wang et al. (2024) - Interpretable preferences via multi-objective reward modeling
3. Évaluation Multi-Agent :
   • Irving et al. (2018) - AI safety via debate
   • Chan et al. (2023) - ChatEval: Towards better LLM-based evaluators through multi-agent debate
4. Retours à Grain Fin :
   • Zheng et al. (2024) - GRPO: Guided reinforcement preference optimization
   • Ankner et al. (2024) - Critique-out-loud reward models

Évaluation Générale : Cet article propose un cadre innovant et pratique de modélisation de récompenses collaborative multi-agent, apportant des contributions importantes à l'amélioration de l'interprétabilité et de la capacité de raisonnement de l'RLHF. Bien qu'il présente des limitations telles que l'échelle expérimentale limitée et les détails d'implémentation insuffisants, son idée centrale possède une valeur académique importante et des perspectives d'application prometteuses. Nous attendons que les auteurs complètent davantage les détails d'implémentation, élargissent l'échelle expérimentale dans les travaux ultérieurs, et ouvrent le code et les modèles connexes pour promouvoir le développement de la communauté.