Auf dem Weg zu hierarchischen mehrstufigen Belohnungsmodellen für verbesserte Argumentation in großen Sprachmodellen

Grundlegende Informationen

• Papier-ID: 2503.13551
• Titel: Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models
• Autoren: Teng Wang, Zhangyi Jiang, Zhenqi He, Hailei Gong, Shenyang Tong, Wenhan Yang, Zeyu Li, Yanan Zheng, Zifan He, Zewen Ye, Shengjie Ma, Jianping Zhang
• Klassifizierung: cs.CL cs.AI
• Veröffentlichungszeit/Konferenz: arXiv-Preprint (Oktober 2025)
• Papierlink: https://arxiv.org/abs/2503.13551

Zusammenfassung

Neuere Forschungen zeigen, dass große Sprachmodelle (LLMs) durch überwachtes Feintuning oder Reinforcement Learning starke Argumentationsfähigkeiten erwerben können. Allerdings weist die Schlüsselmethode der Prozessbelohnungsmodelle (PRM) Probleme mit Belohnungshacking auf, was sie bei der Identifizierung optimaler Zwischenschritte unzuverlässig macht. Darüber hinaus ist die Annotation von Argumentationsprozessen für die Belohnungsmodellierung kostspielig, was die Erfassung hochwertiger Daten in großem Maßstab herausfordernd macht. Um diese Probleme zu lösen, wird in diesem Papier ein neuartiger Belohnungsmodellierungsansatz – das hierarchische Belohnungsmodell (HRM) – vorgeschlagen, das einzelne und aufeinanderfolgende Argumentationsschritte auf feingranularer und grobgranularer Ebene bewertet. HRM zeichnet sich durch die Bewertung der Kohärenz mehrstufiger Argumentation aus, besonders wenn fehlerhafte Schritte später durch Selbstreflexion korrigiert werden. Um die Kosten für die Generierung von Trainingsdaten weiter zu senken, wird eine leichte und effektive Datenaugmentierungsstrategie – hierarchische Knotenkompression (HNC) – eingeführt, die zwei aufeinanderfolgende Argumentationsschritte in einer Baumstruktur zu einem zusammenfasst. Durch die Anwendung von HNC auf von MCTS generierte Argumentationstrajektorien wird die Vielfalt und Robustheit der HRM-Trainingsdaten mit minimalem Rechenaufwand verbessert, während gleichzeitig kontrolliertes Rauschen eingeführt wird. Experimentelle Ergebnisse auf dem PRM800K-Datensatz zeigen, dass HRM in Kombination mit HNC stabilere und zuverlässigere Bewertungen als PRM bietet. Darüber hinaus demonstrieren domänenübergreifende Evaluierungen auf den Datensätzen MATH500 und GSM8K die starken Verallgemeinerungsfähigkeiten und Robustheit von HRM bei verschiedenen Argumentationsaufgaben.

Forschungshintergrund und Motivation

Problemdefinition

Diese Forschung befasst sich hauptsächlich mit zwei kritischen Problemen bei großen Sprachmodellen in mathematischen Argumentationsaufgaben:

1. Belohnungshacking-Problem: Bestehende Prozessbelohnungsmodelle (PRM) sind anfällig für Ausnutzung durch Modelle, die möglicherweise hohe Punktzahlen durch Ausnutzung des Belohnungssignals statt durch echte Verbesserung der Argumentation erhalten, was die Zuverlässigkeit bei komplexen Aufgaben beeinträchtigt.
2. Hohe Annotationskosten: PRM erfordert teure großflächige manuelle Annotationen von Argumentationsschritten, was ihre Zuverlässigkeit und Skalierbarkeit einschränkt.

Forschungsbedeutung

Mathematische Argumentation ist eine wichtige Aufgabe zur Bewertung der Argumentationsfähigkeiten von LLMs. Bestehende Methoden wie Chain-of-Thought (CoT) und Tree-of-Thought (ToT) verbessern zwar die Leistung, weisen aber weiterhin kritische Einschränkungen auf:

• CoT-Modelle verfügen über keinen Mechanismus zur Erkennung und Korrektur von Zwischenargumentationsfehlern
• ToT-Methoden können nicht inhärent jeden Zwischenschritt validieren oder die Abrufung optimaler Argumentationstrajektorien garantieren

Einschränkungen bestehender Methoden

1. Ergebnis-Belohnungsmodelle (ORM): Leiden unter verzögertem Feedback und Kreditvergabeproblemen, wodurch es schwierig ist, zu bestimmen, welche Argumentationsschritte zum Endergebnis beitragen
2. Prozess-Belohnungsmodelle (PRM): Bieten zwar feinere Überwachung, sind aber anfällig für Belohnungshacking und verursachen hohe Annotationskosten

Forschungsmotivation

Basierend auf den oben genannten Problemen wird in diesem Papier das hierarchische Belohnungsmodell (HRM) vorgeschlagen, um die Einschränkungen von PRM zu mildern. Durch die Kombination von hierarchischen Überwachungssignalen auf feingranularer (Einzelschritt) und grobgranularer (aufeinanderfolgende Mehrschritte) Ebene während des Trainings kann HRM lokale und globale Kohärenz in der Argumentation erfassen.

Kernbeiträge

1. Vorschlag des hierarchischen Belohnungsmodells (HRM): Nutzt hierarchische Überwachung der Trainingsdaten auf Einzelschritt- und Mehrschrittebene, um Kohärenz und Selbstkorrektur in mehrstufiger Argumentation zu fördern, mit Validierung der HRM-Robustheit auf dem PRM800K-Datensatz.
2. Einführung der hierarchischen Knotenkompression (HNC): Eine leichte MCTS-Datenaugmentierungsmethode, die die Vielfalt und Robustheit der HRM-Trainingsdaten mit minimalem Rechenaufwand erheblich erhöht.
3. Verbesserung der Strategiemodellleistung: Weitere Verbesserung der Argumentationsleistung durch Feintuning auf hochwertige, von MCTS gefilterte Argumentationstrajektorien.
4. Validierung der Verallgemeinerungsfähigkeit: Demonstration der überlegenen Argumentationskonsistenz und Verallgemeinerungsfähigkeit von HRM im Vergleich zu PRM auf den Datensätzen GSM8K und MATH500.

Methodische Details

Aufgabendefinition

Dieses Papier konzentriert sich auf mathematische Argumentationsaufgaben mit dem Ziel, die Leistung von LLMs bei der Lösung mehrstufiger mathematischer Probleme zu bewerten und zu verbessern. Die Eingabe ist ein mathematisches Problem, die Ausgabe ist ein schrittweiser Argumentationsprozess und eine endgültige Antwort, wobei die Einschränkung die Gewährleistung der Korrektheit und Kohärenz der Argumentationsschritte ist.

Modellarchitektur

Hierarchisches Belohnungsmodell (HRM)

Die Kernidee von HRM ist die Verwendung hierarchischer Überwachung während des Trainings zur Bewertung einzelner und aufeinanderfolgender Argumentationsschritte:

Trainingsdatenkonstruktion:

• PRM-Trainingsdaten: $D_{PRM} = \{(s_i, R(s_i)) | 1 \leq i \leq N\}$
• HRM-Trainingsdaten: $D_{HRM} = D_{PRM} \cup \{(s_i + s_{i+1}, R(s_i + s_{i+1})) | 1 \leq i < N\}$

wobei $s_i$ den $i$-ten Argumentationsschritt darstellt, $R(\cdot)$ die Belohnungsfunktion ist und $N$ die Gesamtzahl der Argumentationsschritte ist.

Hierarchisches Überwachungsziel:

1. Erfassung feingranularer und grobgranularer Konsistenz
2. Realisierung von Selbstreflexion und Fehlerkorrektur

Inferenzphase: Obwohl während des Trainings zusammengefasste Argumentationsschritte verwendet werden, bewertet HRM während der Inferenz weiterhin schrittweise und weist Belohnungen nur basierend auf dem aktuellen Schritt $s_i$ zu, ähnlich wie PRM.

Hierarchische Knotenkompression (HNC)

HNC ist eine Datenaugmentierungsmethode, die die Trainingsdatenvielfalt durch Zusammenfassung aufeinanderfolgender Knoten in der MCTS-Baumstruktur erhöht:

Kernmechanismus:

1. Zufälliges Zusammenfassen zweier aufeinanderfolgender Knoten, von denen jeder einem Argumentationsschritt entspricht
2. Entfernung direkter Verbindungen zwischen Knoten
3. Umleitung von Verbindungsbeziehungen

Rauscheinführung: Wenn ein zufälliger Knoten entfernt wird, werden die Gewichte der verbleibenden untergeordneten Knoten von $\frac{1}{N}$ auf $\frac{1}{N-1}$ neu verteilt, wobei die Varianz von $\frac{\sigma^2}{N}$ auf $\frac{\sigma^2}{N-1}$ ansteigt, was kontrolliertes Rauschen einführt.

Technische Innovationspunkte

1. Hierarchisches Überwachungsdesign: Im Gegensatz zu PRM, das nur einzelne Schritte bewertet, berücksichtigt HRM die Wechselwirkungen zwischen mehreren Schritten und kann Korrektionen früher Fehler durch nachfolgende Schritte identifizieren.
2. Selbstkorrektur-Fähigkeit: Während traditionelle PRM einzelne fehlerhafte Schritte bestrafen, ohne potenzielle Korrektionen in nachfolgender Argumentation zu berücksichtigen, bewertet HRM die Argumentationskohärenz über mehrere Schritte hinweg.
3. Kostengünstige Datenaugmentierung: HNC realisiert Datenaugmentierung mit extrem niedrigem Rechenaufwand (etwa 30 Minuten CPU-Zeit), was im Vergleich zu 2457 A100 GPU-Stunden für MCTS vernachlässigbar ist.

Experimentelle Einrichtung

Datensätze

1. PRM800K: Enthält manuell annotierte Argumentationstrajektorien als Grundlage für das Training von ORM, PRM und HRM
2. MATH500: Mathematische Probleme auf Oberstufen- und Universitätsniveau zur Bewertung der Verallgemeinerungsfähigkeit
3. GSM8K: Mathematische Anwendungsaufgaben der Grundschule mit 1000 Testproblemen

Bewertungsmetriken

• Genauigkeit: Genauigkeit der Problemlösung unter der Best-of-N-Strategie
• Stabilität: Konsistenz der Leistung mit zunehmendem N
• Robustheit: Konsistente Leistung über verschiedene Strategiemodelle und Datensätze hinweg

Vergleichsmethoden

• ORM (Outcome Reward Model): Bewertung basierend auf der gesamten Argumentationskette
• PRM (Process Reward Model): Schrittweise Bewertung des Argumentationsprozesses
• HRM (Hierarchical Reward Model): Das in diesem Papier vorgeschlagene hierarchische Belohnungsmodell

Implementierungsdetails

• Belohnungsmodelle: Feintuning basierend auf Qwen2.5-1.5B-Math
• Strategiemodelle: Qwen2.5-72B-Math-Instruct, DeepSeek-Math-7B, Qwen2.5-7B-Math-Instruct
• MCTS-Konfiguration: 5-6 untergeordnete Knoten pro übergeordnetem Knoten, maximale Baumtiefe 7
• Trainingsoptimierung: Verwendung von FlashAttention, DeepSpeed und gemischter Präzisionstraining

Experimentelle Ergebnisse

Hauptergebnisse

Best-of-N-Leistung auf dem PRM800K-Datensatz:

Wichtigste Erkenntnisse:

• HRM behält stabile Leistung mit zunehmendem N bei, mit stabiler Genauigkeit von 80%
• ORM und PRM zeigen erhebliche Schwankungen, mit sinkender Genauigkeit bei wachsendem N
• HRM zeigt die beste Stabilität und Zuverlässigkeit

Domänenübergreifende Verallgemeinerungsexperimente

Ergebnisse auf GSM8K- und MATH500-Datensätzen:

Wichtige Beobachtungen:

• Auf dem komplexeren MATH500-Datensatz ist HRM deutlich besser als PRM
• Auf dem relativ einfacheren GSM8K ist der Unterschied kleiner, aber HRM ist immer noch leicht überlegen
• HRM zeigt stärkere domänenübergreifende Robustheit

Ablationsstudien

Vergleich verschiedener Strategiemodelle: HRM, trainiert auf automatisch annotierten Daten, die von MCTS generiert wurden, zeigt auf mehreren Strategiemodellen bessere Stabilität als PRM:

• DeepSeek-Math-7B
• Qwen2.5-72B-Math
• Qwen2.5-7B-Math

Selbsttrainingsexperimente

Weitere Verbesserung der Strategiemodellleistung durch überwachtes Feintuning mit KL-Divergenz-Regularisierung validiert den Wert hochwertiger Argumentationsdaten.

Verwandte Arbeiten

RLHF-Framework

Dieses Papier basiert auf dem Reinforcement Learning from Human Feedback (RLHF)-Framework, das Belohnungsmodelle verwendet, um hochwertige und minderwertige Antworten zu unterscheiden, und PPO zur Optimierung von LLMs nutzt.

Klassifizierung von Belohnungsmodellen

1. ORM: Weist Belohnungen basierend auf der Gesamtausgabe zu, mit verzögertem Feedback und Kreditvergabeproblemen
2. PRM: Bewertet Zwischenargumentationsschritte mit feinerer Überwachung, aber anfällig für Belohnungshacking

Anwendung von MCTS in der Argumentation

MCTS wird als Methode zur autonomen Annotation von Argumentationstrajektorien vorgeschlagen, aber die Rechenkosten wachsen exponentiell mit der Suchbaumtiefe und -breite.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. HRM lindert effektiv das Belohnungshacking-Problem von PRM durch hierarchische Überwachung und bietet stabilere und zuverlässigere Bewertungen
2. HNC ist eine effiziente Datenaugmentierungsstrategie, die die Qualität der Trainingsdaten mit extrem niedrigen Kosten erheblich verbessert
3. HRM zeigt hervorragende Verallgemeinerungsfähigkeiten und ist durchgehend besser als PRM auf mehreren mathematischen Argumentationsdatensätzen

Einschränkungen

1. Schritt-Zusammenfassungsbeschränkung: Derzeit werden nur zwei aufeinanderfolgende Schritte zusammengefasst, das Zusammenfassen von mehr Schritten führt zu exponentieller Komplexität der Labelkombinationen
2. Domänenbeschränkung: Hauptsächlich auf mathematische Argumentation konzentriert, die Anwendbarkeit auf andere strukturierte Argumentationsbereiche erfordert weitere Validierung
3. Rechenbeschränkungen: MCTS-Konfiguration ist durch Rechenressourcen begrenzt, was die Vielfalt der generierten Daten beeinflussen kann

Zukünftige Richtungen

1. Erkundung komplexerer hierarchischer Strukturdesigns
2. Erweiterung auf andere strukturierte Argumentationsaufgaben
3. Integration effizienterer Suchalgorithmen zur Reduzierung der Rechenkosten
4. Untersuchung ausgefeilteren Labelstrategien für die Behandlung von Mehrschrittenzusammenfassungen

Tiefgreifende Bewertung

Stärken

1. Starke Innovativität: Das hierarchische Überwachungsdesign von HRM kombiniert geschickt lokale Genauigkeit und globale Kohärenz
2. Umfassende Experimente: Vollständige Evaluierung auf mehreren Datensätzen und Strategiemodellen
3. Hoher praktischer Wert: HNC bietet eine kostengünstige Datenaugmentierungslösung
4. Solide theoretische Grundlagen: Tiefgreifende Analyse des Belohnungshacking-Problems mit gezielter Lösung

Mängel

1. Methodische Komplexität: Komplexere Trainingsdatenkonstruktion und Labelstrategien im Vergleich zu PRM
2. Skalierbarkeit: Derzeit nur Zweischritt-Zusammenfassung unterstützt, was die Erweiterbarkeit der Methode einschränkt
3. Domänenspezifität: Hauptsächlich auf mathematische Argumentationsaufgaben validiert, Anwendbarkeit auf andere Bereiche unzureichend validiert

Auswirkungen

1. Akademischer Beitrag: Bietet neue hierarchische Perspektiven für das Design von Belohnungsmodellen
2. Praktischer Wert: HNC-Methode kann direkt auf bestehende MCTS-Prozesse angewendet werden
3. Reproduzierbarkeit: Bietet detaillierte experimentelle Einrichtungen und Hyperparameterkonfigurationen

Anwendungsszenarien

1. Mathematische Argumentationsaufgaben: Besonders geeignet für komplexe mathematische Probleme, die mehrstufige Argumentation erfordern
2. Argumentationsaufgaben, die Selbstkorrektur erfordern: HRM kann Fehlerkorrektur im Argumentationsprozess identifizieren und belohnen
3. Ressourcenbegrenzte Szenarien: HNC bietet eine kostengünstige Datenaugmentierungslösung

Referenzen

Das Papier zitiert wichtige Arbeiten in diesem Bereich, einschließlich:

• Lightman et al. (2023) - Let's verify step by step (PRM800K-Datensatz)
• Cobbe et al. (2021) - Training verifiers to solve math word problems
• Wei et al. (2022) - Chain-of-thought prompting
• Ouyang et al. (2022) - Training language models to follow instructions with human feedback

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das innovative Lösungen für kritische Probleme von PRM bietet. Das hierarchische Überwachungsdesign von HRM ist theoretisch fundiert, experimentell gut validiert, und die HNC-Methode hat starken praktischen Wert. Das Papier zeigt hervorragende Leistungen in technischer Innovation, experimentellem Design und Ergebnisanalyse und trägt wertvoll zur Verbesserung der Argumentationsfähigkeiten großer Sprachmodelle bei.