2025-11-21T01:25:15.792540

Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations

Lai, Zheng, Cheng et al.
The growing scale of evaluation tasks has led to the widespread adoption of automated evaluation using LLMs, a paradigm known as "LLM-as-a-judge". However, improving its alignment with human preferences without complex prompts or fine-tuning remains challenging. Previous studies mainly optimize based on shallow outputs, overlooking rich cross-layer representations. In this work, motivated by preliminary findings that middle-to-upper layers encode semantically and task-relevant representations that are often more aligned with human judgments than the final layer, we propose LAGER, a post-hoc, plug-and-play framework for improving the alignment of LLM-as-a-Judge point-wise evaluations with human scores by leveraging internal representations. LAGER produces fine-grained judgment scores by aggregating cross-layer score-token logits and computing the expected score from a softmax-based distribution, while keeping the LLM backbone frozen and ensuring no impact on the inference process. LAGER fully leverages the complementary information across different layers, overcoming the limitations of relying solely on the final layer. We evaluate our method on the standard alignment benchmarks Flask, HelpSteer, and BIGGen using Spearman correlation, and find that LAGER achieves improvements of up to 7.5% over the best baseline across these benchmarks. Without reasoning steps, LAGER matches or outperforms reasoning-based methods. Experiments on downstream applications, such as data selection and emotional understanding, further show the generalization of LAGER.
academic

Jenseits der Oberfläche: Verbesserung der LLM-as-a-Judge-Ausrichtung mit Menschen durch interne Repräsentationen

Grundlegende Informationen

  • Paper-ID: 2508.03550
  • Titel: Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations
  • Autoren: Peng Lai, Jianjie Zheng, Sijie Cheng, Yun Chen, Peng Li, Yang Liu, Guanhua Chen
  • Klassifizierung: cs.CL (Computerlinguistik)
  • Veröffentlichungskonferenz: 39. Konferenz zu neuronalen Informationsverarbeitungssystemen (NeurIPS 2025)
  • Paper-Link: https://arxiv.org/abs/2508.03550

Zusammenfassung

Mit der kontinuierlichen Erweiterung des Umfangs von Bewertungsaufgaben hat sich das Paradigma der automatisierten Bewertung mittels großer Sprachmodelle „LLM-as-a-Judge" weit verbreitet. Jedoch bleibt es eine Herausforderung, die Ausrichtung mit menschlichen Vorlieben ohne komplexe Prompts oder Feinabstimmung zu verbessern. Frühere Forschungen konzentrierten sich hauptsächlich auf die Optimierung oberflächlicher Ausgaben und ignorierten die reichhaltigen schichtübergreifenden Repräsentationen. Inspiriert durch vorläufige Erkenntnisse – dass in mittleren bis oberen Schichten kodierte semantische und aufgabenbezogene Repräsentationen oft besser mit menschlichen Urteilen übereinstimmen als die letzte Schicht – wird LAGER vorgestellt, ein nachträgliches Plug-and-Play-Framework, das die Ausrichtung der punktweisen Bewertung von LLM-as-a-Judge mit menschlichen Bewertungen durch Nutzung interner Repräsentationen verbessert. LAGER erzeugt feingranulare Bewertungswerte durch Aggregation schichtübergreifender Bewertungs-Token-Logits und Berechnung erwarteter Bewertungen aus Softmax-basierten Verteilungen, während das LLM-Backbone eingefroren bleibt und der Inferenzprozess unbeeinträchtigt bleibt.

Forschungshintergrund und Motivation

Problemdefinition

  1. Kernproblem: Bestehende LLM-as-a-Judge-Methoden verlassen sich hauptsächlich auf die Ausgabe der letzten Schicht für die Bewertung und ignorieren die reichhaltigen schichtübergreifenden Repräsentationsinformationen im Modell, was zu einer suboptimalen Ausrichtung mit menschlichen Urteilen führt.
  2. Bedeutung:
    • LLM-as-a-Judge findet breite Anwendung in Modellbewertung, Datensynthese und Modellverbesserung
    • Die Verbesserung der Bewertungsgenauigkeit und Konsistenz mit menschlichen Vorlieben ist entscheidend für die Zuverlässigkeit von KI-Systemen
    • Großflächige Bewertungsaufgaben erfordern effiziente und genaue automatisierte Bewertungsmethoden
  3. Einschränkungen bestehender Methoden:
    • Prompt-basierte Methoden erfordern komplexe Inferenzschritte und erhöhen die Rechenkosten
    • Feinabstimmungsmethoden sind mit Verallgemeinerungsproblemen konfrontiert und haben begrenzte Anpassungsfähigkeit
    • Traditionelle Methoden verlassen sich nur auf die Ausgabe der letzten Schicht und ignorieren semantische Informationen aus mittleren Schichten
  4. Forschungsmotivation:
    • Vorläufige Studien zeigen, dass mittlere bis obere Schichten (ca. 20-30 Schichten) oft eine höhere Korrelation mit menschlichen Bewertungen aufweisen als die letzte Schicht
    • Verschiedene Schichten kodieren unterschiedliche Informationstypen: untere Schichten konzentrieren sich auf lexikalische Informationen, mittlere bis obere Schichten auf semantische und globale Informationen
    • Es wird eine leichte, Plug-and-Play-Methode benötigt, um diese internen Repräsentationen zu nutzen

Kernbeiträge

  1. Vorstellung des LAGER-Frameworks: Ein nachträgliches, Plug-and-Play-Framework, das die Ausrichtung von LLM-as-a-Judge mit menschlichen Bewertungen durch Aggregation schichtübergreifender interner Repräsentationen verbessert
  2. Entdeckung der Vorteile mittlerer Schichten: Empirischer Nachweis, dass mittlere bis obere Schicht-Repräsentationen besser mit menschlichen Urteilen übereinstimmen als die letzte Schicht
  3. Erreichung signifikanter Leistungssteigerungen: Bis zu 7,5% Verbesserung auf drei Standard-Ausrichtungs-Benchmarks (Flask, HelpSteer, BIGGen)
  4. Nachweis der Verallgemeinerungsfähigkeit: Demonstration guter Generalisierungsleistung bei nachgelagerten Anwendungen wie Instruktionsdatenauswahl und Sentiment-Verständnis
  5. Bereitstellung einer leichtgewichtigen Lösung: Nur L+1 Gewichtsparameter erforderlich, Modell-Backbone bleibt eingefroren

Methodische Details

Aufgabendefinition

Eingabe: Aufgabenbeschreibung, Benutzerinstruction, zu bewertende Antwort, Bewertungskriterien Ausgabe: Feingranulare kontinuierliche Bewertung (nicht diskrete ganzzahlige Bewertung) Einschränkungen: Modell-Backbone-Parameter bleiben eingefroren, Inferenzprozess bleibt unbeeinträchtigt

Modellarchitektur

1. Grundlegendes Framework

Für Decoder-Modelle verwendet die traditionelle Methode nur den versteckten Zustand der letzten Schicht:

h^(L)_n = f^(L)_decoder ∘ ··· ∘ f^(1)_decoder ∘ f_embd(x<n)

2. LAGER-Kernmechanismus

Schichtübergreifende Logits-Aggregation:

ẑ = Σ(i=0 to L) w_i * ẑ_i = Σ(i=0 to L) w_i * h^(i)_n * W_unembd

Kandidaten-Bewertungs-Extraktion:

ẑ[M] = Σ(i=0 to L) w_i * [h^(i)_n * W_unembd]_M

wobei M = {Tokenize(s)|s ∈ S} die Menge der Kandidaten-Bewertungs-Tokens ist

Wahrscheinlichkeitsverteilungsberechnung:

P(s) = exp(ẑ[s]) / Σ(s'∈S) exp(ẑ[s'])

Erwartete Bewertung:

s* = E_s~P(s)[s] = Σ(s∈S) s × P(s)

3. Gewichtstrainings-Strategie

Zwei Gewichtseinstellungen werden bereitgestellt:

  • Version ohne Feinabstimmung: Durchschnittliche Aggregation w_l = 1/(L+1)
  • Feinabgestimmte Version: Gewichte mit kombinierter Verlustfunktion trainieren

Verlustfunktion:

L_Final = α·L_CE + (1-α)·L_MAE

wobei Cross-Entropy-Verlust diskrete Labels behandelt und MAE-Verlust kontinuierliche Bewertungen behandelt

Technische Innovationspunkte

  1. Schichtübergreifende Informationsfusion: Erstmalige systematische Nutzung interner Repräsentationen aller Transformer-Schichten für Bewertung
  2. Erwartete Bewertungs-Mechanismus: Berechnung kontinuierlicher Bewertungen durch Wahrscheinlichkeitsverteilung statt einfacher Argmax-Operation
  3. Plug-and-Play-Design: Keine Änderung ursprünglicher Modellparameter und Inferenzprozess, direkt auf bestehende Modelle anwendbar
  4. Leichtgewichtiges Training: Nur L+1 Gewichtsparameter erforderlich, minimale Trainingskosten

Experimentelle Einrichtung

Datensätze

  1. Flask: 2.001 Einträge mit 12 Bewertungsdimensionen (Prägnanz, Einsicht, Lesbarkeit etc.)
  2. HelpSteer: 8,95k Datenpunkte, basierend auf 5 Bewertungsstandards (Nützlichkeit, Korrektheit, Kohärenz etc.)
  3. BiGGen Bench: Umfassender Bewertungs-Benchmark mit 77 Aufgaben, bewertet 9 Generierungsfähigkeiten

Bewertungsmetriken

  • Primäre Metrik: Spearman-Korrelationskoeffizient (geeignet für Ordinaldaten, robust gegen Ausreißer)
  • Sekundäre Metrik: Pearson-Korrelationskoeffizient

Vergleichsmethoden

  1. Nicht trainierte Baselines: GPTScore, Vanilla Score (VScore), Expectation Score (E-Score)
  2. API-Modelle: GPT-4o-mini
  3. Feinabgestimmte Modelle: TIGERScore-7B, Prometheus2-7B (nur als Referenz)

Implementierungsdetails

  • Modelle: 6 Backbone-Modelle verschiedener Größen (7B-70B)
  • Dekodierungsstrategie: Gierige Dekodierung für Stabilität
  • Bewertungsbedingungen: Direkte Bewertung und Inferenzbewertung
  • Gewichtstraining: 1.000 HelpSteer-Samples, Adam-Optimierer, Lernrate 0,01

Experimentelle Ergebnisse

Hauptergebnisse

Signifikante Leistungssteigerungen:

  • LAGER übertrifft alle nicht trainierten Baselines auf allen Benchmarks
  • Durchschnittliche Spearman-Korrelationssteigerung: 4,5% für Version ohne Feinabstimmung, höher für feinabgestimmte Version
  • Maximale Verbesserung von 7,5% auf einigen Modellen

Wichtigste Erkenntnisse:

  1. Modellübergreifende Konsistenz: Verbesserungen auf 6 Modellen verschiedener Größen
  2. Wettbewerb mit API-Modellen: Open-Source-Modelle erreichen GPT-4o-mini-Niveau
  3. Überlegenheit gegenüber Feinabstimmungsmethoden: InternLM3-8B und LLaMA3.1-8B übertreffen Prometheus2-7B gleicher Größe

Ablationsstudien

Komponentenwich­tigkeit (Rangfolge):

  1. Erwartete Bewertung > Maximale Bewertung (+0,17 Verbesserung)
  2. Logits-Aggregation > Wahrscheinlichkeits-Aggregation (+0,07 Verbesserung)
  3. Gewichtsfeinabstimmung bringt +0,10 Verbesserung
  4. Multi-Layer-Integration zeigt unterschiedliche Effekte je nach Modell

Größenübergreifende Analyse

Skalierungseffekte:

  • Validierung auf Qwen2.5-Serie (0,5B-72B)
  • LAGER-Verbesserungen verstärken sich mit zunehmender Modellgröße
  • Beste Leistung bei 72B-Modell erreicht (Flask: 0,658 Spearman)

Fallstudien

Verteilungsausrichtung:

  • Von LAGER erzeugte Bewertungsverteilungen näher an menschlichen Annotationen
  • KL-Divergenz von 0,312 auf 0,087 reduziert
  • MSE von 0,112 auf 0,060 reduziert

Verwandte Arbeiten

Bewertung der Textgenerierung

  • Traditionelle Metriken: BLEU, ROUGE etc. zeigen offensichtliche Einschränkungen
  • Embedding-Methoden: BERTScore, BARTScore etc. erfordern Referenzantworten
  • GPTScore: Basierend auf Generierungswahrscheinlichkeit, ignoriert aber Semantikqualität

LLM-as-a-Judge

  1. Punktweise Bewertung: Unabhängige Bewertung einzelner Antworten
  2. Paarweiser Vergleich: Direkter Vergleich zweier Antworten
  3. Listenrangfolge: Rangfolge mehrerer Antworten

Methodenklassifizierung:

  • Prompt-basiert: Verbesserung des Urteils durch Inferenzschritte
  • Feinabstimmungsbasiert: Speziell trainierte Bewertungsmodelle

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Vorteile mittlerer Schichten: Mittlere bis obere Schicht-Repräsentationen stimmen tatsächlich besser mit menschlichen Urteilen überein als die letzte Schicht
  2. Leichtgewichtige Effektivität: Signifikante Leistungsverbesserung durch Training nur weniger Parameter
  3. Inferenz nicht erforderlich: Erreiche oder übertreffe Inferenzmethoden ohne explizite Inferenzschritte
  4. Gute Verallgemeinerung: Ausgezeichnete Leistung bei mehreren nachgelagerten Aufgaben

Einschränkungen

  1. Open-Source-Modell-Beschränkung: Erfordert Zugriff auf interne Modellzustände, nicht auf geschlossene API-Modelle anwendbar
  2. Rechenaufwand: Zusätzliche Berechnung versteckter Zustände aller Schichten erforderlich
  3. Gewichtsuniversalität: Verschiedene Modellfamilien erfordern möglicherweise Neutraining von Gewichten

Zukünftige Richtungen

  1. Theoretische Analyse: Tieferes Verständnis semantischer Eigenschaften verschiedener Schicht-Repräsentationen
  2. Effizienzoptimierung: Methoden zur Reduzierung des Rechenaufwands
  3. Adaptive Gewichte: Mechanismen zur adaptiven Anpassung von Gewichten verschiedener Schichten

Tiefgreifende Bewertung

Stärken

  1. Starke Innovativität: Erstmalige systematische Nutzung interner Transformer-Repräsentationen für Bewertung
  2. Hoher praktischer Wert: Plug-and-Play-Design, einfache Bereitstellung
  3. Umfassende Experimente: Vollständige Bewertung über mehrere Benchmarks und Modellgrößen
  4. Theoretische Unterstützung: Theoretische Einblicke durch Schicht-Ähnlichkeitsanalyse etc.

Mängel

  1. Begrenzte Anwendbarkeit: Nur auf Open-Source-Modelle anwendbar
  2. Unzureichende Mechanismuserklärung: Mangelnde tiefe theoretische Erklärung, warum mittlere Schichten besser sind
  3. Rechenkosten: Obwohl Parameter gering, erfordert Inferenz Berechnung aller Schichten

Auswirkungen

  1. Akademischer Beitrag: Neue Perspektive auf LLM-interne Repräsentationsforschung
  2. Praktischer Wert: Effektives Werkzeug für Open-Source-Modellbewertung
  3. Reproduzierbarkeit: Code öffentlich verfügbar, Experimente reproduzierbar

Anwendungsszenarien

  1. Modellbewertung: Verbesserung bestehender Bewertungsprozesse
  2. Datenfilterung: Hochwertige Trainings-Datenauswahl
  3. Qualitätskontrolle: Automatische Qualitätsbewertung generierter Inhalte
  4. Forschungswerkzeug: Untersuchung interner LLM-Mechanismen

Literaturverzeichnis

Dieses Papier zitiert umfangreiche verwandte Arbeiten, einschließlich:

  • LLM-as-a-Judge-Forschung (Lin & Chen, 2023; Liu et al., 2023 etc.)
  • Interne Repräsentationsforschung (Wang et al., 2020; Yang et al., 2022 etc.)
  • Bewertungs-Benchmarks und Methoden (Ye et al., 2024; Kim et al., 2024 etc.)

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das das innovative LAGER-Framework vorstellt und die automatisierte Bewertungs-Menschenausrichtung durch Nutzung interner LLM-Repräsentationen erheblich verbessert. Die Methode ist einfach und effektiv, die Experimente umfassend und gründlich, mit wichtigem akademischen Wert und praktischer Bedeutung. Die Haupteinschränkung liegt in der Anwendbarkeit nur auf Open-Source-Modelle, aber angesichts der rasanten Entwicklung von Open-Source-LLMs hat diese Arbeit weiterhin breite Anwendungsperspektiven.