2025-11-20T05:37:14.741052

Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations

Saraf, Boroujeni, Beaudry et al.

Large language models (LLMs) are increasingly deployed as evaluators of text quality, yet the validity of their judgments remains underexplored. This study investigates systematic bias in self- and cross-model evaluations across three prominent LLMs: ChatGPT, Gemini, and Claude. We designed a controlled experiment in which blog posts authored by each model were evaluated by all three models under four labeling conditions: no attribution, true attribution, and two false-attribution scenarios. Evaluations employed both holistic preference voting and granular quality ratings across three dimensions Coherence, Informativeness, and Conciseness with all scores normalized to percentages for direct comparison. Our findings reveal pronounced asymmetries in model judgments: the "Claude" label consistently elevated scores regardless of actual authorship, while the "Gemini" label systematically depressed them. False attribution frequently reversed preference rankings, producing shifts of up to 50 percentage points in voting outcomes and up to 12 percentage points in quality ratings. Notably, Gemini exhibited severe self-deprecation under true labels, while Claude demonstrated intensified self-preference. These results demonstrate that perceived model identity can substantially distort both high-level judgments and fine-grained quality assessments, independent of content quality. Our findings challenge the reliability of LLM-as-judge paradigms and underscore the critical need for blind evaluation protocols and diverse multi-model validation frameworks to ensure fairness and validity in automated text evaluation and LLM benchmarking.

academic

大規模言語モデルの自己評価および相互評価におけるラベル誘導バイアスの定量化

基本情報

論文ID: 2508.21164
タイトル: Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations
著者: Muskan Saraf, Sajjad Rezvani Boroujeni, Justin Beaudry, Hossein Abedi, Tom Bush
分類: cs.CL, cs.AI
発表日時: 2025年10月9日 (arXiv v3)
論文リンク: https://arxiv.org/abs/2508.21164v3

要約

本研究は、3つの主流大規模言語モデル（ChatGPT、Gemini、Claude）における自己評価および相互評価の体系的バイアスを調査しています。研究では、各モデルが4つのラベル条件下（ラベルなし、真正ラベル、2つの虚偽ラベルシナリオ）で各モデルが生成したブログ記事を評価する統制実験を設計しました。評価は全体的な選好投票と3つの次元（一貫性、情報性、簡潔性）における細粒度の品質スコアを採用し、すべてのスコアは直接比較のためにパーセンテージに正規化されています。研究は、モデルの判断に顕著な非対称性が存在することを発見しました。「Claude」ラベルは実際の著者が誰であるかに関わらずスコアを上昇させ、一方「Gemini」ラベルは体系的にスコアを低下させます。虚偽ラベルは頻繁に選好順序を逆転させ、投票結果で最大50パーセンテージポイント、品質スコアで最大12パーセンテージポイントの変化を生じさせます。

研究背景と動機

核心的課題

大規模言語モデルがテキスト品質評価ツールとしてますます多く配置されるにつれて、その判断の有効性は依然として十分に探索されていません。本研究は主に以下の問題に対処しています：

LLM評価バイアス問題：LLMは出力を公正に評価できるか、それとも知覚される著者性によって影響を受けるか？
ラベル誘導バイアス：モデル名は実際の品質とは無関係に評価結果に影響するか？
自己選好バイアス：モデルは自身の出力に対してより高いスコアを与える傾向があるか？

重要性

この問題の重要性は以下に体現されています：

テキスト評価の自動化におけるLLM-as-judge パラダイムの増加する普及
評価バイアスはベンチマーク結果の歪みをもたらす可能性
モデル比較と選択の公平性に影響
AI システムの信頼性と透明性に対する課題

既存研究の限界

既存研究は主に単一タイプのバイアスまたは限定的なモデル数に焦点を当てており、以下が不足しています：

複数モデル、複数条件の統制的比較分析
選好と品質次元にわたるラベル効果を比較する定量的証拠
体系的なバイアス軽減提案

核心的貢献

統制的多条件分析：自己および相互モデル評価バイアスの統制的で多条件の分析フレームワークを提供
定量的バイアス証拠：選好と品質次元にわたるラベル効果を比較する定量的証拠を提供
バイアス軽減提案：ブラインド評価または複数モデル評価プロトコルを通じてバイアスを軽減するための提案を提供
二重スコアリング方法：パーセンテージ選好スコアと点数ベースの品質スコアという2つの相補的方法を採用
ラベル非対称性の発見：「Claude」ラベルは一貫してスコアを上昇させ、「Gemini」ラベルは体系的にスコアを低下させることを発見

方法の詳細

実験設計

本研究は3段階の統制的複数モデル、複数条件設計を採用しています：

ステージ1：ブログ生成

モデル：ChatGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4
タスク：固定プロンプトテンプレートを使用して約200語のブログ記事を生成
プロンプトテンプレート：「You are a professional blog writer. Write a concise blog post (around 200 words) for the title ''. The style should be engaging and suitable for an online audience. Return only the blog content, no extra text.」
データ：10の異なるトピックタイトル、各モデルが各タイトルについて1つのブログを生成、合計30のブログ

ステージ2：ラベル条件設定

4つのラベル条件：

ラベルなし：著者帰属なし
真正ラベル：正しい帰属
虚偽ラベルシナリオ1：ChatGPTはGeminiとしてラベル、GeminiはClaudeとしてラベル、ClaudeはChatGPTとしてラベル
虚偽ラベルシナリオ2：ChatGPTはClaudeとしてラベル、GeminiはChatGPTとしてラベル、ClaudeはGeminiとしてラベル

ステージ3：二重スコアリングシステム

パーセンテージ選好スコア：各出力が「最良」として選択される頻度を測定
点数ベースの品質スコア：一貫性、情報性、簡潔性の3つの次元で0～10点のスコア、パーセンテージに変換

分析レベル

条件内分析：条件内での比較
条件間分析：条件間での変化を追跡
指標特定分析：各基準に対するバイアスの影響を検査

実験設定

データセット特性

規模：30のブログ記事（3つのモデル × 10のタイトル）
トピック：多様なトピックをカバー、複雑性は類似
長さ：約200語、オンライン視聴者に適切

評価指標

全体的選好投票：「最良選択」頻度のパーセンテージ形式
品質次元スコア：
- 一貫性（Coherence）：記事の論理構造と流暢性
- 情報性（Informativeness）：コンテンツの情報価値と深さ
- 簡潔性（Conciseness）：表現の効率性と洗練度