2025-11-24T04:01:17.739487

Large Language Models are overconfident and amplify human bias

Sun, Li, Wang et al.
Large language models (LLMs) are revolutionizing every aspect of society. They are increasingly used in problem-solving tasks to substitute human assessment and reasoning. LLMs are trained on what humans write and are thus exposed to human bias. We evaluate whether LLMs inherit one of the most widespread human biases: overconfidence. We algorithmically construct reasoning problems with known ground truths. We prompt LLMs to answer these problems and assess the confidence in their answers, closely following similar protocols in human experiments. We find that all five LLMs we study are overconfident: they overestimate the probability that their answer is correct between 20% and 60%. Humans have accuracy similar to the more advanced LLMs, but far lower overconfidence. Although humans and LLMs are similarly biased in questions which they are certain they answered correctly, a key difference emerges between them: LLM bias increases sharply relative to humans if they become less sure that their answers are correct. We also show that LLM input has ambiguous effects on human decision making: LLM input leads to an increase in the accuracy, but it more than doubles the extent of overconfidence in the answers.
academic

Große Sprachmodelle sind überconfident und verstärken menschliche Vorurteile

Grundinformationen

  • Papier-ID: 2505.02151
  • Titel: Large Language Models are overconfident and amplify human bias
  • Autoren: Fengfei Sun, Ningke Li, Kailong Wang, Lorenz Goette
  • Klassifizierung: cs.SE (Softwaretechnik), cs.CY (Computer und Gesellschaft)
  • Veröffentlichungsdatum: Mai 2025 (arXiv-Preprint)
  • Papierlink: https://arxiv.org/abs/2505.02151v2

Zusammenfassung

Große Sprachmodelle (LLMs) revolutionieren verschiedene Aspekte der Gesellschaft und werden zunehmend für Problemlösungsaufgaben eingesetzt, die menschliche Bewertung und Argumentation ersetzen. Da LLMs auf von Menschen verfassten Inhalten trainiert werden, sind sie menschlichen Vorurteilen ausgesetzt. Diese Studie bewertet, ob LLMs eines der häufigsten menschlichen Vorurteile geerbt haben: Überconfidence. Die Forscher konstruierten algorithmisch Argumentationsprobleme mit bekannten korrekten Antworten, forderten LLMs auf, diese zu beantworten, und bewerteten die Konfidenz ihrer Antworten. Die Studie zeigt, dass alle fünf untersuchten LLMs Überconfidence aufweisen: Sie überschätzen die Wahrscheinlichkeit ihrer korrekten Antworten um 20% bis 60%. Obwohl die menschliche Genauigkeit der fortgeschritteneren LLMs ähnlich ist, ist der Grad der Überconfidence deutlich geringer. Wenn LLMs weniger sicher über Antworten sind, nimmt ihr Vorurteil im Vergleich zu Menschen dramatisch zu. Die Studie zeigt auch, dass LLM-Eingaben komplexe Auswirkungen auf menschliche Entscheidungen haben: Sie verbessern zwar die Genauigkeit, erhöhen aber die Überconfidence um mehr als das Doppelte.

Forschungshintergrund und Motivation

Problemdefinition

Die Kernfrage dieser Studie ist: Erben und verstärken große Sprachmodelle das menschliche Überconfidence-Vorurteil? Diese Frage ist wichtig, weil:

  1. Breite Anwendungsszenarien: LLMs werden zunehmend für Problemlösungsaufgaben eingesetzt, die sorgfältige Argumentation und Bewertung erfordern
  2. Verzerrung der Trainingsdaten: LLMs werden auf von Menschen verfassten Inhalten trainiert und sind daher natürlicherweise menschlichen Vorurteilen ausgesetzt
  3. Entscheidungsauswirkungen: Überconfidence hat sich als schädlich für mehrere Bereiche professioneller und alltäglicher Entscheidungen erwiesen

Forschungsbedeutung

Überconfidence ist eines der häufigsten Vorurteile in menschlichen Urteilen und hat in mehreren Bereichen negative Auswirkungen:

  • Professionelle Bereiche: Überconfidente Manager führen eher unrentable Fusionen und Übernahmen durch
  • Alltägliches Verhalten: Beeinflusst Trainingsgewohnheiten, Ernährungsentscheidungen und Finanzinvestitionen
  • Lernfähigkeit: Kann zu persistenten Vorurteilen führen statt zum Lernen aus Feedback

Einschränkungen bestehender Forschung

Bestehende Forschung zur LLM-Kalibrierung hat hauptsächlich folgende Probleme:

  1. Beruht hauptsächlich auf standardisierten Frage-Antwort-Datensätzen, die LLMs wahrscheinlich während des Trainings gesehen haben
  2. Mangel an Forschung zur Konfidenz bei Aufgaben, die Argumentationsfähigkeit erfordern
  3. Unzureichende Erforschung der Auswirkungen von LLM-Konfidenz auf menschliche Entscheidungen

Kernbeiträge

  1. Erste systematische Bewertung: Umfassende Bewertung des Überconfidence-Vorurteils bei fünf führenden LLMs
  2. Innovative Experimentaldesign: Konstruktion von 10.000 algorithmisch generierten Argumentationsproblemen zur Minimierung von Trainingsverzerrung
  3. Mensch-Maschine-Vergleichsanalyse: Direkter Vergleich von LLMs und Menschen bei identischen Aufgaben
  4. Konfidenz-Gradient-Erkenntnisse: Enthüllung des "Dunning-Kruger-Effekts", bei dem LLM-Vorurteile bei Unsicherheit dramatisch zunehmen
  5. Forschung zu Auswirkungen auf menschliche Entscheidungen: Quantifizierung der dualen Auswirkungen von LLM-Eingaben auf menschliche Genauigkeit und Vorurteile
  6. Wohlfahrtseffekt-Analyse: Etablierung eines theoretischen Modells zur Analyse der Wohlfahrtsauswirkungen von LLM-Exposition

Methodische Details

Aufgabendefinition

Die Studie entwarf drei miteinander verbundene Experimente:

  1. LLM-Überconfidence-Bewertung: Messung von Genauigkeit und Konfidenz von LLMs bei Argumentationsaufgaben
  2. Menschliche Benchmark-Tests: Bewertung der menschlichen Leistung bei identischen Aufgaben
  3. LLM-Expositions-Experiment: Test der Auswirkungen von LLM-Eingaben auf menschliche Entscheidungen

Problemgenerierungsmethode

Triple-Extraktion

Extraktion strukturierter Tripel (Subjekt, Prädikat, Objekt) aus Wikidata, die zehn beliebte Kategorien abdecken.

Logische Argumentationsregeln

Implementierung von fünf Argumentationstypen:

  1. Negations-Argumentation: Ableitung der Gültigkeit der Negation von Faktenwissen
  2. Symmetrie-Argumentation: Austausch von Subjekt und Objekt in symmetrischen Beziehungen
  3. Inverse Argumentation: Verbindung von Subjekt und Objekt durch inverse Beziehungen
  4. Transitive Argumentation: Kettenförmige Argumentation zur Generierung neuer Tripel
  5. Zusammengesetzte Argumentation: Kombination mehrerer grundlegender Argumentationsregeln

Problemvalidierung

Verwendung einer Prolog-Argumentationsmaschine für automatische Argumentation, manuelle Validierung von Prädikat-Komponenten, endgültige Beibehaltung von 476 Prädikaten und entsprechenden Tripeln.

Konfidenz-Messung

Verwendung speziell entworfener Prompts zur gleichzeitigen Erfassung von:

  • Konfidenz in der Korrektheit der Antwort
  • Konfidenz in der Korrektheit des Faktenwissens
  • Konfidenz in der Korrektheit des Argumentationsprozesses

Ähnlichkeitsbewertung

Entwicklung von Algorithmen zur Berechnung der Ähnlichkeit zwischen LLM-Antworten und Standardantworten:

  • Faktische Ähnlichkeit: Basierend auf Subjekt-Matching und Objekt-Ähnlichkeit
  • Argumentations-Ähnlichkeit: Bewertung des Prädikat- und Objekt-Matchings

Experimentelle Einrichtung

Datensatz

  • Umfang: 10.000 ausgewogene Argumentationsprobleme
  • Verteilung: 5 Argumentationstypen × 10 Wissensbereiche, 200 Probleme pro Kombination
  • Menschliche Benchmark: 2.000 Probleme für menschliche Experimente ausgewählt

Modellauswahl

Test von fünf repräsentativen LLMs:

  • Geschlossene Modelle: GPT-3.5, GPT-4o, GPT-o1
  • Open-Source-Modelle: Llama 3.1 8B, Llama 3.2 3B

Bewertungsmetriken

  • Genauigkeit: Anteil korrekter Antworten
  • Konfidenz: Selbstberichtete Wahrscheinlichkeit der Korrektheit
  • Vorurteil: Differenz zwischen Konfidenz und Genauigkeit
  • Konfidenz-Gradient: Änderungsrate der Genauigkeit relativ zur Konfidenz

Experimentaldesign mit Menschen

  • Plattform: Prolific Online-Experimentierplattform
  • Anreizmechanismus: Befolgt echte Anreizmechanismen nach Danz et al. (2022)
  • Stichprobe: 588 Personen für Basis-Experiment, 1.161 Personen für Expositions-Experiment

Experimentelle Ergebnisse

LLM-Überconfidence-Leistung

Hauptergebnisse

Alle fünf LLMs zeigen signifikante Überconfidence:

  • GPT-3.5: Genauigkeit 35%, Konfidenz 94%, Vorurteil 59%
  • GPT-4o: Genauigkeit 63%, Konfidenz 94%, Vorurteil 30%
  • GPT-o1: Genauigkeit 73%, Konfidenz 95%, Vorurteil 22%
  • Llama 3.1: Genauigkeit 63%, Konfidenz 86%, Vorurteil 23%
  • Llama 3.2: Genauigkeit 61%, Konfidenz 94%, Vorurteil 33%

Konfidenz-Gradient-Analyse

Fortgeschrittenere Modelle zeigen stärkere Konfidenz-Gradienten:

  • GPT-4o und GPT-o1: 10% Rückgang der Konfidenz entspricht etwa 25% Rückgang der Genauigkeit
  • Llama 3.1: 10% Rückgang der Konfidenz entspricht etwa 13% Rückgang der Genauigkeit

Mensch-Maschine-Vergleichsergebnisse

Leistungsvergleich

  • Menschliche Genauigkeit: 66% (vergleichbar mit GPT-4o und Llama 3.1)
  • Menschliche Konfidenz: 70% (nur 4% Überconfidence)
  • Schlüsseldifferenz: Menschen zeigen weniger Vorurteil bei Unsicherheit, LLMs das Gegenteil

Dunning-Kruger-Effekt

LLMs zeigen einen stärkeren Dunning-Kruger-Effekt als Menschen:

  • Bei vollständiger Sicherheit liegt die LLM-Genauigkeit bei 79-85% (immer noch 15-21% Vorurteil)
  • Menschen zeigen bei Unsicherheit leichte Unterschätzung (Genauigkeit 54% vs. erwartete 50%)

Auswirkungen von LLM-Exposition auf Menschen

Genauigkeitsverbesserung

  • LLM-Antwort-Gruppe: Genauigkeitsverbesserung um 5,6 Prozentpunkte
  • LLM-Antwort + Konfidenz-Gruppe: Genauigkeitsverbesserung um 7,0 Prozentpunkte

Vorurteil-Verstärkung

  • LLM-Antwort-Gruppe: Vorurteil nimmt um 4,2 Prozentpunkte zu (verdoppelt)
  • LLM-Antwort + Konfidenz-Gruppe: Vorurteil nimmt um 7,6 Prozentpunkte zu (fast verdreifacht)

Heterogene Effekte

Teilnehmer mit niedriger Basis-Konfidenz profitieren am meisten:

  • Genauigkeitsverbesserung um 8,6-11,9 Prozentpunkte
  • Aber Vorurteil nimmt auch um 7,0-14,1 Prozentpunkte zu

Verwandte Arbeiten

LLM-Kalibrierungsforschung

Bestehende Forschung verwendet hauptsächlich drei Methoden zur Messung der LLM-Konfidenz:

  1. Logit-basierte Schätzung: Erfordert internen Modellzugriff
  2. Direkte Konfidenz-Induktion: Direkte Abfrage durch Prompts
  3. Hilfsmodell-Ansatz: Von Einzelmodell-Vorhersagen zu Multi-Source-Integration

Die Innovation dieser Studie liegt in der Verwendung algorithmisch generierter Probleme zur Minimierung von Trainingsverzerrung.

Überconfidence-Forschung

Auswirkungen von Überconfidence in mehreren Bereichen:

  • Unternehmens-Entscheidungen: Beeinflusst Finanzierungs- und M&A-Entscheidungen
  • Persönliches Verhalten: Beeinflusst Gesundheitsentscheidungen und Investitionen
  • Lernprozess: Kann zu persistenten Vorurteilen statt adaptivem Lernen führen

Mensch-Maschine-Interaktion

Neue Forschung untersucht, wie Einzelne auf (möglicherweise verzerrte) KI-Eingaben reagieren; diese Studie leistet einen wichtigen Beitrag zu diesem Bereich.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Universelle Überconfidence: Alle getesteten LLMs zeigen signifikante Überconfidence, weit über dem menschlichen Niveau
  2. Dunning-Kruger-Effekt: LLMs zeigen dramatisch erhöhte Vorurteile bei Unsicherheit, mangelnde Erkenntnis von Wissensgrenzen
  3. Duale Auswirkungen: LLM-Eingaben verbessern zwar die menschliche Genauigkeit, erhöhen aber signifikant die Überconfidence
  4. Wohlfahrts-Komplexität: In Umgebungen, die Investitionsentscheidungen erfordern, können erhöhte Vorurteile Genauigkeitsgewinne aufzehren

Theoretische Erkenntnisse

Dunning-Kruger-Mechanismus

LLMs sind in ihren Vorhersagemodellen "gefangen":

  • Können Wissen, das in Trainingsdaten nicht vorhanden ist, nicht erfassen
  • Bilden Genauigkeitsschätzungen basierend auf Trainingsdaten
  • Mangelnde intuitive Erkenntnis menschlicher Wissensgrenzen

Wohlfahrts-Theoretisches Modell

Etablierung eines Wohlfahrtsmodells, das Genauigkeit und Vorurteile berücksichtigt:

  • Negative Auswirkungen von Überconfidence sind größer, wenn Investitionen höhere Elastizität gegenüber Erfolgschancen haben
  • Selbst bei verbesserter Genauigkeit kann LLM-Exposition die Gesamtwohlfahrt verringern

Einschränkungen

  1. Aufgabenumfang: Begrenzt auf binäre Auswahlargumentationsprobleme
  2. Modellversionen: Ergebnisse können sich mit Modellaktualisierungen ändern
  3. Kulturelle Unterschiede: Menschliche Experimente basieren hauptsächlich auf englischsprachigen Nutzern
  4. Zeitliche Effekte: Berücksichtigt nicht langfristige Lern- und Anpassungseffekte

Praktische Bedeutung

Leitfaden für Benutzer

  • Bereitstellung neuer Benchmarks zur Bewertung von LLM-Argumentationsfähigkeiten
  • Betonung der Notwendigkeit angemessener Skepsis gegenüber LLM-Empfehlungen

Empfehlungen für Entwickler

  • Aktuelle Trainingsziele priorisieren Flüssigkeit über Genauigkeit
  • Notwendigkeit der Entwicklung eingebauter Unsicherheits-Kalibrierungsmechanismen
  • Empfehlung der Integration von Verifizierungsmechanismen zur Überprüfung von Argumentationsprozessen

Inspirationen für Forschung

  • Betonung der Bedeutung der Bewertung von LLM-Verhaltensvorurteilen
  • Bereitstellung eines Paradigmas für die Forschung zu anderen kognitiven Vorurteilen
  • Förderung interdisziplinärer Zusammenarbeit zwischen Verhaltenswissenschaften und Informatik

Tiefgreifende Bewertung

Stärken

  1. Methodische Innovation:
    • Algorithmisch generierte Probleme minimieren Trainingsverzerrung
    • Mehrdimensionale Konfidenz-Messung (Antwort, Fakten, Argumentation)
    • Strenger Mensch-Maschine-Vergleichsexperimentaldesign
  2. Experimentelle Vollständigkeit:
    • Großangelegte Experimente (10.000 LLM-Probleme, 5.000+ menschliche Antworten)
    • Robustheitsprüfungen bei mehreren Modellen und Temperatureinstellungen
    • Detaillierte Ablationsstudien und Reproduzierbarkeitsprüfungen
  3. Theoretische Beiträge:
    • Erste Enthüllung des Dunning-Kruger-Effekts bei LLMs
    • Etablierung eines Wohlfahrtsanalyse-Rahmens für LLM-Exposition
    • Neue Perspektive auf Konfidenz-Kalibrierung
  4. Praktischer Wert:
    • Wichtige Sicherheitsüberlegungen für LLM-Anwendungen
    • Direkte Orientierungshilfe für KI-Systemdesign
    • Wissenschaftliche Grundlage für Regulierungspolitik

Mängel

  1. Aufgaben-Einschränkungen:
    • Nur binäre Auswahlprobleme, möglicherweise nicht vollständig repräsentativ für reale Anwendungsszenarien
    • Relativ einfache Argumentationstypen, mangelnde komplexere mehrstufige Argumentation
  2. Messmethoden:
    • Konfidenz-Messung beruht auf Selbstbericht, möglicherweise anfällig für Prompt-Sensitivität
    • Ähnlichkeitsbewertungs-Algorithmus könnte Subjektivität einführen
  3. Stichproben-Repräsentativität:
    • Menschliche Experimente basieren hauptsächlich auf Online-Plattform-Nutzern
    • Mangel an Vielfalt in verschiedenen kulturellen Hintergründen und Fachbereichen
  4. Langzeiteffekte:
    • Berücksichtigung wiederholter Expositions-Lerneffekte nicht vorhanden
    • Mangel an ökologischer Validität in realen Entscheidungsumgebungen

Einfluss-Bewertung

Akademischer Einfluss

  • Theoretischer Beitrag: Eröffnet neue Richtungen in der LLM-Verhaltensvorurteil-Forschung
  • Methodologischer Wert: Bereitstellung reproduzierbarer experimenteller Paradigmen
  • Interdisziplinäre Bedeutung: Verbindung von KI, Kognitionswissenschaft und Verhaltensökonomie

Praktischer Einfluss

  • Industrielle Anwendung: Beeinflusst LLM-Produktdesign und Bereitstellungsstrategien
  • Bildungswert: Erhöht öffentliches Bewusstsein für KI-Systemlimitierungen
  • Politische Gestaltung: Bereitstellung wissenschaftlicher Grundlagen für KI-Governance

Anwendungsszenarien

  1. Hochrisiko-Entscheidungen: Medizinische Diagnose, Finanzinvestitionen und andere Szenarien, die Genauigkeitsbewertung erfordern
  2. Bildungsanwendungen: Berücksichtigung der Auswirkungen von Überconfidence auf Lerneffektivität
  3. Mensch-Maschine-Zusammenarbeit: Design besserer Konfidenz-Kommunikationsmechanismen
  4. KI-Sicherheit: Entwicklung zuverlässigerer Unsicherheits-Quantifizierungsmethoden

Zukünftige Forschungsrichtungen

  1. Erweiterung von Aufgabentypen: Untersuchung komplexerer Argumentationsaufgaben und offener Fragen
  2. Kulturübergreifende Validierung: Validierung der Universalität der Erkenntnisse in verschiedenen kulturellen Kontexten
  3. Interventionsmechanismen: Entwicklung von Trainings- und Prompt-Methoden zur Reduzierung von Überconfidence
  4. Langzeiteffekte: Untersuchung von Lern- und Anpassungsprozessen in wiederholten Interaktionen
  5. Andere Vorurteile: Systematische Untersuchung anderer kognitiver Vorurteile in LLMs

Literaturverzeichnis

Das Papier zitiert umfangreiche relevante Literatur, einschließlich:

  • Überconfidence-Forschung in der Verhaltensökonomie (Kahneman, 2011; Moore and Healy, 2008)
  • LLM-Kalibrierung und Unsicherheits-Quantifizierung (Tian et al., 2023; Wei et al., 2024)
  • Mensch-Maschine-Interaktion und KI-Vorurteile (Barocas and Selbst, 2016; Rambachan and Roth, 2020)
  • Klassische Forschung zum Dunning-Kruger-Effekt (Kruger and Dunning, 1999)

Diese Studie bietet wichtige Erkenntnisse zum Verständnis und zur Verbesserung der Zuverlässigkeit großer Sprachmodelle und hat tiefgreifende Bedeutung für KI-Sicherheit und Mensch-Maschine-Zusammenarbeit. Durch die Enthüllung des Überconfidence-Problems bei LLMs zeigt die Forschung den Weg zur Entwicklung vertrauenswürdigerer KI-Systeme.