2025-11-18T11:46:20.272494

Do Large Language Models Show Biases in Causal Learning? Insights from Contingency Judgment

Carro, Mester, Selasco et al.
Causal learning is the cognitive process of developing the capability of making causal inferences based on available information, often guided by normative principles. This process is prone to errors and biases, such as the illusion of causality, in which people perceive a causal relationship between two variables despite lacking supporting evidence. This cognitive bias has been proposed to underlie many societal problems, including social prejudice, stereotype formation, misinformation, and superstitious thinking. In this work, we examine whether large language models are prone to developing causal illusions when faced with a classic cognitive science paradigm: the contingency judgment task. To investigate this, we constructed a dataset of 1,000 null contingency scenarios (in which the available information is not sufficient to establish a causal relationship between variables) within medical contexts and prompted LLMs to evaluate the effectiveness of potential causes. Our findings show that all evaluated models systematically inferred unwarranted causal relationships, revealing a strong susceptibility to the illusion of causality. While there is ongoing debate about whether LLMs genuinely understand causality or merely reproduce causal language without true comprehension, our findings support the latter hypothesis and raise concerns about the use of language models in domains where accurate causal reasoning is essential for informed decision-making.
academic

Zeigen große Sprachmodelle Verzerrungen beim kausalen Lernen? Erkenntnisse aus der Kontingenzbeurteilung

Grundinformationen

  • Paper-ID: 2510.13985
  • Titel: Do Large Language Models Show Biases in Causal Learning? Insights from Contingency Judgment
  • Autoren: María Victoria Carro, Denise Alejandra Mester, Francisca Gauna Selasco, Giovanni Franco Gabriel Marraffini, Mario Alejandro Leiva, Gerardo I. Simari, María Vanina Martinez
  • Klassifizierung: cs.AI
  • Veröffentlichungskonferenz: 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: First Workshop on CogInterp
  • Paper-Link: https://arxiv.org/abs/2510.13985

Zusammenfassung

Kausales Lernen ist ein kognitiver Prozess der Kausalschlussfolgerung auf Grundlage verfügbarer Informationen, der normalerweise normativen Prinzipien folgt. Dieser Prozess ist anfällig für Fehler und Verzerrungen, wie beispielsweise kausale Illusionen, bei denen Menschen eine Kausalbeziehung zwischen zwei Variablen wahrnehmen, ohne dass unterstützende Evidenz vorhanden ist. Diese kognitiven Verzerrungen gelten als Wurzel vieler sozialer Probleme, einschließlich sozialer Vorurteile, Stereotypenbildung, Desinformation und abergläubisches Denken. Diese Studie untersucht mittels eines klassischen Paradigmas der kognitiven Wissenschaft – der Kontingenzbeurteilungsaufgabe – ob große Sprachmodelle anfällig für kausale Illusionen sind. Die Studie konstruiert einen Datensatz von 1000 Szenarien mit Null-Kontingenz (bei denen die verfügbaren Informationen nicht ausreichen, um eine Kausalbeziehung zwischen Variablen herzustellen) und veranlasst LLMs, die Gültigkeit potenzieller Ursachen in einem medizinischen Kontext zu bewerten. Die Studie zeigt, dass alle bewerteten Modelle systematisch unangemessene Kausalbeziehungen ableiten und eine starke Anfälligkeit für kausale Illusionen aufweisen.

Forschungshintergrund und Motivation

Problemdefinition

Die Kernfrage dieser Studie lautet: Zeigen große Sprachmodelle bei klassischen Paradigmen der kognitiven Wissenschaft ähnliche kausale Illusionsverzerrungen wie Menschen?

Bedeutung

  1. Gesellschaftliche Auswirkungen: Kausale Illusionen sind die Wurzel sozialer Vorurteile, Stereotypenbildung, Desinformationsverbreitung und abergläubischen Denkens
  2. Praktische Anwendungen: In kritischen Bereichen wie der Medizin ist eine genaue Kausalschlussfolgerung für fundierte Entscheidungen von entscheidender Bedeutung
  3. KI-Sicherheit: Mit der weit verbreiteten Anwendung von LLMs in Entscheidungssystemen wird das Verständnis ihrer kognitiven Verzerrungen äußerst wichtig

Bestehende Einschränkungen

  1. Mangel an systematischer Bewertung der Leistung von LLMs bei Kontingenzbeurteilungsaufgaben
  2. Kontroverse darüber, ob LLMs Kausalbeziehungen wirklich "verstehen" oder nur kausale Sprache nachahmen
  3. Bestehende Forschung konzentriert sich hauptsächlich auf fehlerhafte Schlussfolgerungen von Korrelation zu Kausalität, nicht auf kausale Illusionen in Null-Kontingenz-Szenarien

Forschungsmotivation

Durch die Bewertung der Kausalschlussfolgerungsfähigkeit von LLMs mittels klassischer Kontingenzbeurteilungsaufgaben werden empirische Erkenntnisse zum Verständnis ihrer kognitiven Verzerrungen bereitgestellt.

Kernbeiträge

  1. Erste Anpassung der Kontingenzbeurteilungsaufgabe an LLMs: Dies ist die erste Studie, die das klassische Kontingenzbeurteilungsparadigma aus der experimentellen Psychologie auf große Sprachmodelle anwendet
  2. Konstruktion eines großflächigen Null-Kontingenz-Szenario-Datensatzes: Erstellung von 1000 Szenarien mit Null-Kontingenz im medizinischen Kontext mit vier Variablentypen
  3. Entdeckung universeller kausaler Illusionen in LLMs: Alle bewerteten Modelle leiten systematisch Kausalbeziehungen in Null-Kontingenz-Szenarien ab
  4. Offenlegung inkonsistenter Kausalbeurteilungsstandards zwischen Modellen: Verschiedene Modelle verwenden unterschiedliche Standards für Kausalschlussfolgerung und zeigen mangelnde Konsistenz

Methodische Erläuterung

Aufgabendefinition

Die Kontingenzbeurteilungsaufgabe ist ein klassisches Paradigma in der kognitiven Wissenschaft zur Bewertung des kausalen Lernens:

  • Eingabe: Eine Reihe von Versuchen, wobei jeder Versuch eine potenzielle Ursache (vorhanden/abwesend) und ein Ergebnis (tritt auf/tritt nicht auf) enthält
  • Ausgabe: Eine Bewertung der Gültigkeit der potenziellen Ursache (0-100 Punkte, wobei 0 bedeutet unwirksam und 100 bedeutet vollständig wirksam)
  • Null-Kontingenz-Bedingung: Die Wahrscheinlichkeit des Ergebnisses ist unabhängig davon, ob die Ursache vorhanden ist

Experimentelles Design

Datensatzkonstruktion

  1. Variablentypen (4 Kategorien, insgesamt 100 Variablenpaare):
    • Fiktive Krankheits- und Behandlungsnamen (z.B. "Glimber-Medikament" und "Drizzlemorn-Störung")
    • Unsichere Variablen (z.B. "Krankheit X" und "Medikament Y")
    • Alternative Medizin- und Pseudomedizin-Variablen (z.B. "Akupunktur-Prozess")
    • Validierte wissenschaftliche Medikamente (z.B. "Paracetamol")
  2. Szenariogenerierung:
    • 1000 Null-Kontingenz-Szenarien
    • 20-100 Versuche pro Szenario
    • 80/20-Verteilung zur Gewährleistung der Null-Kontingenz

Experimentelle Bedingungen

  1. Temperatureinstellungen:
    • Experiment 1: Temperatur = 1, 10 Wiederholungen pro Szenario
    • Experiment 2: Temperatur = 0 (deterministisch)
    • Experiment 3: Standardtemperatureinstellung
  2. Bewertete Modelle:
    • GPT-4o-Mini
    • Claude-3.5-Sonnet
    • Gemini-1.5-Pro

Technische Innovationen

  1. Aufgabenanpassung: Anpassung der sequenziellen Präsentationsmethode aus menschlichen kognitiven Experimenten an ein natürlichsprachiges Listenformat
  2. Rollengestaltung: Erhöhung der Aufgabenrealität durch Rollenspiel (Arzt, Forscher)
  3. Variablenkontrolle: Strikte Kontrolle der Null-Kontingenz-Bedingung zur Gewährleistung der internen Validität des Experiments

Experimentelle Einrichtung

Datensatzdetails

  • Umfang: 1000 Null-Kontingenz-Szenarien
  • Anzahl der Versuche: 20-100 Versuche pro Szenario
  • Variablenpaare: 100 medizinisch relevante Variablenpaare
  • Verteilungskontrolle: 80/20-Verteilung zur Gewährleistung der Null-Kontingenz

Bewertungsmetriken

  • Hauptmetrik: Gültigkeitsbewertung auf einer 0-100-Skala
  • Statistische Tests:
    • Wilcoxon-Einstichproben-Test (Test auf Abweichung von 0)
    • Friedman-Test (Vergleich der Unterschiede zwischen Modellen)
    • Cochran's Q-Test (Vergleich der Wahrscheinlichkeit von Null-Antworten)

Implementierungsdetails

  • Prompt-Engineering: Auf Grundlage bewährter Praktiken der experimentellen Psychologie
  • Wiederholte Experimente: Mehrere Temperatureinstellungen zur Gewährleistung der Robustheit der Ergebnisse
  • Statistische Analyse: Verwendung nichtparametrischer Tests zur Behandlung nicht-normaler Verteilungen

Experimentelle Ergebnisse

Hauptergebnisse

Statistische Ergebnisse unter der Bedingung Temperatur = 1:

ModellMittelwertMedianStandardabweichung
GPT-4o-Mini75,7475,711,41
Claude-3.5-Sonnet40,5450,019,67
Gemini-1.5-Pro33,0745,023,72

Schlüsselfunde:

  1. Universelle Existenz kausaler Illusionen: Die Mediane aller Modelle sind signifikant größer als 0 (p < 0,001)
  2. Äußerst niedriger Anteil von Null-Antworten:
    • GPT-4o-Mini: 0%
    • Claude-3.5-Sonnet: 4,6%
    • Gemini-1.5-Pro: 20,5%
  3. Signifikante Unterschiede zwischen Modellen: Der Friedman-Test zeigt signifikante Unterschiede zwischen Modellen (χ² = 1516,99, p < 0,001)

Analyse über Variablentypen hinweg

Die experimentellen Ergebnisse zeigen, dass Modelle keine signifikanten Unterschiede in den Kausalbeurteilungen zwischen verschiedenen Variablentypen (fiktiv, unsicher, alternative Medizin, traditionelle Medizin) aufweisen und sogar dazu neigen, fiktiven Variablen höhere Bewertungen zu geben.

Vergleich der Temperatureinstellungen

Bei Temperatur = 0 und Standardtemperatureinstellungen bleiben die experimentellen Ergebnisse konsistent, was die Robustheit der Ergebnisse unterstreicht.

Verwandte Arbeiten

Bewertung der Kausalschlussfolgerung

  • Gao et al. (2023): Bewertung der Kausalschlussfolgerungsfähigkeit von LLMs
  • Liu et al. (2023): Kausalschlussfolgerung im Code-Bereich
  • Jin et al. (2024): Schlussfolgerung von Korrelation zu Kausalität

Forschung zu kognitiven Verzerrungen

  • Keshmirian et al. (2024): Verzerrte Kausalbeurteilungen in LLMs
  • Carro et al. (2024): Korrelations-Kausalitäts-Übertreibung in Nachrichtenschlagzeilen
  • Jin et al. (2022): Erkennung logischer Fehlschlüsse

Einzigartigkeit dieser Arbeit

Diese Studie ist die erste, die die Kontingenzbeurteilungsaufgabe auf LLMs anwendet und füllt damit eine wichtige Lücke zwischen kognitiver Wissenschaft und KI-Bewertung.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Universelle Existenz kausaler Illusionen in LLMs: Alle bewerteten Modelle leiten systematisch Kausalbeziehungen in Null-Kontingenz-Szenarien ab
  2. Mangel an einheitlichen Kausalbeurteilungsstandards: Verschiedene Modelle verwenden unterschiedliche Beurteilungsstandards
  3. Unterstützung der "Sprachnachahmungs"-Hypothese: Die Ergebnisse unterstützen die Hypothese, dass LLMs nur kausale Sprache nachahmen, anstatt Kausalbeziehungen wirklich zu verstehen

Einschränkungen

  1. Fehlende menschliche Baseline: Keine entsprechenden menschlichen Experimente als Vergleichsmaßstab
  2. Begrenzte externe Validität: Obwohl das experimentelle Design bewährten psychologischen Praktiken folgt, kann es möglicherweise nicht vollständig reale Nutzungsszenarien repräsentieren
  3. Bewertungsverzerrung: LLMs können eine Verzerrung bei der Reaktion auf Extremwerte aufweisen
  4. Probleme mit der internen Validität: Die 0-100-Bewertungsskala ist möglicherweise nicht das beste Format für die KI-Bewertung

Zukünftige Richtungen

  1. Prompt-Techniken: Erforschung der Wirksamkeit von Prompt-Techniken wie Chain-of-Thought
  2. Diversifizierte Szenarien: Einbeziehung von positiven und negativen Kontingenz-Szenarien
  3. Versuchsreihenfolge-Effekte: Untersuchung des Einflusses der Versuchspräsentationsreihenfolge auf die Ergebnisse
  4. Alternative Aufgabenformate: Verwendung binärer oder mehrklassiger Klassifizierungsformate

Tiefgreifende Bewertung

Stärken

  1. Hohe Innovativität: Erste Anwendung eines klassischen kognitiven Wissenschaftsparadigmas auf die LLM-Bewertung
  2. Rigorose Methodik: Das experimentelle Design folgt bewährten psychologischen Praktiken mit umfassender statistischer Analyse
  3. Konsistente Ergebnisse: Die Ergebnisse bleiben über verschiedene Temperatureinstellungen hinweg konsistent und erhöhen die Glaubwürdigkeit der Ergebnisse
  4. Praktische Bedeutung: Wichtige Warnung für KI-Sicherheit und Anwendungen

Mängel

  1. Begrenzte Stichprobe: Nur drei Modelle wurden bewertet, könnten auf mehr Modelle erweitert werden
  2. Domänenbeschränkung: Nur im medizinischen Bereich getestet, Generalisierbarkeit auf andere Bereiche unbekannt
  3. Unzureichende Mechanismusanalyse: Mangel an Analyse der tieferen Mechanismen, die zu Verzerrungen führen
  4. Fehlende Lösungen: Keine spezifischen Methoden zur Verringerung kausaler Illusionen bereitgestellt

Auswirkungen

  1. Akademischer Wert: Bietet einen neuen Bewertungsrahmen für die Forschung zu kognitiven Verzerrungen in der KI
  2. Praktischer Wert: Warnt vor Vorsicht bei der Verwendung von LLMs in kritischen Entscheidungsbereichen
  3. Reproduzierbarkeit: Vollständiger Code und Daten werden bereitgestellt, um Reproduktion und Erweiterung zu ermöglichen

Anwendungsszenarien

Diese Forschung ist besonders geeignet für:

  1. KI-Sicherheitsbewertung: Bewertung kognitiver Verzerrungen von KI-Systemen
  2. Medizinische KI-Anwendungen: Risikobewertung in medizinischen Entscheidungssystemen
  3. Bildung und Schulung: Erhöhung des Bewusstseins für die Grenzen der KI

Literaturverzeichnis

Diese Studie zitiert wichtige Literatur aus den Bereichen kognitiver Wissenschaft, experimenteller Psychologie und KI-Bewertung, insbesondere die grundlegende Arbeit von Matute et al. (2015) zu kausalen Illusionen sowie aktuelle Forschungen zur Kausalschlussfolgerungsfähigkeit von LLMs.

Gesamtbewertung: Dies ist ein hochqualitatives interdisziplinäres Forschungspapier, das erfolgreich ein klassisches Paradigma der kognitiven Wissenschaft auf die KI-Bewertung anwendet und wichtige Mängel in der Kausalschlussfolgerung von LLMs offenlegt. Die Forschungsmethodik ist rigoros, die Ergebnisse haben wichtige theoretische und praktische Bedeutung und bieten wertvolle Erkenntnisse für zukünftige KI-Sicherheitsforschung.