Studies with impossible languages falsify LMs as models of human language
Bowers, Mitchell
According to Futrell and Mahowald [arXiv:2501.17047], both infants and language models (LMs) find attested languages easier to learn than impossible languages that have unnatural structures. We review the literature and show that LMs often learn attested and many impossible languages equally well. Difficult to learn impossible languages are simply more complex (or random). LMs are missing human inductive biases that support language acquisition.
academic
Studien mit unmöglichen Sprachen falsifizieren LMs als Modelle der menschlichen Sprache
Dieses Papier ist ein Kommentar zu Futrell und Mahowald (F&M) bezüglich ihrer Arbeit über Sprachmodelle und menschliches Sprachenlernen. F&M behaupten, dass sowohl Säuglinge als auch Sprachmodelle (LMs) echte Sprachen leichter erlernen als „unmögliche Sprachen" mit nicht-natürlichen Strukturen. Die Autoren zeigen durch eine Literaturübersicht, dass LMs häufig echte Sprachen und viele unmögliche Sprachen gleich leicht erlernen können. Jene unmöglichen Sprachen, die schwer zu erlernen sind, sind lediglich komplexer oder zufälliger. Die Autoren argumentieren, dass LMs die induktiven Verzerrungen (inductive biases) aufweisen, die das menschliche Sprachenlernen unterstützen.
Dieses Papier konzentriert sich auf eine grundlegende theoretische Frage: Sind Sprachmodelle (LMs) angemessene Modelle des menschlichen Sprachenerwerbs?
Das Rätsel der Geschwindigkeit des Sprachenerwerbs: Säuglinge können Sprache mit erstaunlicher Geschwindigkeit erlernen, was eine zentrale Herausforderung für Modelle des Sprachenerwerbs darstellt
Fokus theoretischer Debatten: Chomskys Theorie der Universalgrammatik (Universal Grammar, UG) besagt, dass Menschen angeborene sprachspezifische induktive Verzerrungen besitzen, die nicht nur die Struktur aller echten Sprachen einschränken, sondern Kindern auch ermöglichen, schnell zu lernen
Herausforderung durch LMs: Große Sprachmodelle wie ChatGPT verfügen nicht über menschenähnliches Vorwissen, zeigen aber dennoch hervorragende Leistungen bei verschiedenen Sprachaufgaben, was traditionelle linguistische Theorien in Frage stellt
F&M-Perspektive: Behaupten, dass LMs wie Menschen echte Sprachen leichter erlernen als unmögliche Sprachen, was darauf hindeutet, dass LMs induktive Verzerrungen aufweisen, die mit menschlicher Sprache übereinstimmen
Chomskys Kritik: Argumentiert, dass LMs menschlich mögliche und unmögliche Sprachen gleich leicht erlernen können, was der tiefste Mangel bei ihrer Verwendung als Modell der menschlichen Sprache ist
Divergenzen in der Literaturinterpretation: Unterschiedliche Interpretationen derselben Studien führen zu gegensätzlichen Schlussfolgerungen
Die Autoren zielen darauf ab, durch eine systematische Literaturübersicht die empirischen Belege für die Fähigkeit von LMs, unmögliche Sprachen zu erlernen, zu klären, die Ansicht von F&M in Frage zu stellen und Chomskys Behauptung zu unterstützen, dass LMs menschliche sprachliche induktive Verzerrungen vermissen lassen.
Systematische Literaturübersicht: Umfassende Überprüfung und Neuanalyse neuerer Forschungen zum Erlernen unmöglicher Sprachen durch LMs
Klärung empirischer Belege: Offenlegung von F&Ms Fehlinterpretation bestehender Forschungen und Nachweis, dass LMs tatsächlich viele unmögliche Sprachen leicht erlernen können
Theoretische Differenzierung: Unterscheidung zwischen „schwer zu erlernen" und „strukturell komplex/zufällig", Argumentation, dass schwer zu lernende unmögliche Sprachen lediglich komplexer oder zufälliger sind
Unterstützung von Chomskys Behauptung: Bereitstellung von Belegen dafür, dass LMs die für Menschen charakteristischen sprachlichen Lernverzerrungen vermissen lassen
Methodologische Kritik: Hinweis auf die Anwendbarkeit des „No-Free-Lunch-Theorems", Argumentation, dass schlechte LM-Leistung bei bestimmten Sprachen nicht überraschend ist
Attestierte Sprachen (Attested Languages): Natürliche Sprachen, die von Menschen tatsächlich verwendet werden
Unmögliche Sprachen (Impossible Languages): Künstlich konstruierte Sprachen, die gegen UG-Beschränkungen verstoßen, wie Sprachen mit völlig umgekehrter Wortstellung
Komplexe/zufällige Sprachen: Sprachen ohne Struktur oder mit mehreren zufälligen Regeln
Die Innovation dieses Papiers liegt nicht in technischen Methoden, sondern in der Tiefe der theoretischen Analyse:
Unterscheidung von Sprachtypen: Klare Unterscheidung zwischen „gegen UG verstoßenden unmöglichen Sprachen" und „zufälligen/komplexen Sprachen"
Neuinterpretation empirischer Ergebnisse: Hinweis darauf, dass F&M und andere die Komplexität von Sprachen mit ihrer Möglichkeit verwechseln
Überprüfung theoretischer Konsistenz: Verwendung des „No-Free-Lunch-Theorems" zur Argumentation, dass schlechte LM-Leistung bei bestimmten Sprachen unvermeidlich ist und nicht als Beweis für menschenähnliche induktive Verzerrungen dienen kann
Dieses Papier enthält keine neuen Experimente, sondern eine Neuanalyse veröffentlichter Forschungen. Die Autoren überprüfen systematisch die folgenden Studien:
Obwohl zwei schwer zu lernende unmögliche Sprachen berichtet werden, sind viele unmögliche Sprachen fast so leicht zu erlernen wie Englisch
Einschließlich einer von Mitchell & Bowers (2020) entworfenen unmöglichen Sprache
Die schwierigste zu lernende unmögliche Sprache ist zufällige Wortstellungsvermischung (keine Struktur zum Lernen)
Eine andere schwer zu lernende Sprache ist deterministische zufällige Vermischung (verschiedene Satzlängen verwenden unterschiedliche Vermischungsregeln, was dem Erlernen mehrerer zufälliger Sprachen gleichkommt)
Experimentelles Design: Bewertung der LM-Leistung bei mehreren unmöglichen Sprachen, einschließlich deterministischer Vermischungssprachen
Ergebnisse: Viele unmögliche Sprachen sind leicht zu erlernen, zufällige Vermischungssprachen sind schwierig
Kritik der Autoren: Die Autoren gingen fälschlicherweise davon aus, dass Chomsky vorhersagte, dass LMs zufällige Vermischungssprachen erlernen sollten, aber das Erlernen mehrerer verschiedener zufälliger Sprachen (für verschiedene Satzlängen) ist unter jeder Theorie schwierig
Experimentelles Design: Variation der Plausibilität von Sprachen statt ihrer Unmöglichkeit
Ergebnisse: LMs haben Schwierigkeiten bei einigen implausiblen Sprachen, können aber in anderen Fällen leicht lernen
Von den Autoren bemerkte Probleme: Die Forscher selbst geben zu, dass Fehler bei der Materialkonstruktion zu Rauschen in den kontrafaktischen Korpora führen könnten
Ergebnisse: Berichten von mehreren unmöglichen Sprachen, die LMs leicht erlernen können, einschließlich teilweise umgekehrter Sprachen (Replikation von Mitchell & Bowers, 2020)
Originalsatz (Länge 5): The cat sat on mat
Vermischungsregel1 (Länge 5): cat The on sat mat
Originalsatz (Länge 6): The big cat sat on mat
Vermischungsregel2 (Länge 6): big The sat cat mat on
Analyse: Das Erlernen dieser Sprache entspricht dem Erlernen mehrerer verschiedener zufälliger Zuordnungen, wobei die Komplexität linear mit der Anzahl der Satzlängen wächst. Dies ist kein Test von UG-Verzerrungen, sondern ein Test der Fähigkeit, mehrere willkürliche Zuordnungen zu merken.
Bestimmte Wortstellungsregeln werden systematisch umgekehrt, aber bleiben konsistent.
Ergebnisse: LMs können leicht lernen, was zeigt, dass ihnen die induktiven Verzerrungen fehlen, die diese Sprachklasse ausschließen.
Dieses Papier steht in der Chomskyschen Tradition der Generativen Linguistik und widerlegt durch Neuanalyse empirischer Forschungen die neuesten Argumente des Konnektionismus/statistischen Lernens-Lagers.
Empirische Belege unterstützen F&Ms Ansicht nicht: LMs können häufig echte Sprachen und unmögliche Sprachen gleich leicht erlernen
Schwer zu lernende „unmögliche Sprachen" sind komplex/zufällig: Lernchwierigkeiten stammen aus Komplexität statt UG-Verletzung
LMs vermissen menschliche induktive Verzerrungen: Kombiniert mit Belegen für leicht zu lernende unmögliche Sprachen und niedrige Dateneffizienz, unterscheidet sich das Lernmuster von LMs grundlegend von dem Menschen
„No-Free-Lunch" kann nicht als Unterstützungsbeweis dienen: Schlechte LM-Leistung bei bestimmten Sprachen ist unvermeidlich und kann nicht beweisen, dass sie menschenähnliche Verzerrungen besitzt
LMs sind kein angemessenes Modell des menschlichen Sprachenerwerbs: Die aktuelle Lernweise von LMs ist genau das, was man von Modellen ohne angeborene menschliche sprachliche Verzerrungen erwarten würde
Verwendet Falsifizierungslogik: Erfolgreiches Erlernen unmöglicher Sprachen falsifiziert LMs als Modell des menschlichen Lernens
Weist auf die Asymmetrie der gegnerischen Argumentation hin: Schwierigkeit bei bestimmten Sprachen kann nicht beweisen, dass menschenähnliche Verzerrungen vorhanden sind
Verschwommene Definition von „unmöglichen Sprachen": Verschiedene Studien verwenden unterschiedliche Definitionen, das Papier diskutiert dies nicht ausreichend
Kriterien für „leicht" vs. „schwer" zu lernen: Keine klaren quantitativen Standards gegeben
Messung von „Komplexität": Wie quantifiziert man die Komplexität einer Sprache?
Argumentation zu deterministischen Vermischungssprachen: Obwohl ihre Komplexität aufgezeigt wird, ist fraglich, ob diese Komplexität völlig unabhängig von UG-Verletzungen ist
Anwendbarkeit des „No-Free-Lunch"-Theorems: Dieses Theorem gilt für Optimierungsprobleme, seine direkte Anwendung auf Sprachenlernprobleme benötigt mehr Argumentation
Unberücksichtigte alternative Erklärungen: LMs könnten andere Arten induktiver Verzerrungen haben (wie lokale Präferenz), nur nicht UG
Dies ist ein theoretisch klar positioniertes, logisch streng argumentiertes, aber empirisch relativ schwach fundiertes Kommentarpapier. Die Autoren stellen durch tiefe Literaturanalyse die Ansicht, dass „LMs menschenähnliche sprachliche induktive Verzerrungen besitzen", wirksam in Frage und unterstützen Chomskys traditionelle linguistische Position.
Der größte Wert liegt in seiner Konzeptklärung (Unterscheidung zwischen Komplexität und Unmöglichkeit) und logischen Analyse (Anwendung von Falsifizierungslogik und „No-Free-Lunch-Theorem"), was wichtige methodologische Beiträge zum Forschungsbereich leistet.
Die Haupteinschränkung liegt im Fehlen neuer empirischer Daten und tieferer Analyse der internen Mechanismen von LMs. Als Kommentarpapier ist dies verständlich, begrenzt aber auch seine Überzeugungskraft.
Dieses Papier wird tiefere Diskussionen über die Natur von LMs in Linguistik und AI fördern, strengeres experimentelles Design fördern, wird aber wahrscheinlich nicht sofort die grundlegenden Positionen beider Lager verändern. Die Lösung dieser Debatte erfordert möglicherweise mehr empirische Forschung, präzisere theoretische Rahmen und möglicherweise unabhängige Belege aus der Neurowissenschaft.