Studies with impossible languages falsify LMs as models of human language
Bowers, Mitchell
According to Futrell and Mahowald [arXiv:2501.17047], both infants and language models (LMs) find attested languages easier to learn than impossible languages that have unnatural structures. We review the literature and show that LMs often learn attested and many impossible languages equally well. Difficult to learn impossible languages are simply more complex (or random). LMs are missing human inductive biases that support language acquisition.
academic
Studi con lingue impossibili falsificano i modelli linguistici come modelli del linguaggio umano
Questo articolo è un commento al lavoro di Futrell e Mahowald (F&M) riguardante i modelli linguistici e l'apprendimento linguistico umano. F&M sostengono che sia i neonati che i modelli linguistici (LMs) trovano i linguaggi reali più facili da imparare rispetto alle "lingue impossibili" con strutture non naturali. Gli autori, attraverso una revisione della letteratura, dimostrano che i modelli linguistici spesso riescono ad imparare altrettanto facilmente sia i linguaggi reali che molte lingue impossibili. Le lingue impossibili difficili da imparare sono semplicemente più complesse o casuali. Gli autori sostengono che i modelli linguistici mancano dei pregiudizi induttivi (inductive biases) che supportano l'acquisizione linguistica umana.
Questo articolo si concentra su una questione teorica fondamentale: i modelli linguistici (LMs) sono modelli appropriati per l'acquisizione linguistica umana?
Il mistero della velocità dell'acquisizione linguistica: i neonati riescono ad imparare il linguaggio a una velocità straordinaria, il che rappresenta la sfida centrale per i modelli di acquisizione linguistica
Fulcro del dibattito teorico: la teoria della Grammatica Universale (Universal Grammar, UG) di Chomsky sostiene che gli esseri umani possiedono pregiudizi induttivi linguistici innati, che non solo vincolano la struttura di tutti i linguaggi reali, ma consentono anche ai bambini di imparare rapidamente
La sfida dei modelli linguistici: modelli linguistici di grandi dimensioni come ChatGPT mancano di conoscenze precedenti simili a quelle umane, eppure mostrano prestazioni eccellenti in vari compiti linguistici, il che mette in discussione le teorie linguistiche tradizionali
La prospettiva di F&M: sostengono che i modelli linguistici, come gli esseri umani, trovano i linguaggi reali più facili da imparare rispetto alle lingue impossibili, suggerendo che i modelli linguistici possiedono pregiudizi induttivi allineati con il linguaggio umano
La critica di Chomsky: sostiene che i modelli linguistici riescono ad imparare altrettanto facilmente sia i linguaggi possibili che quelli impossibili per gli esseri umani, il che rappresenta il difetto più profondo come modello del linguaggio umano
Divergenza nell'interpretazione della letteratura: interpretazioni diverse degli stessi studi portano a conclusioni opposte
Gli autori mirano a chiarire, attraverso una revisione sistematica della letteratura, le prove empiriche riguardanti la capacità dei modelli linguistici di imparare lingue impossibili, sfidando il punto di vista di F&M e supportando l'affermazione di Chomsky secondo cui i modelli linguistici mancano dei pregiudizi induttivi linguistici umani.
Revisione sistematica della letteratura: revisione e rianalisi completa di ricerche recenti sull'apprendimento di lingue impossibili da parte dei modelli linguistici
Chiarimento delle prove empiriche: rivela le interpretazioni errate di F&M della ricerca esistente, indicando che i modelli linguistici possono effettivamente imparare facilmente molte lingue impossibili
Analisi teorica: distingue tra "difficile da imparare" e "strutturalmente complesso/casuale", sostenendo che le lingue impossibili difficili da imparare sono semplicemente più complesse o casuali
Supporto dell'affermazione di Chomsky: fornisce prove che i modelli linguistici mancano dei pregiudizi induttivi linguistici specifici umani
Critica metodologica: indica l'applicabilità del "teorema del pranzo gratuito", sostenendo che le prestazioni scadenti dei modelli linguistici in alcuni linguaggi non sono sorprendenti
Linguaggi Reali (Attested Languages): linguaggi naturali effettivamente utilizzati dagli esseri umani
Lingue Impossibili (Impossible Languages): linguaggi artificiali costruiti che violano i vincoli della Grammatica Universale, come linguaggi con ordine delle parole completamente invertito
Linguaggi Complessi/Casuali: linguaggi privi di struttura o contenenti molteplici regole casuali
Previsione di Chomsky: se i modelli linguistici mancano di UG, dovrebbero riuscire ad imparare altrettanto facilmente le lingue impossibili
Controreplica di F&M: sostengono che i modelli linguistici mostrano preferenze di apprendimento coerenti con gli esseri umani
"Teorema del Pranzo Gratuito": qualsiasi algoritmo di apprendimento che funziona bene su una classe di dati deve necessariamente funzionare male su altri dati
L'innovazione di questo articolo non risiede nei metodi tecnici, ma nella profondità dell'analisi teorica:
Distinzione dei tipi di linguaggio: distingue chiaramente tra "lingue impossibili che violano UG" e "linguaggi casuali/complessi"
Reinterpretazione dei risultati empirici: indica come F&M e altri hanno confuso la complessità del linguaggio con la possibilità del linguaggio
Verifica della coerenza teorica: utilizza il "teorema del pranzo gratuito" per sostenere che le prestazioni scadenti dei modelli linguistici in alcuni linguaggi sono inevitabili e non possono essere utilizzate come prove a supporto del fatto che possiedono pregiudizi induttivi simili a quelli umani
Questo articolo non contiene nuovi esperimenti, ma è una rianalisi di ricerche già pubblicate. Gli autori hanno revisionato sistematicamente i seguenti studi:
Progettazione sperimentale: test della capacità dei modelli linguistici di imparare l'inglese e vari linguaggi impossibili
Interpretazione di F&M: i modelli linguistici imparano sempre il testo inglese reale più velocemente dei linguaggi impossibili di base
Rianalisi degli autori:
Sebbene siano stati segnalati due linguaggi impossibili difficili da imparare, molti linguaggi impossibili sono quasi altrettanto facili da imparare quanto l'inglese
Incluso un linguaggio impossibile progettato da Mitchell & Bowers (2020)
Il linguaggio impossibile più difficile da imparare è lo shuffling casuale dell'ordine delle parole (nessuna struttura da imparare)
Un altro linguaggio difficile è lo shuffling casuale deterministico (utilizza diverse regole di shuffling per diverse lunghezze di frase, equivalente ad imparare più linguaggi casuali)
Progettazione sperimentale: valutazione delle prestazioni dei modelli linguistici su vari linguaggi impossibili, inclusi linguaggi con shuffling deterministico
Scoperte: molti linguaggi impossibili sono facili da imparare, i linguaggi con shuffling casuale sono difficili
Critica degli autori: gli autori hanno erroneamente ritenuto che Chomsky prevedesse che i modelli linguistici dovrebbero riuscire ad imparare linguaggi con shuffling casuale, ma imparare molteplici linguaggi casuali diversi (per diverse lunghezze di frase) è difficile in qualsiasi teoria
Progettazione sperimentale: variazione della plausibilità del linguaggio piuttosto che dell'impossibilità
Scoperte: i modelli linguistici hanno difficoltà con alcuni linguaggi implausibili, ma in altri casi imparano facilmente
Nota degli autori: i ricercatori stessi hanno ammesso che la costruzione del materiale potrebbe contenere errori, portando ad un aumento del rumore nei corpus contraffattuali
Scoperte: hanno segnalato vari linguaggi impossibili che i modelli linguistici riescono ad imparare facilmente, inclusi linguaggi parzialmente invertiti (replicando i risultati di Mitchell & Bowers, 2020)
Gli autori citano la teoria di Wolpert & Macready (2002):
Concetto centrale: qualsiasi algoritmo di apprendimento che funziona bene su una classe di dati deve necessariamente funzionare male su altri dati
Implicazione: le prestazioni scadenti dei modelli linguistici su alcuni linguaggi (come lo shuffling casuale) sono inevitabili e non richiedono conferma empirica
Distinzione chiave: prestazioni scadenti su alcuni linguaggi ≠ possesso di pregiudizi induttivi simili a quelli umani
Logica di falsificazione: l'apprendimento riuscito di alcuni linguaggi impossibili falsifica l'idea che i modelli linguistici siano modelli appropriati dell'apprendimento linguistico umano
Frase originale (lunghezza 5): The cat sat on mat
Regola shuffling 1 (lunghezza 5): cat The on sat mat
Frase originale (lunghezza 6): The big cat sat on mat
Regola shuffling 2 (lunghezza 6): big The sat cat mat on
Analisi: imparare questo linguaggio equivale ad imparare molteplici diverse mappature casuali, con la complessità che cresce linearmente con il numero di lunghezze di frase. Questo non è un test dei pregiudizi UG, ma un test della capacità di memorizzare molteplici mappature arbitrarie.
Alcune regole di ordine delle parole sono sistematicamente invertite, ma mantengono la coerenza.
Scoperta: i modelli linguistici riescono ad imparare facilmente, indicando che mancano dei pregiudizi induttivi che escludono questo tipo di linguaggio.
Questo articolo si posiziona dalla parte della tradizione linguistica di Chomsky, confutando attraverso la rianalisi della ricerca empirica gli ultimi argomenti del fronte connessionista/apprendimento statistico.
Le prove empiriche non supportano il punto di vista di F&M: i modelli linguistici spesso riescono ad imparare altrettanto facilmente sia i linguaggi reali che quelli impossibili
Le "lingue impossibili" difficili da imparare sono complesse/casuali: la difficoltà di apprendimento deriva dalla complessità piuttosto che dalla violazione di UG
I modelli linguistici mancano dei pregiudizi induttivi umani: combinando le prove di facile apprendimento di linguaggi impossibili e bassa efficienza dei dati, i modelli di apprendimento dei modelli linguistici sono fondamentalmente diversi da quelli umani
Il "pranzo gratuito" non può essere utilizzato come prova a supporto: le prestazioni scadenti dei modelli linguistici su alcuni linguaggi sono inevitabili e non possono provare che possiedono pregiudizi simili a quelli umani
I modelli linguistici non sono modelli appropriati dell'acquisizione linguistica umana: il modo in cui i modelli linguistici attuali imparano è esattamente quello che ci si aspetterebbe dalla mancanza di pregiudizi linguistici innati umani
Validità ecologica dei linguaggi impossibili: i linguaggi artificiali costruiti potrebbero non catturare completamente i vincoli di UG
Diversità dei modelli linguistici: diversi modelli linguistici con architetture diverse potrebbero mostrare prestazioni diverse, ma l'articolo non distingue sufficientemente
Problemi di misurazione: come misurare accuratamente la "difficoltà di apprendimento" rimane controverso
Definizione vaga di "linguaggio impossibile": diverse ricerche utilizzano definizioni diverse, e l'articolo non affronta sufficientemente questo problema
Standard per "facile" vs "difficile": nessuno standard quantitativo esplicito fornito
Misurazione della "complessità": come quantificare la complessità di un linguaggio?
Argomentazione sul linguaggio con shuffling deterministico: sebbene indichi la sua complessità, se questa complessità sia completamente indipendente dalla violazione di UG rimane discutibile
Applicabilità del "teorema del pranzo gratuito": questo teorema si applica ai problemi di ottimizzazione, e l'applicazione diretta all'apprendimento linguistico richiede ulteriori argomentazioni
Mancata considerazione di spiegazioni alternative: i modelli linguistici potrebbero avere altri tipi di pregiudizi induttivi (come la preferenza per la località), solo diversi da UG
Posizione esplicita: chiaramente dalla parte di Chomsky, il che potrebbe influenzare l'obiettività
Critiche più severe alla ricerca dell'avversario: come indicare "interpretazione errata", "errore", ecc., il tono del dibattito accademico potrebbe essere più mite
Implicazioni per la ricerca sull'IA: la comprensione dei pregiudizi induttivi dei modelli linguistici ha valore nel miglioramento dei modelli
Implicazioni per l'educazione: se i modelli linguistici imparano diversamente dagli esseri umani, non possono essere direttamente utilizzati per simulare l'insegnamento linguistico
Alta: l'articolo è principalmente una revisione della letteratura, tutti gli studi citati sono già pubblicati, e i lettori possono verificare l'analisi dell'autore
Questo è un articolo di commento con posizione teorica esplicita, argomentazione logica rigorosa, ma base empirica relativamente debole. Gli autori, attraverso un'analisi approfondita della letteratura esistente, sfidano efficacemente il punto di vista secondo cui "i modelli linguistici possiedono pregiudizi induttivi linguistici simili a quelli umani", supportando la posizione della linguistica tradizionale di Chomsky.
Il valore massimo risiede nella sua chiarificazione concettuale (distinzione tra complessità e impossibilità) e analisi logica (applicazione della logica di falsificazione e del "teorema del pranzo gratuito"), che hanno importanti contributi metodologici al campo.
La limitazione principale è la mancanza di nuovi dati empirici e l'analisi approfondita dei meccanismi interni dei modelli linguistici. Come articolo di commento, questo è comprensibile, ma limita anche il suo potere persuasivo.
Questo articolo promuoverà discussioni approfondite sulla natura dei modelli linguistici nei campi della linguistica e dell'IA, spingendo la progettazione di esperimenti più rigorosi, ma potrebbe non cambiare immediatamente le posizioni fondamentali dei due schieramenti. La risoluzione di questo dibattito probabilmente richiederà più ricerca empirica, quadri teorici più precisi, e possibilmente prove indipendenti dalle neuroscienze.