Les études avec des langues impossibles réfutent les modèles de langage comme modèles du langage humain

Informations de base

• ID de l'article: 2511.11389
• Titre: Studies with impossible languages falsify LMs as models of human language
• Auteurs: Jeffrey S. Bowers (Université de Bristol), Jeff Mitchell (Université du Sussex)
• Classification: cs.CL (Linguistique computationnelle)
• Type d'article: Commentaire sur Futrell & Mahowald (à paraître), Behavioural and Brain Sciences
• Lien de l'article: https://arxiv.org/abs/2511.11389

Résumé

Cet article est un commentaire sur l'article de Futrell et Mahowald (F&M) concernant les modèles de langage et l'apprentissage du langage chez l'humain. F&M affirment que les nourrissons et les modèles de langage (LMs) trouvent tous deux que les langues réelles sont plus faciles à apprendre que les « langues impossibles » possédant des structures non naturelles. Les auteurs, par le biais d'une revue de littérature, démontrent que les LMs peuvent souvent apprendre tout aussi facilement les langues réelles et de nombreuses langues impossibles. Les langues impossibles difficiles à apprendre sont simplement plus complexes ou aléatoires. Les auteurs soutiennent que les LMs manquent des biais inductifs (inductive biases) qui soutiennent l'acquisition du langage chez l'humain.

Contexte et motivation de la recherche

Problème central

Cet article se concentre sur une question théorique fondamentale : Les modèles de langage (LMs) constituent-ils un modèle approprié de l'acquisition du langage chez l'humain ?

Importance de la question

1. L'énigme de la vitesse d'acquisition du langage : Les nourrissons peuvent apprendre le langage à une vitesse remarquable, ce qui constitue le défi central pour les modèles d'acquisition du langage
2. Point focal du débat théorique : La théorie de la grammaire universelle (Universal Grammar, UG) de Chomsky affirme que les humains possèdent des biais inductifs innés spécifiques au langage, qui non seulement contraignent la structure de toutes les langues réelles, mais permettent aussi aux enfants d'apprendre rapidement
3. Défi posé par les LMs : Les grands modèles de langage tels que ChatGPT, dépourvus de connaissances préalables semblables à celles des humains, démontrent néanmoins d'excellentes performances sur diverses tâches linguistiques, remettant en question les théories linguistiques traditionnelles

Limitations des approches existantes

1. Point de vue de F&M : Affirment que les LMs, tout comme les humains, trouvent les langues réelles plus faciles à apprendre que les langues impossibles, suggérant que les LMs possèdent des biais inductifs alignés avec le langage humain
2. Critique de Chomsky : Affirme que les LMs peuvent apprendre tout aussi facilement les langues possibles et impossibles pour les humains, ce qui constitue le défaut le plus profond en tant que modèle du langage humain
3. Divergence dans l'interprétation de la littérature : Des interprétations différentes des mêmes études conduisent à des conclusions opposées

Motivation de la recherche

Les auteurs visent à clarifier, par le biais d'une revue systématique de la littérature, les preuves empiriques concernant la capacité des LMs à apprendre les langues impossibles, à contester le point de vue de F&M et à soutenir l'affirmation de Chomsky selon laquelle les LMs manquent des biais inductifs linguistiques humains.

Contributions principales

1. Revue systématique de la littérature : Examen complet et réanalyse des recherches récentes sur l'apprentissage des langues impossibles par les LMs
2. Clarification des preuves empiriques : Révélation de la mauvaise interprétation par F&M des recherches existantes, montrant que les LMs peuvent en réalité apprendre facilement de nombreuses langues impossibles
3. Analyse théorique : Distinction entre « difficile à apprendre » et « structure complexe/aléatoire », arguant que les langues impossibles difficiles à apprendre sont simplement plus complexes ou aléatoires
4. Soutien de l'affirmation de Chomsky : Fourniture de preuves montrant que les LMs manquent des biais inductifs d'apprentissage linguistique spécifiquement humains
5. Critique méthodologique : Indication de l'applicabilité du « théorème du déjeuner gratuit », arguant que la mauvaise performance des LMs sur certaines langues n'est pas surprenante

Explication détaillée de la méthode

Définition de la tâche

Cet article ne propose pas de nouvelle méthode, mais plutôt une revue critique de la littérature. La tâche centrale consiste à :

• Entrée : Recherches empiriques récentes sur l'apprentissage des langues impossibles par les LMs
• Sortie : Réinterprétation systématique et analyse théorique de ces recherches
• Objectif : Évaluer si les LMs ont réellement autant de difficultés à apprendre les langues impossibles que les humains

Cadre d'analyse

1. Définition des langues impossibles

• Langues attestées (Attested Languages) : Langues naturelles réellement utilisées par les humains
• Langues impossibles (Impossible Languages) : Langues construites artificiellement violant les contraintes de la grammaire universelle, comme les langues avec un ordre des mots complètement inversé
• Langues complexes/aléatoires : Langues manquant de structure ou contenant plusieurs règles aléatoires

2. Critères d'évaluation

Les auteurs emploient les critères suivants pour évaluer la performance d'apprentissage des LMs :

• Vitesse d'apprentissage : Quantité de données d'entraînement requises par les LMs pour apprendre différents types de langues
• Performance finale : Performance finale atteinte par les LMs sur différentes langues
• Analyse comparative : Langues réelles vs. langues impossibles vs. langues aléatoires/complexes

3. Cadre théorique

• Prédiction de Chomsky : Si les LMs manquent d'UG, ils devraient pouvoir apprendre tout aussi facilement les langues impossibles
• Contre-argument de F&M : Affirme que les LMs démontrent des préférences d'apprentissage cohérentes avec les humains
• « Théorème du déjeuner gratuit » : Tout algorithme d'apprentissage performant sur une classe de données doit nécessairement performer moins bien sur d'autres données

Points d'innovation technique

L'innovation de cet article ne réside pas dans les méthodes techniques, mais dans la profondeur de l'analyse théorique :

1. Distinction des types de langues : Distinction claire entre « langues impossibles violant l'UG » et « langues aléatoires/complexes »
2. Réinterprétation des résultats empiriques : Indication que F&M et d'autres confondent la complexité linguistique avec la possibilité linguistique
3. Vérification de la cohérence théorique : Utilisation du « théorème du déjeuner gratuit » pour argumenter que la mauvaise performance des LMs sur certaines langues est inévitable et ne peut pas servir de preuve du soutien de leurs biais inductifs semblables à ceux des humains

Configuration expérimentale

Cet article ne contient pas de nouvelles expériences, mais plutôt une réanalyse des recherches publiées. Les auteurs examinent systématiquement les recherches suivantes :

Recherches examinées

1. Kallini et al. (2024)

• Conception expérimentale : Test de la capacité des LMs à apprendre l'anglais et diverses langues impossibles
• Interprétation de F&M : Les LMs apprennent toujours plus rapidement les textes anglais réels que les langues impossibles de base
• Réanalyse des auteurs :
  • Bien que deux langues impossibles difficiles à apprendre aient été rapportées, plusieurs langues impossibles sont presque aussi faciles à apprendre que l'anglais
  • Y compris une langue impossible conçue par Mitchell & Bowers (2020)
  • La langue impossible la plus difficile à apprendre est l'ordre des mots aléatoire complètement mélangé (sans structure à apprendre)
  • Une autre langue difficile est le mélange aléatoire déterministe (différentes longueurs de phrases utilisent différentes règles de mélange, équivalent à apprendre plusieurs langues aléatoires)

2. Yang et al. (2025)

• Conception expérimentale : Évaluation de la performance des LMs sur diverses langues impossibles, y compris les langues avec mélange déterministe
• Découverte : De nombreuses langues impossibles sont faciles à apprendre, les langues avec mélange aléatoire sont difficiles
• Critique des auteurs : Les auteurs ont incorrectement supposé que Chomsky prédisait que les LMs devraient pouvoir apprendre les langues avec mélange aléatoire, mais apprendre plusieurs langues aléatoires différentes (pour différentes longueurs de phrases) est difficile sous n'importe quelle théorie

3. Xu et al. (2025)

• Conception expérimentale : Variation de la plausibilité plutôt que de l'impossibilité des langues
• Découverte : Les LMs ont des difficultés avec certaines langues implausibles, mais apprennent facilement dans d'autres cas
• Remarque des auteurs : Les chercheurs eux-mêmes reconnaissent que la construction du matériel peut contenir des erreurs, entraînant du bruit dans le corpus contrefactuel

4. Ziv et al. (2025)

• Découverte : Rapport de plusieurs langues impossibles que les LMs peuvent apprendre facilement, y compris les langues partiellement inversées (réplication du résultat de Mitchell & Bowers, 2020)

5. Lou et al. (2024) (non cité par F&M)

• Découverte : Les LMs peuvent apprendre facilement les langues complètement inversées

Synthèse des données

Résultats expérimentaux

Principales découvertes

1. Les LMs peuvent souvent apprendre facilement les langues impossibles

• Les langues impossibles conçues par Mitchell & Bowers (2020) se sont avérées faciles à apprendre
• Les langues partiellement inversées (Ziv et al., 2025) sont faciles à apprendre
• Les langues complètement inversées (Lou et al., 2024) sont faciles à apprendre
• Kallini et al. et Yang et al. ont tous deux rapporté plusieurs langues impossibles faciles à apprendre

2. Les « langues impossibles » difficiles à apprendre sont en réalité des langues complexes/aléatoires

• Mélange complètement aléatoire : Aucune structure à apprendre
• Mélange aléatoire déterministe : Nécessite d'apprendre plusieurs mappages aléatoires différents (un par longueur de phrase)
• La difficulté de ces langues provient de la complexité et de l'aléatoire, non de la violation de l'UG

3. Différences énormes dans l'efficacité des données

Les auteurs citent Bowers (2025a) pour souligner que :

• Les LMs nécessitent plusieurs ordres de grandeur plus de données d'entraînement que les nourrissons
• Ceci est cohérent avec l'absence de biais inductifs humains

4. Tentatives limitées d'induction de l'UG

McCoy & Griffiths (2025) ont tenté de distiller des priors bayésiens dans les LMs :

• N'a pas considérablement amélioré l'efficacité des données (Bowers, 2025b)

Analyse théorique

Application du « théorème du déjeuner gratuit »

Les auteurs citent la théorie de Wolpert & Macready (2002) :

• Point central : Un algorithme d'apprentissage performant sur une classe de données doit nécessairement performer moins bien sur d'autres données
• Déduction : La mauvaise performance des LMs sur certaines langues (comme le mélange aléatoire) est inévitable et ne nécessite pas de confirmation empirique
• Distinction clé : Performer mal sur certaines langues ≠ posséder des biais inductifs semblables à ceux des humains
• Logique de réfutation : Apprendre avec succès certaines langues impossibles réfute que les LMs constituent un modèle approprié de l'apprentissage du langage humain

Analyse de cas

Cas 1 : Langue avec mélange déterministe de Kallini et al.

Phrase originale (longueur 5) : The cat sat on mat
Règle de mélange 1 (longueur 5) : cat The on sat mat
Phrase originale (longueur 6) : The big cat sat on mat
Règle de mélange 2 (longueur 6) : big The sat cat mat on

Analyse : Apprendre cette langue équivaut à apprendre plusieurs mappages aléatoires différents, la complexité augmentant linéairement avec le nombre de longueurs de phrases. Ce n'est pas un test des biais de l'UG, mais un test de la capacité à mémoriser plusieurs mappages arbitraires.

Cas 2 : Langue partiellement inversée de Mitchell & Bowers (2020)

Certaines règles d'ordre des mots sont systématiquement inversées, mais restent cohérentes. Découverte : Les LMs peuvent apprendre facilement, indiquant qu'ils manquent des biais inductifs pour exclure ce type de langue.

Travaux connexes

Théories de l'acquisition du langage

1. Grammaire universelle (UG) de Chomsky

• Les humains possèdent des biais inductifs innés spécifiques au langage
• Les contraintes de l'UG limitent la structure des langues humaines possibles
• Permettent aux enfants d'apprendre rapidement le langage

2. Théorie de l'apprentissage statistique

• Souligne l'extraction de régularités statistiques à partir des données d'entrée
• Les LMs sont considérés comme l'aboutissement de l'apprentissage statistique

Études comparatives entre les LMs et l'apprentissage du langage humain

Recherches soutenant les LMs

• F&M et les recherches qu'ils citent affirment que les LMs démontrent des préférences d'apprentissage semblables à celles des humains

Recherches critiquant les LMs

• Mitchell & Bowers (2020) : Première démonstration systématique que les LMs peuvent apprendre les langues impossibles
• Chomsky et al. (2023) : Critique de l'incapacité des LMs à distinguer le possible de l'impossible
• Bowers (2025a) : Souligne que l'efficacité des données des LMs est bien inférieure à celle des humains

Positionnement de cet article

Cet article s'inscrit dans la tradition linguistique de Chomsky, réfutant par réanalyse des recherches empiriques les arguments récents du camp connexionniste/apprentissage statistique.

Conclusions et discussion

Conclusions principales

1. Les preuves empiriques ne soutiennent pas le point de vue de F&M : Les LMs peuvent souvent apprendre tout aussi facilement les langues réelles et les langues impossibles
2. Les « langues impossibles » difficiles à apprendre sont complexes/aléatoires : La difficulté d'apprentissage provient de la complexité plutôt que de la violation de l'UG
3. Les LMs manquent des biais inductifs humains : Combinant les preuves des langues impossibles faciles à apprendre et de la faible efficacité des données, le modèle d'apprentissage des LMs diffère fondamentalement de celui des humains
4. Le « déjeuner gratuit » ne peut pas servir de preuve de soutien : La mauvaise performance des LMs sur certaines langues est inévitable et ne peut pas prouver qu'ils possèdent des biais semblables à ceux des humains
5. Les LMs ne constituent pas un modèle approprié de l'acquisition du langage humain : La façon dont les LMs apprennent actuellement est exactement ce qu'on attendrait de l'absence de biais linguistiques innés humains

Limitations

Limitations de l'article lui-même

1. Absence de nouvelles données empiriques : Basé uniquement sur une revue de littérature, sans nouvelles expériences de vérification
2. Définition floue des langues impossibles : Les définitions opérationnelles de « langue impossible » varient selon les études, ce que l'article ne discute pas suffisamment
3. Exploration insuffisante des mécanismes : N'analyse pas en détail pourquoi les LMs peuvent apprendre les langues impossibles
4. Taille d'échantillon limitée : Le nombre d'études examinées est relativement petit (principalement 5 articles récents)

Limitations du domaine de recherche

1. Validité écologique des langues impossibles : Les langues impossibles construites artificiellement peuvent ne pas capturer complètement les contraintes de l'UG
2. Diversité des LMs : Différentes architectures de LMs peuvent avoir des performances différentes, mais l'article ne les distingue pas suffisamment
3. Problèmes de mesure : Comment mesurer précisément la « difficulté d'apprentissage » reste controversé

Directions futures

Directions explicitement proposées par l'article

1. Conception plus rigoureuse des langues impossibles : Nécessité d'une opérationnalisation plus précise de la violation de l'UG
2. Recherche sur les mécanismes : Compréhension des représentations internes et des processus par lesquels les LMs apprennent les langues impossibles

Directions implicites de recherche

1. Comparaison entre modèles : Comparaison systématique des biais inductifs de différentes architectures de LMs
2. Études de trajectoire développementale : Comparaison des courbes d'apprentissage des LMs et des enfants
3. Modèles hybrides : Exploration de l'intégration des connaissances préalables linguistiques dans les LMs
4. Vérification neuroscientifique : Utilisation d'études d'imagerie cérébrale pour vérifier les mécanismes neuraux du traitement des langues impossibles par les humains

Évaluation approfondie

Points forts

1. Clarté théorique élevée

• Distinction claire entre « complexité » et « impossibilité », ce qui constitue une clarification conceptuelle clé
• Application correcte du « théorème du déjeuner gratuit », révélant les sophismes logiques

2. Analyse de littérature approfondie

• Non seulement lit les conclusions des études citées, mais analyse aussi en profondeur leur conception expérimentale et leurs données
• Découvre les problèmes de citation sélective et de mauvaise interprétation par F&M

3. Argumentation logique rigoureuse

• Utilise la logique de réfutation : apprendre avec succès les langues impossibles réfute que les LMs constituent un modèle du langage humain
• Indique l'asymétrie dans l'argumentation de l'adversaire : la difficulté d'apprentissage de certaines langues ne peut pas prouver les biais inductifs semblables à ceux des humains

4. Honnêteté académique

• Reconnaît les problèmes de matériel que les chercheurs de Xu et al. eux-mêmes ont signalés
• Présente équitablement les points de vue de chaque partie

5. Importance théorique majeure

• Touche aux débats centraux de la linguistique : inné vs. acquis, UG vs. apprentissage statistique
• Offre également des perspectives au domaine de l'IA : limites des capacités des LMs

Insuffisances

1. Fondement empirique faible

• Absence de nouvelles données : Dépend entièrement de la réinterprétation des recherches d'autrui
• Sélectivité possible : Bien que critiquant la citation sélective par F&M, la sélection de littérature de l'auteur peut aussi avoir des biais
• Absence de synthèse quantitative : Pas de méta-analyse ou de synthèse systématique quantitative

2. Opérationnalisation conceptuelle insuffisante

• Définition floue de « langue impossible » : Différentes études utilisent différentes définitions, que l'article ne discute pas suffisamment
• Critères de « facile à apprendre » vs « difficile à apprendre » : Pas de critères quantitatifs clairs
• Mesure de la « complexité » : Comment quantifier la complexité d'une langue ?

3. Limitations de l'argumentation

• Argumentation sur les langues avec mélange déterministe : Bien que soulignant leur complexité, on peut débattre si cette complexité est complètement indépendante de la violation de l'UG
• Applicabilité du « théorème du déjeuner gratuit » : Ce théorème s'applique aux problèmes d'optimisation ; son application directe à l'apprentissage linguistique nécessite plus d'argumentation
• Absence de considération des explications alternatives : Les LMs peuvent avoir d'autres types de biais inductifs (comme une préférence pour la localité), simplement différents de l'UG

4. Exploration insuffisante des mécanismes

• Analyse de boîte noire : Jugement basé uniquement sur les entrées-sorties, sans analyse des représentations internes des LMs
• Manque de solutions constructives : La critique est abondante, mais la construction est insuffisante ; ne propose pas comment améliorer les LMs

5. Couleur de débat académique plus prononcée

• Position claire : Clairement du côté de Chomsky, ce qui peut affecter l'objectivité
• Critique plus sévère des recherches adverses : Comme indiquer « mauvaise interprétation », « erreur », etc. ; le ton du débat académique pourrait être plus mesuré

6. Taille d'échantillon et représentativité

• Examen de seulement 5 articles principaux : Taille d'échantillon relativement petite
• Fenêtre temporelle étroite : Principalement des recherches 2020-2025
• Type de modèle unique : Principalement axé sur les LMs de type Transformer

Évaluation de l'impact

Contribution au domaine

1. Clarification théorique : Distinction conceptuelle importante (complexité vs. impossibilité)
2. Contribution méthodologique : Indication des pièges courants dans la conception expérimentale
3. Promotion du débat : Encouragera une conception expérimentale plus rigoureuse et une discussion théorique plus approfondie

Impact potentiel

• Court terme : Peut susciter des réponses de F&M et des chercheurs connexes, promouvant le débat académique
• Moyen terme : Encouragera les chercheurs à concevoir des expériences de langues impossibles plus rigoureuses
• Long terme : Peut influencer l'évaluation de la position des LMs en sciences cognitives

Valeur pratique

• Implications pour la recherche en IA : La compréhension des biais inductifs des LMs a de la valeur pour l'amélioration des modèles
• Implications pour l'éducation : Si la façon dont les LMs apprennent diffère de celle des humains, ils ne peuvent pas être directement utilisés pour simuler l'enseignement du langage

Reproductibilité

• Élevée : L'article est principalement une revue de littérature ; toutes les études citées sont publiées, et les lecteurs peuvent vérifier l'analyse de l'auteur

Scénarios d'application

Groupes de lecteurs appropriés

1. Linguistes théoriciens : Intéressés par la théorie de l'UG et l'acquisition du langage
2. Linguistes computationnels : Étudiant les capacités et les limitations des LMs
3. Scientifiques cognitifs : Intéressés par les modèles computationnels du traitement du langage humain
4. Chercheurs en IA : Réfléchissant à comment améliorer les biais inductifs des LMs

Scénarios de recherche applicables

1. Conception d'expériences de langues impossibles : Fournit des conseils méthodologiques importants
2. Évaluation de la plausibilité cognitive des LMs : Fournit un cadre théorique
3. Débats de théorie linguistique : Fournit un soutien à la théorie innéiste

Scénarios non applicables

1. Applications d'ingénierie : Utilité limitée pour les applications pratiques des LMs
2. Domaines non linguistiques : L'argumentation est spécifique à l'apprentissage linguistique

Références (points clés)

Littérature de débat central

1. Chomsky et al. (2023) : « The False Promise of ChatGPT » - Critique classique de Chomsky sur les LMs
2. Futrell & Mahowald (2025) : Article cible du commentaire, représentant le point de vue soutenant les LMs

Recherches empiriques clés

3. Mitchell & Bowers (2020) : Première démonstration systématique que les LMs apprennent les langues impossibles
4. Kallini et al. (2024) : « Mission: Impossible language models » - L'une des études empiriques les plus complètes
5. Yang et al. (2025) : Étude de l'apprentissage des langues impossibles entre langues

Fondements théoriques

6. Wolpert & Macready (2002) : « No free lunch theorems » - Théorie fondamentale de l'apprentissage automatique
7. McCoy & Griffiths (2025) : Recherche tentant d'intégrer des priors bayésiens dans les LMs

Travaux connexes des auteurs

8. Bowers (2025a) : Analyse systématique de l'efficacité des données des LMs
9. Bowers (2025b) : Commentaire sur McCoy & Griffiths

Évaluation globale

Ceci est un article de commentaire avec une position théorique claire, une argumentation logique rigoureuse, mais un fondement empirique relativement faible. Les auteurs, par une analyse approfondie de la littérature existante, contestent efficacement le point de vue selon lequel « les LMs possèdent des biais inductifs linguistiques semblables à ceux des humains », soutenant la position linguistique traditionnelle de Chomsky.

La plus grande valeur réside dans sa clarification conceptuelle (distinction entre complexité et impossibilité) et son analyse logique (application de la logique de réfutation et du « théorème du déjeuner gratuit »), qui contribuent significativement à la méthodologie du domaine.

Les principales limitations résident dans l'absence de nouvelles données empiriques et l'analyse insuffisante des mécanismes internes des LMs. En tant qu'article de commentaire, ceci est compréhensible, mais cela limite également sa force de persuasion.

Cet article promouvra une discussion approfondie sur la nature des LMs entre les domaines de la linguistique et de l'IA, encouragera une conception expérimentale plus rigoureuse, mais peut ne pas changer immédiatement les positions fondamentales des deux camps. La résolution de ce débat nécessitera probablement plus de recherches empiriques, un cadre théorique plus précis, et possiblement des preuves indépendantes provenant des neurosciences.

Indice de recommandation : ⭐⭐⭐⭐ (4/5)

• Contribution théorique : ⭐⭐⭐⭐⭐
• Suffisance empirique : ⭐⭐⭐
• Innovativité méthodologique : ⭐⭐⭐
• Valeur pratique : ⭐⭐⭐
• Qualité de rédaction : ⭐⭐⭐⭐