Los estudios con lenguajes imposibles falsifican los LMs como modelos del lenguaje humano

Información Básica

• ID del Artículo: 2511.11389
• Título: Studies with impossible languages falsify LMs as models of human language
• Autores: Jeffrey S. Bowers (University of Bristol), Jeff Mitchell (University of Sussex)
• Clasificación: cs.CL (Lingüística Computacional)
• Tipo de Artículo: Comentario sobre Futrell & Mahowald (en prensa), Behavioural and Brain Sciences
• Enlace del Artículo: https://arxiv.org/abs/2511.11389

Resumen

Este artículo es un comentario sobre el trabajo de Futrell y Mahowald (F&M) respecto a los modelos de lenguaje y el aprendizaje del lenguaje humano. F&M afirman que tanto los bebés como los modelos de lenguaje (LMs) encuentran que los lenguajes reales son más fáciles de aprender que los "lenguajes imposibles" con estructuras no naturales. Los autores, mediante una revisión de la literatura, demuestran que los LMs frecuentemente pueden aprender con igual facilidad tanto lenguajes reales como muchos lenguajes imposibles. Los lenguajes imposibles que son difíciles de aprender son simplemente más complejos o aleatorios. Los autores argumentan que los LMs carecen de los sesgos inductivos (inductive biases) que sustentan la adquisición del lenguaje humano.

Contexto y Motivación de la Investigación

Problema Central

Este artículo se enfoca en una cuestión teórica fundamental: ¿Son los modelos de lenguaje (LMs) modelos apropiados para la adquisición del lenguaje humano?

Importancia del Problema

1. El misterio de la velocidad de adquisición del lenguaje: Los bebés pueden aprender lenguaje a una velocidad asombrosa, lo cual representa el desafío central para los modelos de adquisición del lenguaje
2. Punto focal del debate teórico: La teoría de la Gramática Universal (Universal Grammar, UG) de Chomsky sostiene que los humanos poseen sesgos inductivos del lenguaje innatos, que no solo restringen la estructura de todos los lenguajes reales, sino que también permiten a los niños aprender rápidamente
3. El desafío de los LMs: Grandes modelos de lenguaje como ChatGPT carecen de conocimiento previo similar al humano, pero aún así muestran un desempeño excelente en diversas tareas lingüísticas, lo que cuestiona las teorías lingüísticas tradicionales

Limitaciones de los Enfoques Existentes

1. La perspectiva de F&M: Afirman que los LMs, al igual que los humanos, encuentran que los lenguajes reales son más fáciles de aprender que los lenguajes imposibles, lo que sugiere que los LMs poseen sesgos inductivos alineados con el lenguaje humano
2. La crítica de Chomsky: Sostiene que la capacidad de los LMs para aprender con igual facilidad tanto lenguajes posibles como imposibles para los humanos es su defecto más profundo como modelo del lenguaje humano
3. Divergencia en la interpretación de la literatura: Las diferentes interpretaciones de los mismos estudios conducen a conclusiones opuestas

Motivación de la Investigación

Los autores tienen como objetivo, mediante una revisión sistemática de la literatura, aclarar la evidencia empírica sobre la capacidad de los LMs para aprender lenguajes imposibles, desafiar el punto de vista de F&M y respaldar la afirmación de Chomsky de que los LMs carecen de sesgos inductivos del lenguaje humano.

Contribuciones Principales

1. Revisión sistemática de la literatura: Revisión y reanalisis exhaustivos de investigaciones recientes sobre la capacidad de los LMs para aprender lenguajes imposibles
2. Aclaración de la evidencia empírica: Revelación de malinterpretaciones de F&M sobre investigaciones existentes, demostrando que los LMs en realidad pueden aprender fácilmente muchos lenguajes imposibles
3. Análisis teórico: Distinción entre "difícil de aprender" y "estructuralmente complejo/aleatorio", argumentando que los lenguajes imposibles difíciles de aprender son simplemente más complejos o aleatorios
4. Apoyo a la afirmación de Chomsky: Proporciona evidencia de que los LMs carecen de sesgos inductivos del aprendizaje del lenguaje específicos de los humanos
5. Crítica metodológica: Señala la aplicabilidad del "teorema de no hay almuerzo gratis", argumentando que el desempeño deficiente de los LMs en ciertos lenguajes no es sorprendente

Explicación Detallada de la Metodología

Definición de la Tarea

Este artículo no propone nuevos métodos, sino que realiza una revisión crítica de la literatura. La tarea central es:

• Entrada: Investigaciones empíricas recientes sobre la capacidad de los LMs para aprender lenguajes imposibles
• Salida: Reinterpretación sistemática y análisis teórico de estos estudios
• Objetivo: Evaluar si los LMs realmente tienen dificultades para aprender lenguajes imposibles de manera similar a los humanos

Marco de Análisis

1. Definición de Lenguajes Imposibles

• Lenguajes Reales (Attested Languages): Lenguajes naturales que los humanos realmente utilizan
• Lenguajes Imposibles (Impossible Languages): Lenguajes artificialmente construidos que violan las restricciones de la Gramática Universal, como lenguajes con orden de palabras completamente invertido
• Lenguajes Complejos/Aleatorios: Lenguajes que carecen de estructura o contienen múltiples reglas aleatorias

2. Criterios de Evaluación

Los autores emplean los siguientes criterios para evaluar el desempeño de aprendizaje de los LMs:

• Velocidad de aprendizaje: Cantidad de datos de entrenamiento requeridos por los LMs para aprender diferentes tipos de lenguajes
• Desempeño final: Desempeño final alcanzado por los LMs en diferentes lenguajes
• Análisis comparativo: Lenguajes reales vs. lenguajes imposibles vs. lenguajes aleatorios/complejos

3. Marco Teórico

• Predicción de Chomsky: Si los LMs carecen de UG, deberían poder aprender lenguajes imposibles con igual facilidad
• Refutación de F&M: Afirman que los LMs muestran preferencias de aprendizaje consistentes con los humanos
• "Teorema de No Hay Almuerzo Gratis": Cualquier algoritmo de aprendizaje que funcione bien en una clase de datos debe funcionar mal en otros datos

Puntos de Innovación Técnica

La innovación de este artículo no radica en métodos técnicos, sino en la profundidad del análisis teórico:

1. Distinción de tipos de lenguaje: Diferenciación clara entre "lenguajes imposibles que violan UG" y "lenguajes aleatorios/complejos"
2. Reinterpretación de resultados empíricos: Señalamiento de cómo F&M y otros confunden la complejidad del lenguaje con la posibilidad del lenguaje
3. Verificación de consistencia teórica: Uso del "teorema de no hay almuerzo gratis" para argumentar que el desempeño deficiente de los LMs en ciertos lenguajes es inevitable, no puede servir como evidencia de apoyo a que posean sesgos inductivos similares a los humanos

Configuración Experimental

Este artículo no contiene nuevos experimentos, sino un reanalisis de investigaciones ya publicadas. Los autores revisan sistemáticamente los siguientes estudios:

Estudios Revisados

1. Kallini et al. (2024)

• Diseño experimental: Prueba de la capacidad de los LMs para aprender inglés y múltiples lenguajes imposibles
• Interpretación de F&M: Los LMs aprenden texto inglés real consistentemente más rápido que los lenguajes imposibles de referencia
• Reanalisis de los autores:
  • Aunque se reportaron dos lenguajes imposibles difíciles de aprender, múltiples lenguajes imposibles fueron casi tan fáciles de aprender como el inglés
  • Incluyendo un lenguaje imposible diseñado por Mitchell & Bowers (2020)
  • El lenguaje imposible más difícil de aprender fue el barajado de orden de palabras aleatorio (sin estructura para aprender)
  • Otro lenguaje difícil fue el barajado aleatorio determinista (utiliza diferentes reglas de barajado para diferentes longitudes de oración, equivalente a aprender múltiples lenguajes aleatorios)

2. Yang et al. (2025)

• Diseño experimental: Evaluación del desempeño de los LMs en múltiples lenguajes imposibles, incluyendo lenguajes con barajado determinista
• Hallazgos: Múltiples lenguajes imposibles son fáciles de aprender, los lenguajes con barajado aleatorio son difíciles
• Crítica de los autores: Los autores cometieron el error de creer que Chomsky predice que los LMs deberían poder aprender lenguajes con barajado aleatorio, pero aprender múltiples lenguajes aleatorios diferentes (uno para cada longitud de oración) es difícil bajo cualquier teoría

3. Xu et al. (2025)

• Diseño experimental: Variación de la plausibilidad del lenguaje en lugar de su imposibilidad
• Hallazgos: Los LMs tienen dificultades con ciertos lenguajes implausibles, pero en otros casos aprenden fácilmente
• Observación de los autores: Los investigadores mismos reconocen que la construcción del material puede tener errores, resultando en ruido aumentado en el corpus contrafáctico

4. Ziv et al. (2025)

• Hallazgos: Reportan múltiples lenguajes imposibles que los LMs pueden aprender fácilmente, incluyendo lenguajes parcialmente invertidos (replicando los resultados de Mitchell & Bowers, 2020)

5. Lou et al. (2024) (no citado por F&M)

• Hallazgos: Los LMs pueden aprender fácilmente lenguajes completamente invertidos

Resumen de Datos

Resultados Experimentales

Hallazgos Principales

1. Los LMs frecuentemente pueden aprender fácilmente lenguajes imposibles

• El lenguaje imposible diseñado por Mitchell & Bowers (2020) se confirma que es fácil de aprender
• Lenguajes parcialmente invertidos (Ziv et al., 2025) son fáciles de aprender
• Lenguajes completamente invertidos (Lou et al., 2024) son fáciles de aprender
• Tanto Kallini et al. como Yang et al. reportan múltiples lenguajes imposibles fáciles de aprender

2. Los "lenguajes imposibles" difíciles de aprender son en realidad lenguajes complejos/aleatorios

• Barajado completamente aleatorio: Sin estructura alguna para aprender
• Barajado aleatorio determinista: Requiere aprender múltiples reglas de mapeo aleatorio diferentes (una para cada longitud de oración)
• La dificultad de estos lenguajes proviene de la complejidad y aleatoriedad, no de la violación de UG

3. Diferencias enormes en eficiencia de datos

Los autores citan a Bowers (2025a) señalando que:

• Los LMs requieren varios órdenes de magnitud más datos de entrenamiento que los bebés
• Esto es consistente con la falta de sesgos inductivos humanos

4. Intentos limitados de inducir UG

McCoy & Griffiths (2025) intentaron destilar priors bayesianos en LMs:

• No lograron mejorar significativamente la eficiencia de datos (Bowers, 2025b)

Análisis Teórico

Aplicación del "Teorema de No Hay Almuerzo Gratis"

Los autores citan la teoría de Wolpert & Macready (2002):

• Punto central: Un algoritmo de aprendizaje que funciona bien en una clase de datos debe funcionar mal en otros datos
• Implicación: El desempeño deficiente de los LMs en ciertos lenguajes (como barajado aleatorio) es inevitable, no requiere confirmación empírica
• Distinción clave: Desempeño deficiente en ciertos lenguajes ≠ posesión de sesgos inductivos similares a los humanos
• Lógica de falsación: El aprendizaje exitoso de ciertos lenguajes imposibles falsifica que los LMs sean un modelo apropiado del aprendizaje del lenguaje humano

Análisis de Casos

Caso 1: Lenguaje con Barajado Determinista de Kallini et al.

Oración original (longitud 5): The cat sat on mat
Regla de barajado 1 (longitud 5): cat The on sat mat
Oración original (longitud 6): The big cat sat on mat
Regla de barajado 2 (longitud 6): big The sat cat mat on

Análisis: Aprender este lenguaje es equivalente a aprender múltiples mapeos aleatorios diferentes, con complejidad que crece linealmente con el número de tipos de longitud de oración. Esto no es una prueba de sesgos UG, sino una prueba de la capacidad de memorizar múltiples mapeos arbitrarios.

Caso 2: Lenguaje Parcialmente Invertido de Mitchell & Bowers (2020)

Ciertas reglas de orden de palabras se invierten sistemáticamente, pero mantienen consistencia. Hallazgo: Los LMs pueden aprender fácilmente, lo que indica que carecen de sesgos inductivos que excluyan este tipo de lenguajes.

Trabajo Relacionado

Teorías de Adquisición del Lenguaje

1. Gramática Universal (UG) de Chomsky

• Los humanos poseen sesgos inductivos específicos del lenguaje innatos
• Las restricciones de UG limitan la estructura de los lenguajes humanos posibles
• Permiten a los niños aprender lenguaje rápidamente

2. Teoría del Aprendizaje Estadístico

• Enfatiza la extracción de regularidades estadísticas de los datos de entrada
• Los LMs se consideran la expresión extrema del aprendizaje estadístico

Estudios Comparativos de LMs y Aprendizaje del Lenguaje Humano

Investigaciones que Apoyan los LMs

• F&M y sus estudios citados afirman que los LMs muestran preferencias de aprendizaje similares a las humanas

Investigaciones que Critican los LMs

• Mitchell & Bowers (2020): Primera demostración sistemática de que los LMs pueden aprender lenguajes imposibles
• Chomsky et al. (2023): Crítica de la incapacidad de los LMs para distinguir entre lo posible e imposible
• Bowers (2025a): Énfasis en que la eficiencia de datos de los LMs es mucho menor que la de los humanos

Posicionamiento de Este Artículo

Este artículo se sitúa en la tradición de la lingüística chomskiana, refutando los argumentos más recientes del bando del conexionismo/aprendizaje estadístico mediante reanalisis de investigaciones empíricas.

Conclusiones y Discusión

Conclusiones Principales

1. La evidencia empírica no respalda la perspectiva de F&M: Los LMs frecuentemente pueden aprender con igual facilidad tanto lenguajes reales como lenguajes imposibles
2. Los "lenguajes imposibles" difíciles de aprender son complejos/aleatorios: La dificultad de aprendizaje proviene de la complejidad, no de la violación de UG
3. Los LMs carecen de sesgos inductivos humanos: Combinando la evidencia de lenguajes imposibles fáciles de aprender y baja eficiencia de datos, el patrón de aprendizaje de los LMs es fundamentalmente diferente del humano
4. "No hay almuerzo gratis" no puede servir como evidencia de apoyo: El desempeño deficiente de los LMs en ciertos lenguajes es inevitable, no puede probar que posean sesgos similares a los humanos
5. Los LMs no son un modelo apropiado de adquisición del lenguaje humano: La forma de aprender de los LMs actuales es exactamente lo que se esperaría de la falta de sesgos del lenguaje innatos humanos

Limitaciones

Limitaciones del Artículo Mismo

1. Sin nuevos datos empíricos: Basado únicamente en revisión de literatura, sin nuevos experimentos de verificación
2. Definición borrosa de lenguajes imposibles: Diferentes estudios utilizan definiciones operacionales inconsistentes de "lenguajes imposibles"
3. Exploración superficial de mecanismos: No analiza en detalle por qué los LMs pueden aprender lenguajes imposibles
4. Muestra limitada: Número relativamente pequeño de estudios revisados (principalmente 5 artículos recientes)

Limitaciones del Campo de Investigación

1. Validez ecológica de lenguajes imposibles: Los lenguajes artificialmente construidos pueden no capturar completamente las restricciones de UG
2. Diversidad de LMs: Diferentes arquitecturas de LMs pueden mostrar desempeños diferentes, pero el artículo no diferencia suficientemente
3. Problemas de medición: Cómo medir con precisión la "dificultad de aprendizaje" sigue siendo controvertido

Direcciones Futuras

Direcciones Explícitamente Propuestas por el Artículo

1. Diseño más riguroso de lenguajes imposibles: Necesidad de operacionalizar con mayor precisión las violaciones de UG
2. Investigación de mecanismos: Comprensión de las representaciones internas y procesos mediante los cuales los LMs aprenden lenguajes imposibles

Direcciones Implícitas de Investigación

1. Comparación entre modelos: Comparación sistemática de sesgos inductivos de diferentes arquitecturas de LMs
2. Investigación de trayectorias de desarrollo: Comparación de curvas de aprendizaje entre LMs y niños
3. Modelos híbridos: Exploración de cómo integrar conocimiento previo lingüístico en LMs
4. Verificación neurocientífica: Investigación mediante neuroimagen del procesamiento neural humano de lenguajes imposibles

Evaluación Profunda

Fortalezas

1. Alta Claridad Teórica

• Diferenciación clara entre "complejidad" e "imposibilidad", una aclaración conceptual clave
• Aplicación correcta del "teorema de no hay almuerzo gratis", revelando falacias lógicas

2. Análisis de Literatura Profundo

• No solo lee las conclusiones de estudios citados, sino que analiza profundamente sus diseños experimentales y datos
• Descubre problemas de citas selectivas y malinterpretación por parte de F&M

3. Argumentación Lógica Rigurosa

• Uso de lógica de falsación: el aprendizaje exitoso de lenguajes imposibles falsifica que los LMs sean modelos del lenguaje humano
• Señalamiento de la asimetría en los argumentos del oponente: la dificultad en ciertos lenguajes no puede probar sesgos similares a los humanos

4. Honestidad Académica

• Reconocimiento de problemas de materiales señalados por los investigadores de Xu et al.
• Presentación justa de los puntos de vista de todas las partes

5. Significancia Teórica Importante

• Toca debates centrales de la lingüística: innato vs. adquirido, UG vs. aprendizaje estadístico
• También tiene implicaciones para el campo de la IA: los límites de las capacidades de los LMs

Insuficiencias

1. Base Empírica Débil

• Sin nuevos datos: Completamente dependiente de reinterpretación de investigaciones de otros
• Posible sesgo selectivo: Aunque critica la cita selectiva de F&M, la selección de literatura del propio artículo también puede tener sesgos
• Falta de síntesis cuantitativa: Sin metaanálisis o revisión sistemática cuantitativa

2. Operacionalización Conceptual Insuficiente

• Definición borrosa de "lenguajes imposibles": Diferentes estudios utilizan definiciones diferentes, el artículo no discute suficientemente este problema
• Criterios para "fácil" vs "difícil": Sin criterios cuantitativos explícitos
• Medida de "complejidad": ¿Cómo cuantificar la complejidad del lenguaje?

3. Limitaciones de la Argumentación

• Argumentación sobre lenguajes con barajado determinista: Aunque señala su complejidad, si esta complejidad está completamente desvinculada de la violación de UG sigue siendo discutible
• Aplicabilidad del "teorema de no hay almuerzo gratis": Este teorema se aplica a problemas de optimización, su aplicación directa al aprendizaje del lenguaje requiere más argumentación
• Falta de consideración de explicaciones alternativas: Los LMs pueden tener otros tipos de sesgos inductivos (como preferencia por localidad), solo que diferentes de UG

4. Exploración Superficial de Mecanismos

• Análisis de caja negra: Solo juzga por entrada y salida, sin analizar representaciones internas de LMs
• Falta de propuestas constructivas: Crítica abundante, pero construcción insuficiente, sin propuestas sobre cómo mejorar los LMs

5. Tono de Debate Académico Fuerte

• Posición clara: Claramente se alinea con Chomsky, lo que puede afectar la objetividad
• Crítica severa de investigaciones opuestas: Como señalar "malinterpretación", "error", etc., el tono del debate académico podría ser más templado

6. Tamaño de Muestra y Representatividad

• Solo revisión de 5 artículos principales: Tamaño de muestra relativamente pequeño
• Ventana temporal estrecha: Principalmente investigación de 2020-2025
• Tipo de modelo único: Enfoque principalmente en LMs tipo Transformer

Evaluación de Impacto

Contribución al Campo

1. Aclaración teórica: Diferenciación conceptual importante (complejidad vs. imposibilidad)
2. Contribución metodológica: Señalamiento de trampas comunes en diseño experimental
3. Impulso del debate: Promoverá diseño experimental más riguroso y discusión teórica más profunda

Impacto Potencial

• Corto plazo: Probablemente provocará respuestas de F&M y investigadores relacionados, impulsando debate académico
• Mediano plazo: Motivará a investigadores a diseñar experimentos de lenguajes imposibles más rigurosos
• Largo plazo: Puede influir en la evaluación de la posición de los LMs en la ciencia cognitiva

Valor Práctico

• Implicaciones para investigación en IA: Comprender los sesgos inductivos de los LMs tiene valor para mejorar modelos
• Implicaciones para educación: Si los LMs aprenden de manera diferente a los humanos, no pueden usarse directamente para simular la enseñanza del lenguaje

Reproducibilidad

• Alta: El artículo es principalmente una revisión de literatura, todos los estudios citados ya están publicados, los lectores pueden verificar el análisis de los autores

Escenarios de Aplicación

Grupos de Lectores Apropiados

1. Lingüistas teóricos: Interesados en teoría de UG y adquisición del lenguaje
2. Lingüistas computacionales: Investigación sobre capacidades y limitaciones de LMs
3. Científicos cognitivos: Interesados en modelos computacionales del procesamiento del lenguaje humano
4. Investigadores de IA: Reflexión sobre cómo mejorar los sesgos inductivos de los LMs

Escenarios de Investigación Aplicables

1. Diseño de experimentos de lenguajes imposibles: Proporciona orientación metodológica importante
2. Evaluación de la plausibilidad cognitiva de los LMs: Proporciona marco teórico
3. Debates de teoría lingüística: Proporciona apoyo para la teoría innatista

Escenarios No Aplicables

1. Aplicaciones de ingeniería: Valor limitado para aplicaciones prácticas de LMs
2. Campos no lingüísticos: La argumentación es específica del aprendizaje del lenguaje

Referencias (Puntos Clave)

Literatura de Debate Central

1. Chomsky et al. (2023): "The False Promise of ChatGPT" - Crítica clásica de Chomsky a los LMs
2. Futrell & Mahowald (2025): Artículo objetivo del comentario, representa la perspectiva que apoya los LMs

Investigaciones Empíricas Clave

3. Mitchell & Bowers (2020): Primera demostración sistemática de que los LMs aprenden lenguajes imposibles
4. Kallini et al. (2024): "Mission: Impossible language models" - Uno de los estudios empíricos más completos
5. Yang et al. (2025): Investigación de aprendizaje de lenguajes imposibles entre idiomas

Fundamentos Teóricos

6. Wolpert & Macready (2002): "No free lunch theorems" - Teoría fundamental del aprendizaje automático
7. McCoy & Griffiths (2025): Investigación sobre integración de priors bayesianos en LMs

Trabajo Relacionado de los Autores

8. Bowers (2025a): Análisis sistemático de eficiencia de datos de LMs
9. Bowers (2025b): Comentario sobre McCoy & Griffiths

Evaluación General

Este es un artículo de comentario con posición teórica clara, argumentación lógica rigurosa, pero base empírica relativamente débil. Los autores, mediante análisis profundo de literatura existente, desafían efectivamente la perspectiva de que "los LMs poseen sesgos inductivos del lenguaje similares a los humanos", apoyando la posición de la lingüística tradicional de Chomsky.

El mayor valor radica en su aclaración conceptual (diferenciación entre complejidad e imposibilidad) y análisis lógico (aplicación de lógica de falsación y "teorema de no hay almuerzo gratis"), que tienen contribución metodológica importante para este campo.

Las limitaciones principales radican en la falta de nuevos datos empíricos y análisis profundo de mecanismos internos de LMs. Como artículo de comentario, esto es comprensible, pero también limita su poder persuasivo.

Este artículo promoverá discusión profunda sobre la naturaleza de los LMs entre la lingüística y la IA, impulsará diseño experimental más riguroso, pero probablemente no cambiará inmediatamente las posiciones fundamentales de ambos bandos. La resolución de este debate probablemente requiera más investigación empírica, marcos teóricos más precisos, y posiblemente evidencia independiente de la neurociencia.

Índice de Recomendación: ⭐⭐⭐⭐ (4/5)

• Contribución teórica: ⭐⭐⭐⭐⭐
• Suficiencia empírica: ⭐⭐⭐
• Innovación metodológica: ⭐⭐⭐
• Valor práctico: ⭐⭐⭐
• Calidad de escritura: ⭐⭐⭐⭐