Explorando la Generalización Composicional (en COGS/ReCOGS_pos) por Transformers usando Procesamiento de Secuencias con Acceso Restringido (RASP)

Información Básica

• ID del Artículo: 2504.15349
• Título: Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
• Autor: William Bruns
• Clasificación: cs.CL (Lingüística Computacional)
• Fecha de Publicación: 14 de octubre de 2025 (arXiv v3)
• Enlace del Artículo: https://arxiv.org/abs/2504.15349v3

Resumen

Los humanos pueden comprender nuevas combinaciones de vocabulario identificado en diferentes contextos, una capacidad denominada generalización composicional (Compositional Generalization). El conjunto de pruebas COGS reporta que los modelos Transformer tienen una precisión del 0% en ciertas generalizaciones estructurales. Este artículo utiliza el lenguaje RASP (Procesamiento de Secuencias con Acceso Restringido) para demostrar que los codificadores-decodificadores Transformer pueden ejecutar sistemática y composicionalmente las tareas COGS y semánticamente equivalentes ReCOGS_pos: el modelo RASP logra puntuaciones casi perfectas en la división de generalización estructural. La investigación demuestra que las tareas (Re)COGS no requieren soluciones jerárquicas o de estructura arbórea, sino que utilizan 19 reglas de coincidencia de patrones planos compatibles con cabezas de atención, identificando patrones gramaticales mediante el enmascaramiento de frases preposicionales y cláusulas.

Antecedentes de Investigación y Motivación

Definición del Problema

El problema central que aborda esta investigación es la limitación de capacidad de los modelos Transformer en tareas de generalización composicional, particularmente el desempeño deficiente en el conjunto de pruebas COGS (Desafío de Generalización Composicional basado en Interpretación Semántica).

Importancia

1. Significado Teórico: La generalización composicional es una capacidad central de la comprensión del lenguaje humano; comprender cómo las redes neuronales implementan esta capacidad es crucial para avanzar en la comprensión del lenguaje de la IA
2. Significado Práctico: La precisión cercana al 0% de los modelos Transformer actuales en tareas de generalización estructural indica limitaciones fundamentales que requieren soluciones

Limitaciones de Métodos Existentes

1. Limitaciones de Redes Superficiales: El Codificador-Decodificador de 2 capas utilizado por Kim y Linzen (2020) tiene un desempeño extremadamente deficiente en generalización estructural
2. Hipótesis Jerárquica Incorrecta: La investigación existente asume que se requieren estructuras arbóreas o representaciones jerárquicas para resolver tareas COGS
3. Inefectividad de la Profundidad: Petty et al. (2024) descubrieron que incluso aumentar a 32 capas no mejora el desempeño del Transformer en generalización estructural COGS

Motivación de la Investigación

El autor se inspiró en Zhou et al. (2023) utilizando RASP para analizar la capacidad de generalización de Transformer, intentando demostrar mediante prueba constructiva que Transformer puede teóricamente resolver tareas COGS y analizar por qué los modelos existentes fallan.

Contribuciones Principales

1. Prueba Constructiva: Utiliza el lenguaje RASP para demostrar que el Codificador-Decodificador Transformer puede teóricamente resolver sistemáticamente tareas COGS y ReCOGS_pos
2. Solución Plana: Propone una solución no jerárquica basada en 19 reglas de coincidencia de patrones planos, sin necesidad de reglas de estructura arbórea recursiva
3. Análisis de Errores: Predice y verifica patrones de error específicos del Transformer de línea base mediante la teoría de "errores de atracción"
4. Avance de Rendimiento: El modelo RASP logra 99.89% de coincidencia exacta de cadenas en COGS y 99.63% de coincidencia semántica exacta en ReCOGS_pos
5. Nueva División de Generalización: Descubre y verifica la nueva división de generalización difícil "v_dat_p2_pp_moved_to_recipient"

Explicación Detallada del Método

Definición de la Tarea

La tarea COGS/ReCOGS requiere convertir oraciones de gramática inglesa simplificada a forma lógica (LF):

• Entrada: Oración en inglés (por ejemplo, "A scientist lended a cat a donut")
• Salida: Forma lógica (por ejemplo, "scientist(1); cat(4); donut(6); lend(2) AND agent(2,1) AND recipient(2,4) AND theme(2,6)")
• Evaluación: Coincidencia exacta de cadenas (COGS) o coincidencia semántica exacta (ReCOGS)

Arquitectura del Modelo

Marco de Programación RASP

RASP es un lenguaje de programación compilable a pesos de Transformer, utilizado en este artículo para construir un modelo Codificador-Decodificador:

1. Capa de Incrustación: Mapea tokens a nivel de palabra a etiquetas de categoría gramatical y tipo de verbo
2. Codificador: Utiliza 19 coincidentes de patrones planos compatibles con cabezas de atención
3. Bucle del Decodificador: Genera autorregressivamente tokens de forma lógica

Diseño de Componentes Principales

1. Mapeo de Incrustación de Categoría Gramatical

Vocabulario → {det: 1, common_noun: 7, proper_noun: 8, v_dat: 18, ...}

2. Coincidentes de Patrones Planos 19 patrones cubren todas las reglas gramaticales no recursivas, por ejemplo:

• np v_dat_p2 np np (como "Liam forwarded the girl the donut")
• np was v_trans_omissible_pp_p2 by np (voz pasiva)

3. Mecanismo de Enmascaramiento Innovación clave: enmascarar nombres de frases preposicionales al extraer relaciones nombre-verbo:

no_pp_np_mask = 1 - aggregate((pp_one_after_mask and np_prop_diag_mask) or 
                              (pp_two_after_mask and np_det_diag_mask), 1)

Puntos de Innovación Técnica

1. Solución No Recursiva

A diferencia de la suposición tradicional, el modelo no utiliza reglas recursivas como np_det pp np → np_pp → np, sino que:

• Identifica patrones gramaticales principales en el codificador
• Expande estructuras recursivas en el decodificador

2. Evitar Errores de Atracción

Mediante el mecanismo de enmascaramiento, evita que los nombres en frases preposicionales "atraigan" relaciones gramaticales incorrectas:

Error: The cake on the plate burned → theme(burn, plate)  # Error de atracción
Correcto: The cake on the plate burned → theme(burn, cake)   # Después del enmascaramiento

3. Expansión del Bucle del Decodificador

Las estructuras recursivas se procesan mediante el bucle del decodificador, soportando anidamiento arbitrario de frases preposicionales y cláusulas.

Configuración Experimental

Conjunto de Datos

• COGS: 24,155 ejemplos de entrenamiento, 3,000 ejemplos de prueba, 21,000 ejemplos de generalización
• ReCOGS_pos: Versión de ReCOGS con índices de posición, semánticamente equivalente pero permitiendo coincidencia semántica exacta
• Cobertura Gramatical: Utiliza el método de Zeller et al. (2023) para verificar que 19 reglas cubren el 100% de la gramática no recursiva

Métricas de Evaluación

• Coincidencia Exacta de Cadenas: Formas lógicas idénticas
• Coincidencia Semántica Exacta: Formas lógicas semánticamente equivalentes pero con índices y orden potencialmente diferentes
• Tasa de Cobertura Gramatical: Proporción de extensión gramatical soportada por el modelo respecto a la gramática total

Métodos de Comparación

• Línea Base de Wu et al. (2024): Transformer Codificador-Decodificador de 2 capas
• Variantes de Capas: Versiones de 3 y 4 capas
• Versión con Aumento de Datos: Adición de ejemplos con modificadores de frases preposicionales específicas

Detalles de Implementación

• Utiliza el intérprete oficial de RASP para evaluar programas
• Mapeo de vocabulario basado en todo el vocabulario en el conjunto de entrenamiento COGS
• Programa determinista utiliza intervalo de confianza de Clopper-Pearson

Resultados Experimentales

Resultados Principales

Rendimiento del Modelo RASP

COGS (Coincidencia Exacta de Cadenas)

• Conjunto de prueba: 99.97% (99.81-99.99%)
• obj_pp_to_subj_pp: 100.00% (99.63-100.00%)
• pp_recursion: 98.40% (97.41-99.08%)
• cp_recursion: 99.90% (99.44-99.997%)
• Generalización total: 99.89% (99.83-99.93%)

ReCOGS_pos (Coincidencia Semántica Exacta)

• Conjunto de prueba: 100.00% (99.88-100.00%)
• obj_pp_to_subj_pp: 92.20% (90.36-93.79%)
• pp_recursion: 100.00% (99.63-100.00%)
• cp_recursion: 100.00% (99.63-100.00%)
• Generalización total: 99.63% (99.54-99.71%)

Comparación de Rendimiento del Transformer de Línea Base

Línea Base de Wu et al. (2024) (ReCOGS_pos)

• pp_recursion: 40.2% ± 9.3%
• cp_recursion: 52.4% ± 1.4%
• obj_pp_to_subj_pp: 19.7% ± 6.1%

Análisis de Errores de Atracción

El análisis de errores del Transformer de línea base verifica las predicciones teóricas:

• 96.73% de errores de relación única se ajustan al patrón de error de atracción
• 100% de errores de frases preposicionales de profundidad 2 apuntan al nombre preposicional más cercano
• Confirma la hipótesis de procesamiento lineal no jerárquico

Verificación de Nueva División de Generalización

División "v_dat_p2_pp_moved_to_recipient":

• Rendimiento de línea base: 13% ± 15.6% (comparable a la división más difícil)
• Respalda la hipótesis de procesamiento plano sobre la hipótesis de estructura arbórea

Inefectividad del Aumento de Capas

El aumento de capas de Transformer (3-4 capas) no mejora el rendimiento en obj_pp_to_subj_pp, consistente con los hallazgos de Petty et al. (2024).

Trabajo Relacionado

Investigación de Generalización Composicional

• Conjunto de Pruebas COGS: Kim y Linzen (2020) propusieron, reportando precisión de generalización estructural de Transformer cercana al 0%
• Mejora ReCOGS: Wu et al. (2024) obtuvieron precisión no nula pero aún baja mediante coincidencia semántica exacta
• Métodos Jerárquicos: Liu et al. (2021), Weißenhorn et al. (2022) utilizan estructuras arbóreas explícitas para obtener alto rendimiento

Aplicaciones Relacionadas con RASP

• RASP Original: Weiss et al. (2021) para analizar capacidades de codificador Transformer
• Extensión de Decodificador: Zhou et al. (2023) extiende a decodificador autorregresivo, analizando generalización de longitud
• Aplicación Específica de Tarea: Este artículo es el primero en aplicar RASP a tareas complejas de análisis semántico

Investigación de Errores de Atracción

• Fundamento Lingüístico: Jespersen (1954) describió errores de atracción de concordancia sujeto-verbo
• Atracción en Redes Neuronales: van Schijndel et al. (2019), Goldberg (2019) observaron fenómenos similares en Transformer

Conclusiones y Discusión

Conclusiones Principales

1. Viabilidad Teórica: Transformer puede teóricamente resolver tareas COGS mediante coincidencia de patrones planos, sin necesidad de representaciones jerárquicas
2. Mecanismo Clave: El enmascaramiento de nombres de frases preposicionales es crucial para evitar errores de atracción
3. Problema de Aprendizaje: El fracaso del Transformer actual es un problema de aprendizaje, no una limitación de capacidad
4. Errores Predecibles: Los errores específicos del modelo de línea base pueden predecirse con precisión basándose en la hipótesis de procesamiento plano

Limitaciones

1. Construcción Manual: El modelo RASP está diseñado manualmente, no aprendido
2. Limitación de Vocabulario: Asume que el mapeo de categoría gramatical y tipo de verbo es conocido, no resuelve generalización de vocabulario
3. Específico del Idioma: Solo para inglés, la aplicabilidad a otros idiomas es desconocida
4. Específico de Tarea: El modelo está diseñado específicamente para COGS, no es un modelo de lenguaje universal

Direcciones Futuras

1. Algoritmos de Aprendizaje: Investigar cómo hacer que Transformer aprenda reglas de enmascaramiento similares
2. Objetivos de Entrenamiento: Explorar métodos como aumento de datos, aprendizaje por currículum, aprendizaje por refuerzo
3. Mejora de Arquitectura: Diseñar mejores sesgos inductivos para promover generalización composicional
4. Extensión Multilingüe: Verificar la efectividad del método en otros idiomas

Evaluación Profunda

Fortalezas

1. Contribución Teórica: La prueba constructiva aclara los límites de capacidad teórica de Transformer
2. Innovación Metodológica: La solución plana propuesta desafía la suposición de necesidad de representaciones jerárquicas
3. Rigor Empírico: El análisis detallado de errores y verificación de predicciones fortalecen la credibilidad de las conclusiones
4. Completitud de Ingeniería: Proporciona código completamente reproducible y documentación detallada de implementación
5. Perspectivas Profundas: La teoría de errores de atracción proporciona una nueva perspectiva para comprender el fracaso de Transformer

Insuficiencias

1. Limitaciones de Practicidad: El modelo RASP se ejecuta extremadamente lentamente, solo es adecuado para investigación, no para aplicaciones prácticas
2. Ausencia de Aprendizaje: No resuelve el problema central de cómo hacer que Transformer aprenda automáticamente estas reglas
3. Rango de Evaluación: Se enfoca principalmente en generalización estructural, con atención insuficiente a generalización de vocabulario
4. Intensidad de Suposiciones: La suposición de que el mapeo de categoría gramatical es conocido puede no ser realista en aplicaciones prácticas

Impacto

1. Impacto Teórico: Proporciona un nuevo marco teórico y herramientas de análisis para investigación de generalización composicional
2. Impacto Metodológico: El método de análisis RASP puede aplicarse ampliamente a investigación de otras capacidades de Transformer
3. Orientación Práctica: Proporciona direcciones técnicas específicas para mejorar el entrenamiento de Transformer

Escenarios Aplicables

1. Herramienta de Investigación: Como herramienta teórica para analizar capacidades de Transformer
2. Prueba de Referencia: Proporciona implementación de referencia para evaluar capacidades de generalización composicional
3. Recurso Educativo: Ayuda a comprender los mecanismos internos de funcionamiento de Transformer
4. Inspiración de Diseño de Algoritmos: Proporciona inspiración para diseñar algoritmos mejores de generalización composicional

Referencias

1. Kim, N., & Linzen, T. (2020). COGS: A compositional generalization challenge based on semantic interpretation. EMNLP 2020.
2. Wu, Z., Manning, C. D., & Potts, C. (2024). ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. TACL.
3. Weiss, G., Goldberg, Y., & Yahav, E. (2021). Thinking like transformers. NeurIPS 2021.
4. Zhou, H., et al. (2023). What algorithms can transformers learn? A study in length generalization. arXiv preprint.
5. Zeller, A., et al. (2023). Grammar coverage. In The Fuzzing Book.

Este artículo, mediante análisis teórico riguroso y verificación empírica, proporciona perspectivas importantes para comprender las capacidades y limitaciones de Transformer en tareas de generalización composicional. Aunque existen algunas limitaciones de practicidad, sus contribuciones teóricas e innovaciones metodológicas tienen valor importante para avanzar la investigación relacionada.