Exploration de la Généralisation Compositionnelle (dans COGS/ReCOGS_pos) par les Transformers utilisant le Traitement de Séquences à Accès Restreint (RASP)

Informations Fondamentales

• ID de l'article : 2504.15349
• Titre : Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
• Auteur : William Bruns
• Classification : cs.CL (Linguistique Computationnelle)
• Date de publication : 14 octobre 2025 (arXiv v3)
• Lien de l'article : https://arxiv.org/abs/2504.15349v3

Résumé

Les humains peuvent comprendre de nouvelles combinaisons de vocabulaire identifiées dans des contextes différents, capacité appelée généralisation compositionnelle. L'évaluation COGS rapporte que les modèles Transformer atteignent une précision de 0% sur certaines généralisations structurelles. Cet article utilise le langage RASP (Traitement de Séquences à Accès Restreint) pour démontrer que les encodeurs-décodeurs Transformer peuvent exécuter systématiquement et compositionnellement les tâches COGS et ReCOGS_pos sémantiquement équivalentes : le modèle RASP atteint des scores quasi-parfaits sur les divisions de généralisation structurelle. La recherche montre que les tâches (Re)COGS ne nécessitent pas de solutions hiérarchiques ou arborescentes, mais utilisent plutôt 19 règles de correspondance de motifs plats compatibles avec les têtes d'attention, en masquant les syntagmes prépositionnels et les propositions pour identifier les motifs grammaticaux.

Contexte et Motivation de la Recherche

Définition du Problème

Le problème fondamental que cette recherche vise à résoudre est la limitation des capacités des modèles Transformer dans les tâches de généralisation compositionnelle, en particulier les mauvaises performances sur l'évaluation COGS (Défi de Généralisation Compositionnelle basé sur l'Interprétation Sémantique).

Importance

1. Signification théorique : La généralisation compositionnelle est une capacité fondamentale de la compréhension du langage humain ; comprendre comment les réseaux de neurones réalisent cette capacité est crucial pour faire progresser la compréhension du langage par l'IA
2. Signification pratique : La précision quasi-nulle des modèles Transformer actuels sur les tâches de généralisation structurelle indique des limitations fondamentales qui nécessitent des solutions

Limitations des Approches Existantes

1. Limitation des réseaux peu profonds : L'encodeur-décodeur à 2 couches utilisé par Kim et Linzen (2020) montre des performances extrêmement faibles sur la généralisation structurelle
2. Hypothèse hiérarchique erronée : Les recherches existantes supposent que des structures arborescentes ou des représentations hiérarchiques sont nécessaires pour résoudre les tâches COGS
3. Inefficacité de la profondeur : Petty et al. (2024) constatent que même avec 32 couches, le Transformer n'améliore pas la généralisation structurelle COGS

Motivation de la Recherche

L'auteur s'inspire de Zhou et al. (2023) utilisant RASP pour analyser les capacités de généralisation des Transformers, tentant de démontrer par preuve constructive que les encodeurs-décodeurs Transformer peuvent théoriquement résoudre les tâches COGS et d'analyser les raisons des échecs des modèles existants.

Contributions Fondamentales

1. Preuve constructive : Utilisation du langage RASP pour démontrer que les encodeurs-décodeurs Transformer peuvent théoriquement résoudre systématiquement les tâches COGS et ReCOGS_pos
2. Solution plate : Proposition d'une solution non-hiérarchique basée sur 19 règles de correspondance de motifs plats, sans nécessiter de règles arborescentes récursives
3. Analyse des erreurs : Prédiction et vérification des motifs d'erreurs spécifiques des Transformers de base par la théorie des « erreurs d'attraction »
4. Percée de performance : Le modèle RASP atteint 99,89% de correspondance exacte de chaîne sur COGS et 99,63% de correspondance sémantique exacte sur ReCOGS_pos
5. Nouvelle division de généralisation : Découverte et vérification d'une nouvelle division de généralisation difficile « v_dat_p2_pp_moved_to_recipient »

Explication Détaillée de la Méthode

Définition de la Tâche

Les tâches COGS/ReCOGS nécessitent la conversion de phrases en grammaire anglaise simplifiée en formes logiques (FL) :

• Entrée : Phrase en anglais (par exemple « A scientist lended a cat a donut »)
• Sortie : Forme logique (par exemple « scientist(1); cat(4); donut(6); lend(2) AND agent(2,1) AND recipient(2,4) AND theme(2,6) »)
• Évaluation : Correspondance exacte de chaîne (COGS) ou correspondance sémantique exacte (ReCOGS)

Architecture du Modèle

Cadre de Programmation RASP

RASP est un langage de programmation compilable en poids de Transformer, utilisé ici pour construire un modèle encodeur-décodeur :

1. Couche d'intégration : Mappage des tokens au niveau des mots vers les étiquettes de parties du discours et de types de verbes
2. Encodeur : Utilisation de 19 têtes d'attention compatibles avec des correspondeurs de motifs plats
3. Boucle de décodeur : Génération autorégressive de tokens de forme logique

Conception des Composants Fondamentaux

1. Mappage d'Intégration de Parties du Discours

Vocabulaire → {det: 1, common_noun: 7, proper_noun: 8, v_dat: 18, ...}

2. Correspondeurs de Motifs Plats 19 motifs couvrant toutes les règles grammaticales non-récursives, par exemple :

• np v_dat_p2 np np (par exemple « Liam forwarded the girl the donut »)
• np was v_trans_omissible_pp_p2 by np (voix passive)

3. Mécanisme de Masquage Innovation clé : masquage des noms de syntagmes prépositionnels lors de l'extraction des relations nom-verbe :

no_pp_np_mask = 1 - aggregate((pp_one_after_mask and np_prop_diag_mask) or 
                              (pp_two_after_mask and np_det_diag_mask), 1)

Points d'Innovation Technique

1. Solution Non-Récursive

Contrairement aux hypothèses traditionnelles, le modèle n'utilise pas de règles récursives comme np_det pp np → np_pp → np, mais plutôt :

• Identification des motifs grammaticaux principaux dans l'encodeur
• Dépliage des structures récursives dans le décodeur

2. Évitement des Erreurs d'Attraction

Prévention des noms de syntagmes prépositionnels « attirant » des relations grammaticales incorrectes par le mécanisme de masquage :

Erreur : The cake on the plate burned → theme(burn, plate)  # Erreur d'attraction
Correct : The cake on the plate burned → theme(burn, cake)   # Après masquage

3. Dépliage de la Boucle de Décodeur

Les structures récursives sont traitées par la boucle de décodeur, supportant l'imbrication arbitraire de syntagmes prépositionnels et de propositions.

Configuration Expérimentale

Ensemble de Données

• COGS : 24 155 exemples d'entraînement, 3 000 exemples de test, 21 000 exemples de généralisation
• ReCOGS_pos : Version ReCOGS utilisant des indices de position, sémantiquement équivalente mais permettant la correspondance sémantique exacte
• Couverture grammaticale : Vérification que 19 règles couvrent 100% de la grammaire non-récursive en utilisant la méthode de Zeller et al. (2023)

Métriques d'Évaluation

• Correspondance exacte de chaîne : Formes logiques identiques
• Correspondance sémantique exacte : Formes logiques sémantiquement équivalentes mais avec indices et ordres potentiellement différents
• Taux de couverture grammaticale : Proportion de l'extension grammaticale supportée par le modèle par rapport à la grammaire totale

Méthodes de Comparaison

• Ligne de base Wu et al. (2024) : Transformer encodeur-décodeur à 2 couches
• Variantes de profondeur : Versions à 3 et 4 couches
• Versions avec augmentation de données : Ajout d'exemples de modification par syntagmes prépositionnels spécifiques

Détails d'Implémentation

• Utilisation de l'interpréteur RASP officiel pour l'évaluation
• Mappage de vocabulaire basé sur tous les vocabulaires de l'ensemble d'entraînement COGS
• Programme déterministe utilisant l'intervalle de confiance de Clopper-Pearson

Résultats Expérimentaux

Résultats Principaux

Performance du Modèle RASP

COGS (Correspondance Exacte de Chaîne)

• Ensemble de test : 99,97% (99,81-99,99%)
• obj_pp_to_subj_pp : 100,00% (99,63-100,00%)
• pp_recursion : 98,40% (97,41-99,08%)
• cp_recursion : 99,90% (99,44-99,997%)
• Généralisation globale : 99,89% (99,83-99,93%)

ReCOGS_pos (Correspondance Sémantique Exacte)

• Ensemble de test : 100,00% (99,88-100,00%)
• obj_pp_to_subj_pp : 92,20% (90,36-93,79%)
• pp_recursion : 100,00% (99,63-100,00%)
• cp_recursion : 100,00% (99,63-100,00%)
• Généralisation globale : 99,63% (99,54-99,71%)

Comparaison de Performance avec la Ligne de Base Transformer

Ligne de base Wu et al. (2024) (ReCOGS_pos)

• pp_recursion : 40,2% ± 9,3%
• cp_recursion : 52,4% ± 1,4%
• obj_pp_to_subj_pp : 19,7% ± 6,1%

Analyse des Erreurs d'Attraction

L'analyse des erreurs du Transformer de base valide les prédictions théoriques :

• 96,73% des erreurs de relation unique correspondent au motif d'erreur d'attraction
• 100% des erreurs de syntagmes prépositionnels de profondeur 2 pointent vers le nom prépositionnel le plus proche
• Confirmation de l'hypothèse de traitement linéaire non-hiérarchique

Vérification de la Nouvelle Division de Généralisation

Division « v_dat_p2_pp_moved_to_recipient » :

• Performance de la ligne de base : 13% ± 15,6% (comparable aux divisions les plus difficiles)
• Soutient l'hypothèse de traitement plat plutôt que de structure arborescente

Inefficacité de l'Augmentation du Nombre de Couches

L'augmentation du nombre de couches Transformer (3-4 couches) n'améliore pas la performance sur obj_pp_to_subj_pp, confirmant les découvertes de Petty et al. (2024).

Travaux Connexes

Recherche sur la Généralisation Compositionnelle

• Évaluation COGS : Kim et Linzen (2020) proposent l'évaluation, rapportant une précision de généralisation structurelle quasi-nulle pour les Transformers
• Amélioration ReCOGS : Wu et al. (2024) obtiennent une précision non-nulle mais toujours faible par correspondance sémantique exacte
• Approches hiérarchiques : Liu et al. (2021), Weißenhorn et al. (2022) utilisent des structures arborescentes explicites pour obtenir des performances élevées

Applications Connexes de RASP

• RASP original : Weiss et al. (2021) pour analyser les capacités des encodeurs Transformer
• Extension de décodeur : Zhou et al. (2023) étendent aux décodeurs autorégressifs, analysant la généralisation de longueur
• Application spécifique à la tâche : Première application de RASP à une tâche complexe d'analyse sémantique

Recherche sur les Erreurs d'Attraction

• Fondement linguistique : Jespersen (1954) décrit les erreurs d'attraction sujet-verbe
• Attraction dans les réseaux de neurones : van Schijndel et al. (2019), Goldberg (2019) observent des phénomènes similaires dans les Transformers

Conclusions et Discussion

Conclusions Principales

1. Faisabilité théorique : Les Transformers peuvent théoriquement résoudre les tâches COGS par correspondance de motifs plats, sans nécessiter de représentations hiérarchiques
2. Mécanisme clé : Le masquage des noms de syntagmes prépositionnels est crucial pour éviter les erreurs d'attraction
3. Problème d'apprentissage : L'échec des Transformers actuels est un problème d'apprentissage plutôt qu'une limitation de capacité
4. Erreurs prévisibles : Les erreurs spécifiques du modèle de base peuvent être prédites avec précision basées sur l'hypothèse de traitement plat

Limitations

1. Construction manuelle : Le modèle RASP est conçu manuellement, non appris
2. Limitation de vocabulaire : Suppose que le mappage des parties du discours et des types de verbes est connu, ne résout pas la généralisation de vocabulaire
3. Spécificité linguistique : Limité à l'anglais, l'applicabilité à d'autres langues est inconnue
4. Spécificité de tâche : Le modèle est conçu spécifiquement pour COGS, pas un modèle de langage généraliste

Directions Futures

1. Algorithmes d'apprentissage : Recherche sur comment faire apprendre aux Transformers des règles de masquage similaires
2. Objectifs d'entraînement : Exploration de l'augmentation de données, l'apprentissage par curriculum, l'apprentissage par renforcement
3. Amélioration architecturale : Conception de meilleurs biais inductifs pour promouvoir la généralisation compositionnelle
4. Extension multilingue : Validation de l'efficacité de la méthode sur d'autres langues

Évaluation Approfondie

Avantages

1. Contribution théorique : Clarification des limites théoriques des capacités des Transformers par preuve constructive
2. Innovation méthodologique : La solution plate proposée remet en question l'hypothèse de nécessité des représentations hiérarchiques
3. Rigueur empirique : L'analyse détaillée des erreurs et la vérification des prédictions renforcent la crédibilité des conclusions
4. Complétude d'ingénierie : Fourniture de code entièrement reproductible et de documentation d'implémentation détaillée
5. Perspicacité profonde : La théorie des erreurs d'attraction offre une nouvelle perspective pour comprendre les échecs des Transformers

Insuffisances

1. Limitation de praticité : Le modèle RASP s'exécute extrêmement lentement, applicable uniquement à la recherche plutôt qu'aux applications pratiques
2. Absence d'apprentissage : Ne résout pas le problème fondamental de comment faire apprendre automatiquement ces règles aux Transformers
3. Portée d'évaluation : Accent principal sur la généralisation structurelle, attention insuffisante à la généralisation de vocabulaire
4. Force des hypothèses : L'hypothèse que le mappage des parties du discours est connu peut être irréaliste dans les applications pratiques

Impact

1. Impact théorique : Fournit un nouveau cadre théorique et des outils d'analyse pour la recherche sur la généralisation compositionnelle
2. Impact méthodologique : La méthode d'analyse RASP peut être largement appliquée à d'autres recherches sur les capacités des Transformers
3. Orientation pratique : Fournit des directions techniques spécifiques pour améliorer l'entraînement des Transformers

Scénarios Applicables

1. Outil de recherche : Comme outil théorique pour analyser les capacités des Transformers
2. Évaluation comparative : Fourniture d'une implémentation de référence pour évaluer les capacités de généralisation compositionnelle
3. Ressource pédagogique : Aide à la compréhension des mécanismes internes de fonctionnement des Transformers
4. Conception d'algorithmes : Inspiration pour la conception d'algorithmes meilleurs pour la généralisation compositionnelle

Références

1. Kim, N., & Linzen, T. (2020). COGS: A compositional generalization challenge based on semantic interpretation. EMNLP 2020.
2. Wu, Z., Manning, C. D., & Potts, C. (2024). ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. TACL.
3. Weiss, G., Goldberg, Y., & Yahav, E. (2021). Thinking like transformers. NeurIPS 2021.
4. Zhou, H., et al. (2023). What algorithms can transformers learn? A study in length generalization. arXiv preprint.
5. Zeller, A., et al. (2023). Grammar coverage. In The Fuzzing Book.

Cet article fournit des perspectives importantes pour comprendre les capacités et les limitations des Transformers dans les tâches de généralisation compositionnelle par une analyse théorique rigoureuse et une vérification empirique. Bien qu'il présente certaines limitations pratiques, ses contributions théoriques et innovations méthodologiques ont une valeur importante pour faire progresser la recherche connexe.