Erforschung der Kompositionalen Generalisierung (in COGS/ReCOGS_pos) durch Transformer mittels Restricted Access Sequence Processing (RASP)

Grundlegende Informationen

• Paper-ID: 2504.15349
• Titel: Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
• Autor: William Bruns
• Klassifikation: cs.CL (Computerlinguistik)
• Veröffentlichungsdatum: 14. Oktober 2025 (arXiv v3)
• Paper-Link: https://arxiv.org/abs/2504.15349v3

Zusammenfassung

Menschen können neue Kombinationen von Wörtern verstehen, die in unterschiedlichen Kontexten erkannt werden – eine Fähigkeit, die als kompositionalen Generalisierung bezeichnet wird. Der COGS-Benchmark meldet, dass Transformer-Modelle bei bestimmten strukturellen Generalisierungen eine Genauigkeit von 0% aufweisen. Dieses Paper verwendet die RASP-Sprache (Restricted Access Sequence Processing), um zu beweisen, dass Transformer-Encoder-Decoder die COGS- und semantisch äquivalenten ReCOGS_pos-Aufgaben systematisch und kompositionell ausführen können: Das RASP-Modell erreicht nahezu perfekte Ergebnisse bei der strukturellen Generalisierungsteilung. Die Forschung zeigt, dass (Re)COGS-Aufgaben keine hierarchischen oder Baumstruktur-Lösungen erfordern, sondern stattdessen 19 Aufmerksamkeitsköpfe mit kompatiblen flachen Musterabgleichsregeln verwenden, die grammatikalische Muster durch Maskierung von Präpositionalphrasen und Nebensätzen identifizieren.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Forschung ist die Einschränkung der Fähigkeiten von Transformer-Modellen bei Aufgaben der kompositionalen Generalisierung, insbesondere die schlechte Leistung beim COGS-Benchmark (Compositional Generalization Challenge Based on Semantic Interpretation).

Bedeutung

1. Theoretische Bedeutung: Kompositionalen Generalisierung ist eine Kernfähigkeit des menschlichen Sprachverständnisses. Das Verständnis, wie neuronale Netze diese Fähigkeit implementieren, ist entscheidend für die Förderung des Sprachverständnisses in der KI.
2. Praktische Bedeutung: Die nahezu 0%ige Genauigkeit aktueller Transformer-Modelle bei strukturellen Generalisierungsaufgaben deutet auf grundlegende Einschränkungen hin, die Lösungen erfordern.

Einschränkungen bestehender Methoden

1. Flache Netzwerk-Einschränkungen: Der von Kim und Linzen (2020) verwendete 2-schichtige Encoder-Decoder zeigt extrem schlechte Leistung bei struktureller Generalisierung.
2. Fehlerhafte Hierarchie-Annahme: Bestehende Forschung geht davon aus, dass Baumstrukturen oder hierarchische Darstellungen erforderlich sind, um COGS-Aufgaben zu lösen.
3. Ineffektivität der Tiefe: Petty et al. (2024) stellten fest, dass selbst eine Erhöhung auf 32 Schichten die Leistung des Transformer bei COGS-Strukturgeneralisierung nicht verbessert.

Forschungsmotivation

Der Autor wurde von Zhou et al. (2023) inspiriert, die RASP zur Analyse der Generalisierungsfähigkeiten von Transformern verwendeten. Er versucht, durch konstruktive Beweise zu zeigen, dass Transformer theoretisch COGS-Aufgaben lösen können, und analysiert, warum bestehende Modelle fehlschlagen.

Kernbeiträge

1. Konstruktiver Beweis: Verwendung der RASP-Sprache zum Beweis, dass Transformer-Encoder-Decoder theoretisch COGS- und ReCOGS_pos-Aufgaben systematisch lösen können.
2. Flache Lösung: Vorschlag einer nicht-hierarchischen Lösung basierend auf 19 flachen Musterabgleichsregeln ohne rekursive Baumstruktur-Regeln.
3. Fehleranalyse: Vorhersage und Validierung spezifischer Fehlermuster des Basis-Transformers durch die Theorie der "Anziehungsfehler" (attraction errors).
4. Leistungsdurchbruch: RASP-Modell erreicht 99,89% String-Exact-Match auf COGS und 99,63% semantisches Exact-Match auf ReCOGS_pos.
5. Neue Generalisierungsteilung: Entdeckung und Validierung einer neuen schwierigen Generalisierungsteilung "v_dat_p2_pp_moved_to_recipient".

Methodische Details

Aufgabendefinition

COGS/ReCOGS-Aufgaben erfordern die Umwandlung von Sätzen mit vereinfachter englischer Grammatik in logische Formen (LF):

• Eingabe: Englischer Satz (z.B. "A scientist lended a cat a donut")
• Ausgabe: Logische Form (z.B. "scientist(1); cat(4); donut(6); lend(2) AND agent(2,1) AND recipient(2,4) AND theme(2,6)")
• Bewertung: String-Exact-Match (COGS) oder semantisches Exact-Match (ReCOGS)

Modellarchitektur

RASP-Programmierframework

RASP ist eine Programmiersprache, die in Transformer-Gewichte kompilierbar ist. Dieses Paper verwendet sie zum Aufbau eines Encoder-Decoder-Modells:

1. Einbettungsschicht: Abbildung von Token auf Wortart- und Verb-Typ-Etiketten
2. Encoder: Verwendung von 19 Aufmerksamkeitsköpfen mit kompatiblen flachen Musterabgleichern
3. Decoder-Schleife: Autoregressives Generieren von logischen Form-Token

Kernkomponentendesign

1. Wortart-Einbettungszuordnung

Vokabular → {det: 1, common_noun: 7, proper_noun: 8, v_dat: 18, ...}

2. Flache Musterabgleicher 19 Muster umfassen alle nicht-rekursiven Grammatikregeln, z.B.:

• np v_dat_p2 np np (z.B. "Liam forwarded the girl the donut")
• np was v_trans_omissible_pp_p2 by np (Passivform)

3. Maskierungsmechanismus Schlüsselinnovation: Maskierung von Präpositionalphrasen-Nomen beim Extrahieren von Nomen-Verb-Beziehungen:

no_pp_np_mask = 1 - aggregate((pp_one_after_mask and np_prop_diag_mask) or 
                              (pp_two_after_mask and np_det_diag_mask), 1)

Technische Innovationen

1. Nicht-rekursive Lösung

Im Gegensatz zu konventionellen Annahmen verwendet das Modell keine rekursiven Regeln wie np_det pp np → np_pp → np, sondern:

• Identifizierung von Hauptgrammatikmustern im Encoder
• Entfaltung rekursiver Strukturen im Decoder

2. Vermeidung von Anziehungsfehlern

Durch Maskierungsmechanismen werden Fehler vermieden, bei denen Nomen in Präpositionalphrasen "falsche" grammatikalische Beziehungen "anziehen":

Fehler: The cake on the plate burned → theme(burn, plate)  # Anziehungsfehler
Korrekt: The cake on the plate burned → theme(burn, cake)   # Nach Maskierung

3. Decoder-Schleife-Entfaltung

Rekursive Strukturen werden durch Decoder-Schleifen verarbeitet und unterstützen beliebig tiefe Verschachtelungen von Präpositionalphrasen und Nebensätzen.

Experimentelle Einrichtung

Datensätze

• COGS: 24.155 Trainingsbeispiele, 3.000 Testbeispiele, 21.000 Generalisierungsbeispiele
• ReCOGS_pos: ReCOGS-Version mit Positionsindizes, semantisch äquivalent, aber mit semantischem Exact-Match
• Grammatikalische Abdeckung: Validierung mittels Zeller et al. (2023), dass 19 Regeln 100% der nicht-rekursiven Grammatik abdecken

Bewertungsmetriken

• String-Exact-Match: Identische logische Form-Strings
• Semantisches Exact-Match: Semantisch äquivalente, aber unterschiedliche Indizes und Reihenfolge
• Grammatikalische Abdeckungsrate: Anteil der vom Modell unterstützten Grammatik an der Gesamtgrammatik

Vergleichsmethoden

• Wu et al. (2024) Baseline: 2-schichtiger Encoder-Decoder Transformer
• Schicht-Varianten: 3- und 4-schichtige Versionen
• Datenaugmentierungsversionen: Mit zusätzlichen Beispielen für Präpositionalphrasen-Modifikationen

Implementierungsdetails

• Verwendung des offiziellen RASP-Interpreters zur Programmbewertung
• Vokabular-Zuordnung basierend auf allen Wörtern im COGS-Trainingssatz
• Deterministische Programme mit Clopper-Pearson-Konfidenzintervallen

Experimentelle Ergebnisse

Hauptergebnisse

RASP-Modellleistung

COGS (String-Exact-Match)

• Testsatz: 99,97% (99,81-99,99%)
• obj_pp_to_subj_pp: 100,00% (99,63-100,00%)
• pp_recursion: 98,40% (97,41-99,08%)
• cp_recursion: 99,90% (99,44-99,997%)
• Gesamte Generalisierung: 99,89% (99,83-99,93%)

ReCOGS_pos (Semantisches Exact-Match)

• Testsatz: 100,00% (99,88-100,00%)
• obj_pp_to_subj_pp: 92,20% (90,36-93,79%)
• pp_recursion: 100,00% (99,63-100,00%)
• cp_recursion: 100,00% (99,63-100,00%)
• Gesamte Generalisierung: 99,63% (99,54-99,71%)

Vergleich der Basis-Transformer-Leistung

Wu et al. (2024) Baseline (ReCOGS_pos)

• pp_recursion: 40,2% ± 9,3%
• cp_recursion: 52,4% ± 1,4%
• obj_pp_to_subj_pp: 19,7% ± 6,1%

Anziehungsfehler-Analyse

Fehleranalyse des Basis-Transformers validiert theoretische Vorhersagen:

• 96,73% der Einzelbeziehungsfehler entsprechen dem Anziehungsfehler-Muster
• 100% der Fehler bei Präpositionalphrasen der Tiefe 2 zeigen auf das nächste Präpositionalnomen
• Bestätigt die Hypothese der nicht-hierarchischen linearen Verarbeitung

Validierung neuer Generalisierungsteilung

"v_dat_p2_pp_moved_to_recipient"-Teilung:

• Basis-Leistung: 13% ± 15,6% (vergleichbar mit schwierigsten Teilungen)
• Unterstützt flache Verarbeitungshypothese statt Baumstruktur-Hypothese

Ineffektivität erhöhter Schichtzahl

Erhöhung der Transformer-Schichtzahl (3-4 Schichten) verbessert die Leistung bei obj_pp_to_subj_pp nicht, konsistent mit Petty et al. (2024).

Verwandte Arbeiten

Forschung zur kompositionalen Generalisierung

• COGS-Benchmark: Kim und Linzen (2020) schlugen vor, dass Transformer nahezu 0% strukturelle Generalisierungsgenauigkeit aufweisen
• ReCOGS-Verbesserung: Wu et al. (2024) erreichten durch semantisches Exact-Match nicht-null, aber immer noch niedrige Genauigkeit
• Hierarchische Methoden: Liu et al. (2021), Weißenhorn et al. (2022) verwendeten explizite Baumstrukturen für hohe Leistung

RASP-bezogene Anwendungen

• Original-RASP: Weiss et al. (2021) zur Analyse von Transformer-Encoder-Fähigkeiten
• Decoder-Erweiterung: Zhou et al. (2023) erweiterten auf autoregressiven Decoder zur Analyse der Längengeneralisierung
• Aufgabenspezifische Anwendung: Erste Anwendung von RASP auf komplexe semantische Parsing-Aufgaben

Forschung zu Anziehungsfehlern

• Linguistische Grundlagen: Jespersen (1954) beschrieb Anziehungsfehler bei Subjekt-Verb-Kongruenz
• Anziehung in neuronalen Netzen: van Schijndel et al. (2019), Goldberg (2019) beobachteten ähnliche Phänomene in Transformern

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Theoretische Machbarkeit: Transformer können COGS-Aufgaben theoretisch durch flache Musterabgleichung lösen, ohne hierarchische Darstellungen zu benötigen.
2. Schlüsselmechanismus: Maskierung von Präpositionalphrasen-Nomen ist entscheidend zur Vermeidung von Anziehungsfehlern.
3. Lernproblem: Das Versagen aktueller Transformer ist ein Lernproblem, nicht eine Fähigkeitsbegrenzung.
4. Fehler vorhersagbar: Spezifische Fehlermuster von Basis-Modellen können basierend auf der flachen Verarbeitungshypothese genau vorhergesagt werden.

Einschränkungen

1. Handwerkliche Konstruktion: Das RASP-Modell ist handwerklich entworfen, nicht gelernt.
2. Vokabular-Einschränkung: Setzt bekannte Wortart- und Verb-Typ-Zuordnungen voraus, löst nicht das Vokabular-Generalisierungsproblem.
3. Sprachspezifisch: Nur für Englisch, Anwendbarkeit auf andere Sprachen unbekannt.
4. Aufgabenspezifisch: Modell speziell für COGS entworfen, nicht ein allgemeines Sprachmodell.

Zukünftige Richtungen

1. Lernalgorithmen: Erforschung, wie Transformer ähnliche Maskierungsregeln lernen können.
2. Trainingsziele: Erkundung von Datenerweiterung, Curriculum-Learning, Reinforcement Learning und anderen Methoden.
3. Architektur-Verbesserungen: Entwurf besserer induktiver Verzerrungen zur Förderung der kompositionalen Generalisierung.
4. Mehrsprachige Erweiterung: Validierung der Methode auf anderen Sprachen.

Tiefe Bewertung

Stärken

1. Theoretischer Beitrag: Konstruktive Beweise klären die theoretischen Fähigkeitsgrenzen von Transformern.
2. Methodische Innovation: Die vorgeschlagene flache Lösung stellt die Notwendigkeit hierarchischer Darstellungen in Frage.
3. Empirische Strenge: Detaillierte Fehleranalyse und Vorhersagevalidierung erhöhen die Glaubwürdigkeit der Schlussfolgerungen.
4. Technische Vollständigkeit: Bereitstellung vollständig reproduzierbaren Codes und detaillierter Implementierungsdokumentation.
5. Tiefe Einsichten: Die Anziehungsfehler-Theorie bietet neue Perspektiven zum Verständnis von Transformer-Fehlern.

Schwächen

1. Praktische Einschränkungen: RASP-Modelle laufen extrem langsam, geeignet nur für Forschung, nicht praktische Anwendung.
2. Fehlende Lernkomponente: Löst nicht das Kernproblem, wie Transformer diese Regeln automatisch lernen können.
3. Begrenzte Bewertungsreichweite: Fokus auf strukturelle Generalisierung, weniger Aufmerksamkeit für Vokabular-Generalisierung.
4. Starke Annahmen: Die Annahme bekannter Wortart-Zuordnungen ist in praktischen Anwendungen möglicherweise unrealistisch.

Auswirkungen

1. Theoretische Auswirkungen: Bietet neues theoretisches Framework und Analysewerkzeuge für Forschung zur kompositionalen Generalisierung.
2. Methodische Auswirkungen: RASP-Analysemethode könnte breit auf andere Transformer-Fähigkeitsstudien angewendet werden.
3. Praktische Orientierung: Bietet spezifische technische Richtungen zur Verbesserung des Transformer-Trainings.

Anwendungsszenarien

1. Forschungswerkzeug: Als theoretisches Werkzeug zur Analyse von Transformer-Fähigkeiten.
2. Benchmark-Test: Bereitstellung von Referenzimplementierungen zur Bewertung der Fähigkeiten zur kompositionalen Generalisierung.
3. Lehrmaterial: Hilft beim Verständnis der internen Arbeitsmechanismen von Transformern.
4. Algorithmus-Design: Bietet Inspirationen für die Gestaltung besserer Algorithmen für kompositionalen Generalisierung.

Literaturverzeichnis

1. Kim, N., & Linzen, T. (2020). COGS: A compositional generalization challenge based on semantic interpretation. EMNLP 2020.
2. Wu, Z., Manning, C. D., & Potts, C. (2024). ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. TACL.
3. Weiss, G., Goldberg, Y., & Yahav, E. (2021). Thinking like transformers. NeurIPS 2021.
4. Zhou, H., et al. (2023). What algorithms can transformers learn? A study in length generalization. arXiv preprint.
5. Zeller, A., et al. (2023). Grammar coverage. In The Fuzzing Book.

Dieses Paper trägt durch strenge theoretische Analysen und empirische Validierung wichtige Erkenntnisse zum Verständnis der Fähigkeiten und Einschränkungen von Transformern bei Aufgaben der kompositionalen Generalisierung bei. Obwohl es praktische Einschränkungen gibt, haben seine theoretischen Beiträge und methodischen Innovationen wichtigen Wert für die Förderung verwandter Forschung.