2025-11-24T22:34:17.172236

Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)

Bruns

Humans understand new combinations of words encountered if they are combinations of words recognized from different contexts, an ability called Compositional Generalization. The COGS benchmark (Kim and Linzen, 2020) arXiv:2010.05465 reports 0% accuracy for Transformer models on some structural generalizations. We use (Weiss et al., 2021) arXiv:2106.06981's Restricted Access Sequence Processing (RASP), a Transformer-equivalent programming language, to demonstrate that a Transformer Encoder-Decoder can perform COGS and the semantically equivalent ReCOGS_pos (Wu et al., 2024) arXiv:2303.13716 systematically and compositionally: Our RASP models attain near perfect scores on structural generalization splits on COGS (exact match) and ReCOGS_pos (semantic exact match). Our RASP models show the (Re)COGS tasks do not require a hierarchical or tree-structured solution (contrary to (Kim and Linzen, 2020) arXiv:2010.05465, (Yao and Koller, 2022) arXiv:2210.13050, (Murty et al., 2022) arXiv:2211.01288, (Liu et al., 2021) arXiv:2107.06516): we use word-level tokens with an "embedding" layer that tags with possible part of speech, applying just once per encoder pass 19 attention-head compatible flat pattern-matching rules (easily identified with specific training examples), shown using grammar coverage (Zeller et al., 2023) to cover the non-recursive aspects of the input grammar, plus masking out prepositional phrases ("pp noun") and/or sentential complements (cp) when recognizing grammar patterns and extracting nouns related to the main verb in the sentence, and output the next logical form (LF) token (repeating until the LF is complete). The models do not apply recursive, tree-structured rules like "np_det pp np -> np_pp -> np", but score near perfect semantic and string exact match on both COGS and ReCOGS pp recursion, cp recursion using the decoder loop.

academic

Transformers द्वारा Restricted Access Sequence Processing (RASP) का उपयोग करके Compositional Generalization की खोज (COGS/ReCOGS_pos में)

मूल जानकारी

पेपर ID: 2504.15349
शीर्षक: Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
लेखक: William Bruns
वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
प्रकाशन समय: 14 अक्टूबर 2025 (arXiv v3)
पेपर लिंक: https://arxiv.org/abs/2504.15349v3

सारांश

मनुष्य विभिन्न संदर्भों में पहचाने गए शब्दों के नए संयोजनों को समझने में सक्षम हैं, इस क्षमता को Compositional Generalization (संरचनात्मक सामान्यीकरण) कहा जाता है। COGS बेंचमार्क रिपोर्ट करता है कि Transformer मॉडल कुछ संरचनात्मक सामान्यीकरण पर 0% सटीकता प्राप्त करते हैं। यह पेपर RASP (Restricted Access Sequence Processing) भाषा का उपयोग करके प्रमाणित करता है कि Transformer encoder-decoder COGS और शब्दार्थ रूप से समतुल्य ReCOGS_pos कार्यों को व्यवस्थित और संरचनात्मक रूप से निष्पादित कर सकते हैं: RASP मॉडल संरचनात्मक सामान्यीकरण विभाजन पर लगभग पूर्ण स्कोर प्राप्त करता है। अनुसंधान दर्शाता है कि (Re)COGS कार्यों को पदानुक्रमित या वृक्ष संरचना समाधान की आवश्यकता नहीं है, बल्कि 19 ध्यान सिर के अनुकूल समतल पैटर्न मिलान नियमों का उपयोग करते हैं, जो पूर्वसर्ग वाक्यांशों और खंडों को मास्क करके व्याकरणिक पैटर्न की पहचान करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान का मूल समस्या Transformer मॉडल की संरचनात्मक सामान्यीकरण कार्यों पर क्षमता सीमा है, विशेष रूप से COGS (Compositional Generalization Challenge Based on Semantic Interpretation) बेंचमार्क में खराब प्रदर्शन की समस्या।

महत्व

सैद्धांतिक महत्व: संरचनात्मक सामान्यीकरण मानव भाषा समझ की मूल क्षमता है, तंत्रिका नेटवर्क इस क्षमता को कैसे प्राप्त करते हैं यह समझना AI की भाषा समझ को आगे बढ़ाने के लिए महत्वपूर्ण है
व्यावहारिक महत्व: वर्तमान Transformer मॉडल संरचनात्मक सामान्यीकरण कार्यों पर लगभग 0% सटीकता प्राप्त करते हैं, जो मौलिक सीमाओं का संकेत देता है

मौजूदा विधियों की सीमाएं

उथली नेटवर्क सीमा: Kim और Linzen (2020) द्वारा उपयोग किए गए 2-स्तरीय Encoder-Decoder संरचनात्मक सामान्यीकरण पर बहुत खराब प्रदर्शन करते हैं
पदानुक्रमित धारणा त्रुटि: मौजूदा अनुसंधान मानता है कि COGS कार्यों को हल करने के लिए वृक्ष संरचना या पदानुक्रमित प्रतिनिधित्व की आवश्यकता है
गहराई अप्रभावी: Petty आदि (2024) ने पाया कि 32 स्तरों तक बढ़ाने के बाद भी Transformer COGS संरचनात्मक सामान्यीकरण पर सुधार नहीं दिखाता है

अनुसंधान प्रेरणा

लेखक Zhou आदि (2023) द्वारा Transformer सामान्यीकरण क्षमता का विश्लेषण करने के लिए RASP का उपयोग करने से प्रेरित हैं, और रचनात्मक प्रमाण के माध्यम से यह दिखाने का प्रयास करते हैं कि Transformer सैद्धांतिक रूप से COGS कार्यों को हल कर सकते हैं।

मूल योगदान

रचनात्मक प्रमाण: RASP भाषा का उपयोग करके प्रमाणित करता है कि Transformer Encoder-Decoder सैद्धांतिक रूप से COGS और ReCOGS_pos कार्यों को व्यवस्थित रूप से हल कर सकते हैं
समतल समाधान: 19 समतल पैटर्न मिलान नियमों पर आधारित गैर-पदानुक्रमित समाधान प्रस्तावित करता है, जिसमें पुनरावर्ती वृक्ष संरचना नियमों की आवश्यकता नहीं है
त्रुटि विश्लेषण: "आकर्षण त्रुटि" (attraction errors) सिद्धांत के माध्यम से आधारभूत Transformer की विशिष्ट त्रुटि पैटर्न की भविष्यवाणी और सत्यापन करता है
प्रदर्शन सफलता: RASP मॉडल COGS पर 99.89% स्ट्रिंग सटीक मिलान, ReCOGS_pos पर 99.63% शब्दार्थ सटीक मिलान प्राप्त करता है
नया सामान्यीकरण विभाजन: नए कठिन सामान्यीकरण विभाजन "v_dat_p2_pp_moved_to_recipient" की खोज और सत्यापन करता है

विधि विवरण

कार्य परिभाषा

COGS/ReCOGS कार्य सरलीकृत अंग्रेजी व्याकरण के वाक्यों को तार्किक रूप (LF) में परिवर्तित करने की आवश्यकता है:

इनपुट: अंग्रेजी वाक्य (जैसे "A scientist lended a cat a donut")
आउटपुट: तार्किक रूप (जैसे "scientist(1); cat(4); donut(6); lend(2) AND agent(2,1) AND recipient(2,4) AND theme(2,6)")
मूल्यांकन: स्ट्रिंग सटीक मिलान (COGS) या शब्दार्थ सटीक मिलान (ReCOGS)

मॉडल आर्किटेक्चर

RASP प्रोग्रामिंग फ्रेमवर्क

RASP एक प्रोग्रामिंग भाषा है जो Transformer वजन में संकलित हो सकती है, यह पेपर इसका उपयोग करके Encoder-Decoder मॉडल बनाता है:

एम्बेडिंग परत: शब्द-स्तरीय टोकन को शब्द भाग और क्रिया प्रकार लेबल में मैप करता है
एनकोडर: 19 ध्यान सिर के अनुकूल समतल पैटर्न मिलान का उपयोग करता है
डिकोडर लूप: स्वचालित रूप से तार्किक रूप टोकन उत्पन्न करता है

मूल घटक डिजाइन

1. शब्द भाग एम्बेडिंग मैपिंग

शब्दावली → {det: 1, common_noun: 7, proper_noun: 8, v_dat: 18, ...}

2. समतल पैटर्न मिलान 19 पैटर्न सभी गैर-पुनरावर्ती व्याकरणिक नियमों को कवर करते हैं, उदाहरण के लिए:

np v_dat_p2 np np (जैसे "Liam forwarded the girl the donut")
np was v_trans_omissible_pp_p2 by np (निष्क्रिय वाच्य)

3. मास्किंग तंत्र मुख्य नवाचार: संज्ञा-क्रिया संबंध निकालते समय पूर्वसर्ग वाक्यांश संज्ञाओं को मास्क करना:

no_pp_np_mask = 1 - aggregate((pp_one_after_mask and np_prop_diag_mask) or 
                              (pp_two_after_mask and np_det_diag_mask), 1)

तकनीकी नवाचार बिंदु

1. गैर-पुनरावर्ती समाधान

पारंपरिक धारणा के विपरीत, मॉडल np_det pp np → np_pp → np जैसे पुनरावर्ती नियमों का उपयोग नहीं करता है, बल्कि:

एनकोडर में मुख्य व्याकरणिक पैटर्न की पहचान करता है
डिकोडर में पुनरावर्ती संरचना को विस्तारित करता है

2. आकर्षण त्रुटि से बचना

मास्किंग तंत्र के माध्यम से पूर्वसर्ग वाक्यांश में संज्ञाओं को गलत व्याकरणिक संबंध "आकर्षित" करने से बचाता है:

त्रुटि: The cake on the plate burned → theme(burn, plate)  # आकर्षण त्रुटि
सही: The cake on the plate burned → theme(burn, cake)   # मास्किंग के बाद

3. डिकोडर लूप विस्तार

पुनरावर्ती संरचना डिकोडर लूप के माध्यम से संसाधित होती है, जो पूर्वसर्ग वाक्यांश और खंड के किसी भी गहराई के नेस्टिंग का समर्थन करती है।

प्रयोगात्मक सेटअप

डेटासेट

COGS: 24,155 प्रशिक्षण उदाहरण, 3,000 परीक्षण उदाहरण, 21,000 सामान्यीकरण उदाहरण
ReCOGS_pos: स्थिति सूचकांक का उपयोग करने वाला ReCOGS संस्करण, शब्दार्थ रूप से समतुल्य लेकिन शब्दार्थ सटीक मिलान की अनुमति देता है
व्याकरणिक कवरेज: Zeller आदि (2023) की विधि का उपयोग करके सत्यापित करता है कि 19 नियम 100% गैर-पुनरावर्ती व्याकरण को कवर करते हैं

मूल्यांकन मेट्रिक्स

स्ट्रिंग सटीक मिलान: पूरी तरह से समान तार्किक रूप स्ट्रिंग
शब्दार्थ सटीक मिलान: शब्दार्थ रूप से समतुल्य लेकिन सूचकांक और क्रम भिन्न हो सकते हैं
व्याकरणिक कवरेज दर: मॉडल द्वारा समर्थित व्याकरणिक विस्तार कुल व्याकरण का कितना प्रतिशत है

तुलना विधियां

Wu आदि (2024) आधारभूत: 2-स्तरीय Encoder-Decoder Transformer
स्तर भिन्नता: 3-स्तरीय और 4-स्तरीय संस्करण
डेटा संवर्धन संस्करण: विशिष्ट पूर्वसर्ग वाक्यांश संशोधन उदाहरण जोड़ना

कार्यान्वयन विवरण

आधिकारिक RASP दुभाषिया का उपयोग करके प्रोग्राम का मूल्यांकन करता है
शब्दावली मैपिंग COGS प्रशिक्षण सेट में सभी शब्दों पर आधारित है
निर्धारणीय प्रोग्राम Clopper-Pearson आत्मविश्वास अंतराल का उपयोग करते हैं

प्रयोगात्मक परिणाम

मुख्य परिणाम

RASP मॉडल प्रदर्शन

COGS (स्ट्रिंग सटीक मिलान)

परीक्षण सेट: 99.97% (99.81-99.99%)
obj_pp_to_subj_pp: 100.00% (99.63-100.00%)
pp_recursion: 98.40% (97.41-99.08%)
cp_recursion: 99.90% (99.44-99.997%)
कुल सामान्यीकरण: 99.89% (99.83-99.93%)

ReCOGS_pos (शब्दार्थ सटीक मिलान)

परीक्षण सेट: 100.00% (99.88-100.00%)
obj_pp_to_subj_pp: 92.20% (90.36-93.79%)
pp_recursion: 100.00% (99.63-100.00%)
cp_recursion: 100.00% (99.63-100.00%)
कुल सामान्यीकरण: 99.63% (99.54-99.71%)

आधारभूत Transformer प्रदर्शन तुलना

Wu आदि (2024) आधारभूत (ReCOGS_pos)

pp_recursion: 40.2% ± 9.3%
cp_recursion: 52.4% ± 1.4%
obj_pp_to_subj_pp: 19.7% ± 6.1%

आकर्षण त्रुटि विश्लेषण

आधारभूत Transformer की त्रुटि विश्लेषण सैद्धांतिक भविष्यवाणी को सत्यापित करता है:

एकल संबंध त्रुटि में 96.73% आकर्षण त्रुटि पैटर्न के अनुरूप है
गहराई 2 पूर्वसर्ग वाक्यांश त्रुटि 100% निकटतम पूर्वसर्ग संज्ञा की ओर इशारा करती है
गैर-पदानुक्रमित रैखिक प्रसंस्करण धारणा की पुष्टि करता है

नया सामान्यीकरण विभाजन सत्यापन

"v_dat_p2_pp_moved_to_recipient" विभाजन:

आधारभूत प्रदर्शन: 13% ± 15.6% (सबसे कठिन विभाजन के समान)
समतल प्रसंस्करण धारणा को वृक्ष संरचना धारणा के बजाय समर्थन करता है

स्तर संख्या वृद्धि अप्रभावी

Transformer स्तरों की संख्या बढ़ाना (3-4 स्तर) obj_pp_to_subj_pp प्रदर्शन में सुधार नहीं करता है, जो Petty आदि (2024) की खोज के अनुरूप है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सैद्धांतिक व्यवहार्यता: Transformer सैद्धांतिक रूप से समतल पैटर्न मिलान के माध्यम से COGS कार्यों को हल कर सकते हैं, पदानुक्रमित प्रतिनिधित्व की आवश्यकता नहीं है
मुख्य तंत्र: पूर्वसर्ग वाक्यांश संज्ञाओं को मास्क करना आकर्षण त्रुटि से बचने की कुंजी है
सीखने की समस्या: वर्तमान Transformer की विफलता सीखने की समस्या है, क्षमता सीमा नहीं है
त्रुटि पूर्वानुमानित: समतल प्रसंस्करण धारणा के आधार पर आधारभूत मॉडल की विशिष्ट त्रुटियों की सटीक भविष्यवाणी कर सकते हैं

सीमाएं

हाथ से निर्मित: RASP मॉडल हाथ से डिजाइन किया गया है, सीखा हुआ नहीं है
शब्दावली सीमा: शब्द भाग और क्रिया प्रकार मैपिंग ज्ञात मानता है, शब्दावली सामान्यीकरण को हल नहीं करता है
भाषा-विशिष्ट: केवल अंग्रेजी के लिए, अन्य भाषाओं पर लागू होने की संभावना अज्ञात है
कार्य-विशिष्ट: मॉडल COGS के लिए विशेष रूप से डिजाइन किया गया है, सामान्य भाषा मॉडल नहीं है

भविष्य की दिशाएं

सीखने का एल्गोरिदम: Transformer को समान मास्किंग नियमों को सीखने के तरीके का अनुसंधान करता है
प्रशिक्षण उद्देश्य: डेटा संवर्धन, पाठ्यक्रम सीखना, सुदृढ़ सीखना आदि विधियों की खोज करता है
आर्किटेक्चर सुधार: संरचनात्मक सामान्यीकरण को बढ़ावा देने के लिए बेहतर आगमनात्मक पूर्वाग्रह डिजाइन करता है
बहुभाषी विस्तार: अन्य भाषाओं पर विधि की प्रभावशीलता को सत्यापित करता है

गहन मूल्यांकन

शक्तियां

सैद्धांतिक योगदान: रचनात्मक प्रमाण के माध्यम से Transformer की सैद्धांतिक क्षमता सीमाओं को स्पष्ट करता है
विधि नवाचार: प्रस्तावित समतल समाधान पदानुक्रमित प्रतिनिधित्व की आवश्यकता की धारणा को चुनौती देता है
अनुभवजन्य कठोरता: विस्तृत त्रुटि विश्लेषण और भविष्यवाणी सत्यापन निष्कर्षों की विश्वसनीयता बढ़ाता है
इंजीनियरिंग पूर्णता: पूर्ण पुनरुत्पादनीय कोड और विस्तृत कार्यान्वयन दस्तावेज प्रदान करता है
गहन अंतर्दृष्टि: आकर्षण त्रुटि सिद्धांत Transformer विफलता को समझने के लिए नया दृष्टिकोण प्रदान करता है

कमियां

व्यावहारिक सीमा: RASP मॉडल अत्यंत धीमी गति से चलता है, केवल अनुसंधान के लिए उपयुक्त है, व्यावहारिक अनुप्रयोग के लिए नहीं
सीखने की कमी: Transformer को स्वचालित रूप से इन नियमों को सीखने के तरीके की मूल समस्या को हल नहीं करता है
मूल्यांकन सीमा: मुख्य रूप से संरचनात्मक सामान्यीकरण पर केंद्रित, शब्दावली सामान्यीकरण पर कम ध्यान
धारणा शक्ति: शब्द भाग मैपिंग ज्ञात की धारणा व्यावहारिक अनुप्रयोग में अवास्तविक हो सकती है

प्रभाव

सैद्धांतिक प्रभाव: संरचनात्मक सामान्यीकरण अनुसंधान के लिए नया सैद्धांतिक ढांचा और विश्लेषण उपकरण प्रदान करता है
विधि प्रभाव: RASP विश्लेषण विधि अन्य Transformer क्षमता अनुसंधान पर व्यापक रूप से लागू हो सकती है
व्यावहारिक मार्गदर्शन: Transformer प्रशिक्षण में सुधार के लिए विशिष्ट तकनीकी दिशा प्रदान करता है

लागू परिदृश्य

अनुसंधान उपकरण: Transformer क्षमता का विश्लेषण करने के लिए सैद्धांतिक उपकरण के रूप में
बेंचमार्क परीक्षण: संरचनात्मक सामान्यीकरण क्षमता मूल्यांकन के लिए संदर्भ कार्यान्वयन प्रदान करता है
शिक्षण संसाधन: Transformer की आंतरिक कार्य प्रणाली को समझने में सहायता करता है
एल्गोरिदम डिजाइन: बेहतर संरचनात्मक सामान्यीकरण एल्गोरिदम डिजाइन के लिए प्रेरणा प्रदान करता है

संदर्भ

Kim, N., & Linzen, T. (2020). COGS: A compositional generalization challenge based on semantic interpretation. EMNLP 2020.
Wu, Z., Manning, C. D., & Potts, C. (2024). ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. TACL.
Weiss, G., Goldberg, Y., & Yahav, E. (2021). Thinking like transformers. NeurIPS 2021.
Zhou, H., et al. (2023). What algorithms can transformers learn? A study in length generalization. arXiv preprint.
Zeller, A., et al. (2023). Grammar coverage. In The Fuzzing Book.

यह पेपर कठोर सैद्धांतिक विश्लेषण और अनुभवजन्य सत्यापन के माध्यम से Transformer की संरचनात्मक सामान्यीकरण कार्यों पर क्षमता और सीमाओं को समझने के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है। हालांकि कुछ व्यावहारिक सीमाएं हैं, लेकिन इसके सैद्धांतिक योगदान और विधि नवाचार संबंधित अनुसंधान को आगे बढ़ाने के लिए महत्वपूर्ण मूल्य रखते हैं।