2025-11-18T03:04:13.779328

Interpreting the Latent Structure of Operator Precedence in Language Models

Yugeswardeenoo, Nukala, Blondin et al.

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities but continue to struggle with arithmetic tasks. Prior works largely focus on outputs or prompting strategies, leaving the open question of the internal structure through which models do arithmetic computation. In this work, we investigate whether LLMs encode operator precedence in their internal representations via the open-source instruction-tuned LLaMA 3.2-3B model. We constructed a dataset of arithmetic expressions with three operands and two operators, varying the order and placement of parentheses. Using this dataset, we trace whether intermediate results appear in the residual stream of the instruction-tuned LLaMA 3.2-3B model. We apply interpretability techniques such as logit lens, linear classification probes, and UMAP geometric visualization. Our results show that intermediate computations are present in the residual stream, particularly after MLP blocks. We also find that the model linearly encodes precedence in each operator's embeddings post attention layer. We introduce partial embedding swap, a technique that modifies operator precedence by exchanging high-impact embedding dimensions between operators.

academic

भाषा मॉडल में ऑपरेटर प्राथमिकता की अव्यक्त संरचना की व्याख्या

मूल जानकारी

पेपर ID: 2510.13908
शीर्षक: Interpreting the Latent Structure of Operator Precedence in Language Models
लेखक: Dharunish Yugeswardeenoo, Harshil Nukala, Cole Blondin, Sean O'Brien, Vasu Sharma, Kevin Zhu
वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
प्रकाशन समय/सम्मेलन: COLM 2025
पेपर लिंक: https://arxiv.org/abs/2510.13908

सारांश

बड़े भाषा मॉडल (LLMs) तर्क क्षमता में उत्कृष्ट प्रदर्शन करते हैं, लेकिन अंकगणितीय कार्यों में कठिनाइयों का सामना करते हैं। पूर्ववर्ती अनुसंधान मुख्य रूप से आउटपुट या प्रॉम्प्ट रणनीतियों पर केंद्रित था, जबकि मॉडल द्वारा अंकगणितीय गणना की आंतरिक संरचना को नजरअंदाज किया गया था। यह अनुसंधान खुले स्रोत निर्देश-ट्यून किए गए LLaMA 3.2-3B मॉडल के माध्यम से यह जांचता है कि क्या LLMs अपने आंतरिक प्रतिनिधित्व में ऑपरेटर प्राथमिकता को एन्कोड करते हैं। अनुसंधान तीन ऑपरेंड और दो ऑपरेटर वाले अंकगणितीय अभिव्यक्ति डेटासेट का निर्माण करता है, जिसमें ऑपरेशन क्रम और कोष्ठक स्थिति में भिन्नता होती है। इस डेटासेट का उपयोग यह ट्रैक करने के लिए किया जाता है कि क्या मध्यवर्ती परिणाम मॉडल के अवशिष्ट प्रवाह में दिखाई देते हैं, और लॉजिट लेंस, रैखिक वर्गीकरण जांच और UMAP ज्यामितीय दृश्य जैसी व्याख्या योग्यता तकनीकें लागू की जाती हैं। परिणाम दर्शाते हैं कि मध्यवर्ती गणना अवशिष्ट प्रवाह में मौजूद है, विशेष रूप से MLP ब्लॉक के बाद। अनुसंधान यह भी पाता है कि मॉडल ध्यान परत के बाद ऑपरेटर एम्बेडिंग में रैखिक रूप से प्राथमिकता जानकारी को एन्कोड करता है। पेपर आंशिक एम्बेडिंग विनिमय तकनीक का परिचय देता है, जो ऑपरेटर के बीच उच्च प्रभाव वाली एम्बेडिंग आयामों को विनिमय करके ऑपरेटर प्राथमिकता को संशोधित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान जो मूल समस्या को हल करना चाहता है: क्या बड़े भाषा मॉडल अंकगणितीय अभिव्यक्तियों को संसाधित करते समय अपने आंतरिक प्रतिनिधित्व में ऑपरेटर प्राथमिकता नियमों को एन्कोड करते हैं और कैसे करते हैं। विशेष रूप से, जब मॉडल "1 + 1 × 2" जैसी अभिव्यक्ति का सामना करता है, तो क्या यह गणितीय प्राथमिकता नियमों के अनुसार पहले गुणा की गणना करेगा, या बस बाएं से दाएं क्रम में प्रक्रिया करेगा।

महत्व

सैद्धांतिक महत्व: LLMs के आंतरिक अंकगणितीय तर्क तंत्र को समझना मशीन लर्निंग व्याख्या योग्यता अनुसंधान के लिए महत्वपूर्ण है
व्यावहारिक मूल्य: गणितीय तर्क कार्यों पर मॉडल के प्रदर्शन में सुधार, विशेष रूप से छोटे पैमाने के मॉडल के लिए
पद्धति संबंधी योगदान: तंत्रिका नेटवर्क के आंतरिक प्रतिनिधित्व का विश्लेषण करने के लिए नई तकनीकें प्रदान करता है

मौजूदा विधियों की सीमाएं

अधिकांश अनुसंधान प्राकृतिक भाषा प्रॉम्प्ट और अंतिम आउटपुट परिणामों पर केंद्रित है
ऑपरेटर प्राथमिकता प्रसंस्करण और मध्यवर्ती गणना चरणों का गहन विश्लेषण अभाव है
मॉडल के आंतरिक अंकगणितीय गणना संरचना की समझ अपर्याप्त है

अनुसंधान प्रेरणा

तंत्रिका विज्ञान व्याख्या योग्यता विधियों के माध्यम से, यह गहराई से जांचता है कि LLMs आंतरिक रूप से अंकगणितीय अभिव्यक्तियों को कैसे संसाधित करते हैं, विशेष रूप से ऑपरेशन क्रम प्रसंस्करण तंत्र पर ध्यान केंद्रित करता है।

मुख्य योगदान

अंकगणितीय अभिव्यक्ति डेटासेट का व्यवस्थित निर्माण: तीन ऑपरेंड, दो ऑपरेटर वाली अभिव्यक्तियां, व्याकरणिक और शब्दार्थ प्राथमिकता का व्यवस्थित परीक्षण
मध्यवर्ती गणना के अस्तित्व का प्रमाण: लॉजिट लेंस तकनीक के माध्यम से मॉडल के गहरे नेटवर्क में मध्यवर्ती गणना की खोज
ऑपरेटर प्राथमिकता की रैखिक एन्कोडिंग का प्रकटीकरण: मॉडल ध्यान परत के बाद रैखिक रूप से ऑपरेटर प्राथमिकता जानकारी को एन्कोड करता है
आंशिक एम्बेडिंग विनिमय तकनीक का प्रस्ताव: उच्च प्रभाव वाली एम्बेडिंग आयामों को विनिमय करके ऑपरेटर प्राथमिकता को संशोधित करने की नई विधि
ज्यामितीय दृश्य विश्लेषण प्रदान करता है: UMAP के माध्यम से ऑपरेटर प्रतिनिधित्व की संगठन संरचना प्रदर्शित करता है

विधि विवरण

कार्य परिभाषा

इनपुट: तीन ऑपरेंड और दो ऑपरेटर वाली अंकगणितीय अभिव्यक्ति, जैसे "a o1 b o2 c" आउटपुट: अभिव्यक्ति के लिए मॉडल की गणना परिणाम बाधाएं:

ऑपरेंड a, b, c ∈ {1, 2, ..., 9}
ऑपरेटर जोड़ी (o1, o2) मिश्रित प्राथमिकता सेट से: {(+, *), (-, *), (+, /), (-, /)}
सभी गणना परिणाम सकारात्मक पूर्णांक हैं

डेटासेट निर्माण

प्रत्येक ऑपरेंड और ऑपरेटर संयोजन के लिए, छह संरचनात्मक वेरिएंट उत्पन्न करता है:

बाएं कोष्ठक: (a o1 b) o2 c
दाएं कोष्ठक: a o1 (b o2 c)
फ्लिप किए गए बाएं कोष्ठक: (a o2 b) o1 c
फ्लिप किए गए दाएं कोष्ठक: a o2 (b o1 c)
कोष्ठक रहित (प्राकृतिक क्रम): a o1 b o2 c
कोष्ठक रहित (फ्लिप किया गया): a o2 b o1 c

कुल 8547 प्रॉम्प्ट उत्पन्न किए गए, जिनमें से मॉडल 4401 का सही उत्तर दे सकता है।

मुख्य तकनीकी विधियां

1. लॉजिट लेंस विश्लेषण

उद्देश्य: यह ट्रैक करना कि क्या मध्यवर्ती गणना अवशिष्ट प्रवाह में दिखाई देती है
विधि: प्रत्येक परत के अवशिष्ट प्रवाह को unembedding मैट्रिक्स के माध्यम से शब्दावली पर प्रक्षेपित करके लॉजिट प्राप्त करता है
विश्लेषण: जांचता है कि क्या शीर्ष-10 टोकन में अपेक्षित मध्यवर्ती परिणाम शामिल हैं

2. रैखिक जांच तकनीक

मध्यवर्ती गणना जांच: मॉडल सक्रियण से सीधे मध्यवर्ती मान की भविष्यवाणी करने के लिए रैखिक जांच को प्रशिक्षित करता है
प्राथमिकता जांच: ऑपरेटर के गणना क्रम (पहला या दूसरा गणना किया गया) की भविष्यवाणी करने के लिए लॉजिस्टिक रिग्रेशन वर्गीकारक का उपयोग करता है

3. आंशिक एम्बेडिंग विनिमय

एल्गोरिदम प्रवाह:

प्रभाव आयाम की पहचान: "+" और "*" ऑपरेटर छिपे हुए प्रतिनिधित्व के प्रत्येक आयाम को क्रमिक रूप से विनिमय करता है
व्यवधान प्रभाव को मापता है: यदि विनिमय मॉडल की भविष्यवाणी को सही उत्तर (जैसे 23) से गलत उत्तर (जैसे 35) में बदल देता है, तो वह आयाम प्राथमिकता जानकारी को एन्कोड करता है
क्रमबद्ध करना और चयन करना: आयामों को प्रभाव के अनुसार क्रमबद्ध करता है, भविष्यवाणी को बदलने के लिए आवश्यक न्यूनतम आयाम उपसमुच्चय निर्धारित करता है

4. UMAP ज्यामितीय दृश्य

ऑपरेटर टोकन की सक्रियण वेक्टर को कम आयामी स्थान में प्रक्षेपित करता है
लेबलिंग प्रारूप: [स्थिति][ऑपरेटर]प्राथमिकता, जैसे "1m2" का अर्थ है गुणा चिन्ह अभिव्यक्ति में स्थिति 1 पर है लेकिन गणना प्राथमिकता 2 है

प्रयोगात्मक सेटअप

मॉडल चयन

खुले स्रोत निर्देश-ट्यून किए गए LLaMA 3.2-3B मॉडल का उपयोग करता है, जिसमें 28-परत ट्रांसफॉर्मर संरचना है।

डेटासेट सांख्यिकी

कुल प्रॉम्प्ट: 8547
मॉडल सही उत्तर: 4401 (51.5%)
केवल मॉडल द्वारा सही ढंग से भविष्यवाणी किए गए नमूनों का विश्लेषण के लिए उपयोग

मूल्यांकन मेट्रिक्स

मध्यवर्ती गणना पहचान दर: मध्यवर्ती परिणाम शीर्ष लॉजिट में दिखाई देने का अनुपात
रैखिक जांच सटीकता: R² स्कोर और वर्गीकरण सटीकता
प्राथमिकता विनिमय सफलता दर: मॉडल की भविष्यवाणी को सफलतापूर्वक बदलने वाले मामलों का अनुपात

प्रयोगात्मक परिणाम

मुख्य निष्कर्ष

1. मध्यवर्ती गणना का अस्तित्व

पहचान दर: 4401 प्रॉम्प्ट में, 2799 बार (63.6%) शीर्ष लॉजिट में मध्यवर्ती गणना का पता चला
दिखाई देने वाली परत: मुख्य रूप से परत 16-27 में, शिखर परत 18-19 में
महत्वपूर्ण घटक: MLP ब्लॉक मध्यवर्ती लॉजिट का परिचय देने का मुख्य घटक है, ध्यान ब्लॉक नहीं

2. रैखिक एन्कोडिंग प्रमाण

रैखिक जांच परत 0 के बाद ही उच्च सटीकता के साथ मध्यवर्ती गणना की भविष्यवाणी कर सकता है (उच्च R² स्कोर)
प्राथमिकता वर्गीकरण जांच परीक्षण सेट पर 100% सटीकता प्राप्त करता है
ध्यान तंत्र ऑपरेटर प्राथमिकता की रैखिक डिकोडेबिलिटी को महत्वपूर्ण रूप से बढ़ाता है

3. आंशिक एम्बेडिंग विनिमय परिणाम

कई उदाहरणों में विशिष्ट आयामों को विनिमय करके मॉडल की सर्वोच्च लॉजिट भविष्यवाणी को सफलतापूर्वक बदलता है
ऑपरेटर प्राथमिकता जानकारी के विशिष्ट एम्बेडिंग आयामों में विरल स्थानीयकरण को प्रमाणित करता है

4. ज्यामितीय संरचना विश्लेषण

UMAP दृश्य दर्शाता है:

ध्यान से पहले और बाद में ऑपरेटर एम्बेडिंग में स्पष्ट पृथक्करण
समान स्थिति और प्राथमिकता वाले ऑपरेटर एक साथ समूहित होते हैं
ध्यान तंत्र ऑपरेटर प्राथमिकता जानकारी को एन्कोड करता है

मात्रात्मक परिणाम

मेट्रिक	मान
मध्यवर्ती गणना पहचान दर	63.6% (2799/4401)
प्राथमिकता जांच सटीकता	100%
मुख्य पहचान परत श्रेणी	16-27 परत
पहचान शिखर परत	18-19 परत

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

मध्यवर्ती गणना वास्तव में मौजूद है: LLaMA 3.2-3B मॉडल आंतरिक रूप से मध्यवर्ती गणना करता है, यह जानकारी गहरे नेटवर्क में रैखिक रूप से डिकोडेबल बन जाती है
प्राथमिकता रैखिक एन्कोडिंग: ऑपरेटर प्राथमिकता जानकारी ध्यान परत के बाद विशिष्ट एम्बेडिंग आयामों में रैखिक रूप से एन्कोड की जाती है
MLP की महत्वपूर्ण भूमिका: MLP ब्लॉक, ध्यान ब्लॉक नहीं, मध्यवर्ती गणना परिणाम उत्पन्न करने के लिए जिम्मेदार है
ज्यामितीय संगठन संरचना: मॉडल ऑपरेटर की स्थिति और गणना प्राथमिकता के अनुसार ऑपरेटर प्रतिनिधित्व को संगठित करता है

सीमाएं

मॉडल आकार सीमा: केवल 3B पैरामीटर के LLaMA मॉडल पर प्रयोग, परिणाम बड़े पैमाने के मॉडल पर लागू नहीं हो सकते
कार्य जटिलता: केवल तीन ऑपरेंड, दो ऑपरेटर की सरल अभिव्यक्तियों पर विचार
ऑपरेटर प्रकार: केवल बुनियादी अंकगणितीय संचालन शामिल, अधिक जटिल गणितीय संचालन शामिल नहीं
सफलता दर सीमा: मॉडल केवल लगभग 51.5% अंकगणितीय प्रश्नों का सही उत्तर दे सकता है

भविष्य की दिशाएं

बड़े पैमाने के भाषा मॉडल तक विस्तार
अधिक जटिल गणितीय अभिव्यक्तियों और संचालन प्रकारों का अनुसंधान
अन्य गणितीय अवधारणाओं (जैसे कार्य, समीकरण) की आंतरिक प्रतिनिधित्व की खोज
इन निष्कर्षों के आधार पर मॉडल सुधार विधियों का विकास

गहन मूल्यांकन

शक्तियां

विधि नवाचार: आंशिक एम्बेडिंग विनिमय एक नई और प्रभावी हस्तक्षेप तकनीक है
प्रयोग व्यापकता: कई व्याख्या योग्यता तकनीकों को जोड़ता है (लॉजिट लेंस, रैखिक जांच, UMAP, हस्तक्षेप प्रयोग)
खोज महत्व: पहली बार LLMs में ऑपरेटर प्राथमिकता एन्कोडिंग तंत्र को व्यवस्थित रूप से प्रमाणित करता है
तकनीकी कठोरता: प्रयोग डिजाइन तर्कसंगत है, केवल मॉडल द्वारा सही ढंग से उत्तर दिए गए नमूनों का विश्लेषण

कमियां

आकार सीमा: प्रयोग केवल 3B पैरामीटर मॉडल तक सीमित, सामान्यीकरण योग्यता सत्यापन की प्रतीक्षा में है
कार्य सरलीकरण: अंकगणितीय अभिव्यक्तियां अपेक्षाकृत सरल हैं, वास्तविक अनुप्रयोग में जटिलता पर्याप्त रूप से विचार नहीं की गई
सैद्धांतिक गहराई: इस बात की सैद्धांतिक व्याख्या का अभाव कि ये तंत्र क्यों दिखाई देते हैं
व्यावहारिकता: हालांकि महत्वपूर्ण अंतर्दृष्टि प्रदान करता है, लेकिन इन निष्कर्षों का उपयोग करके मॉडल प्रदर्शन में सुधार कैसे करें यह स्पष्ट नहीं है

प्रभाव

शैक्षणिक मूल्य: LLMs अंकगणितीय तर्क के तंत्रिका विज्ञान समझ में महत्वपूर्ण योगदान
पद्धति संबंधी महत्व: आंशिक एम्बेडिंग विनिमय तकनीक अन्य कार्यों के विश्लेषण पर लागू की जा सकती है
व्यावहारिक संभावना: छोटे पैमाने के मॉडल की अंकगणितीय क्षमता में सुधार के लिए दिशा प्रदान करता है
पुनरुत्पादनीयता: खुले स्रोत मॉडल का उपयोग, प्रयोग अपेक्षाकृत आसानी से पुनरुत्पादन योग्य हैं

लागू परिदृश्य

मॉडल विश्लेषण: अन्य भाषा मॉडल की आंतरिक तंत्र का विश्लेषण करने के लिए उपयुक्त
शैक्षणिक अनुप्रयोग: AI कैसे गणितीय अवधारणाओं को संसाधित करता है यह समझने में सहायता करता है
मॉडल सुधार: बेहतर अंकगणितीय तर्क मॉडल विकसित करने के लिए मार्गदर्शन प्रदान करता है
व्याख्या योग्यता अनुसंधान: अन्य संज्ञानात्मक कार्यों के तंत्रिका विज्ञान विश्लेषण के लिए विधि संदर्भ प्रदान करता है

संदर्भ

यह पेपर तंत्रिका विज्ञान व्याख्या योग्यता, अंकगणितीय तर्क और तंत्रिका नेटवर्क विश्लेषण के क्षेत्र के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

nostalgebraist (2020) - लॉजिट लेंस तकनीक
Alain & Bengio (2018) - रैखिक जांच विधि
Zhang et al. (2024) - LLMs अंकगणितीय तर्क की आंतरिक संरचना
Stolfo et al. (2023) - कारण मध्यस्थता विश्लेषण ढांचा
McInnes et al. (2020) - UMAP आयाम कमी तकनीक

यह अनुसंधान बड़े भाषा मॉडल की आंतरिक अंकगणितीय तर्क तंत्र को समझने के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है, विशेष रूप से ऑपरेटर प्राथमिकता प्रसंस्करण के पहलू में। हालांकि कुछ सीमाएं हैं, लेकिन इसकी विधि नवाचार और खोज के महत्व इसे तंत्रिका विज्ञान व्याख्या योग्यता क्षेत्र का एक मूल्यवान योगदान बनाते हैं।