2025-11-12T01:28:29.133817
Stability of Transformers under Layer Normalization
Kan, Li, Zhang et al.
Despite their widespread use, training deep Transformers can be unstable. Layer normalization, a standard component, improves training stability, but its placement has often been ad-hoc. In this paper, we conduct a principled study on the forward (hidden states) and backward (gradient) stability of Transformers under different layer normalization placements. Our theory provides key insights into the training dynamics: whether training drives Transformers toward regular solutions or pathological behaviors. For forward stability, we derive explicit bounds on the growth of hidden states in trained Transformers. For backward stability, we analyze how layer normalization affects the backpropagation of gradients, thereby explaining the training dynamics of each layer normalization placement. Our analysis also guides the scaling of residual steps in Transformer blocks, where appropriate choices can further improve stability and performance. Our numerical results corroborate our theoretical findings. Beyond these results, our framework provides a principled way to sanity-check the stability of Transformers under new architectural modifications, offering guidance for future designs.
academicपरत सामान्यीकरण के तहत ट्रांसफॉर्मर की स्थिरता
मूल जानकारी
- पेपर ID: 2510.09904
- शीर्षक: परत सामान्यीकरण के तहत ट्रांसफॉर्मर की स्थिरता
- लेखक: केल्विन कान (UCLA), शिंगजियान ली (UT Austin), बेंजामिन जे. झांग (UNC चैपल हिल), तुहिन साहाई (SRI International), स्टेनली ओशर (UCLA), कृष्ण कुमार (UT Austin), मार्कोस ए. कत्सौलाकिस (UMass Amherst)
- वर्गीकरण: cs.LG, cs.AI, math.OC
- प्रकाशन तिथि: 10 अक्टूबर 2025
- पेपर लिंक: https://arxiv.org/abs/2510.09904
सारांश
यद्यपि ट्रांसफॉर्मर का व्यापक उपयोग होता है, गहरे ट्रांसफॉर्मर का प्रशिक्षण अस्थिर हो सकता है। परत सामान्यीकरण (Layer Normalization) एक मानक घटक के रूप में प्रशिक्षण स्थिरता में सुधार कर सकता है, लेकिन इसकी स्थिति का चयन अक्सर तदर्थ होता है। यह पेपर विभिन्न परत सामान्यीकरण स्थितियों के तहत ट्रांसफॉर्मर की अग्रगामी स्थिरता (छिपी हुई स्थिति) और पश्चगामी स्थिरता (प्रवणता) का सैद्धांतिक अध्ययन प्रस्तुत करता है। सैद्धांतिक विश्लेषण प्रशिक्षण गतिविज्ञान में महत्वपूर्ण अंतर्दृष्टि प्रकट करता है: क्या प्रशिक्षण ट्रांसफॉर्मर को नियमित समाधान या रोगग्रस्त व्यवहार की ओर ले जाता है। अग्रगामी स्थिरता के संदर्भ में, प्रशिक्षित ट्रांसफॉर्मर में छिपी हुई स्थिति वृद्धि के लिए स्पष्ट सीमाएं प्राप्त की गई हैं। पश्चगामी स्थिरता के संदर्भ में, विश्लेषण किया गया है कि परत सामान्यीकरण प्रवणता पश्चप्रसार को कैसे प्रभावित करता है, जिससे प्रत्येक परत सामान्यीकरण स्थिति के प्रशिक्षण गतिविज्ञान की व्याख्या होती है। विश्लेषण ट्रांसफॉर्मर ब्लॉक में अवशिष्ट चरण आकार के स्केलिंग का भी मार्गदर्शन करता है, उचित चयन स्थिरता और प्रदर्शन को और बेहतर बना सकता है।
अनुसंधान पृष्ठभूमि और प्रेरणा
समस्या परिभाषा
यह अनुसंधान जो मूल समस्या को हल करना चाहता है वह है: विभिन्न परत सामान्यीकरण स्थितियों का ट्रांसफॉर्मर प्रशिक्षण स्थिरता पर प्रभाव तंत्र। विशेष रूप से इसमें शामिल हैं:
- अग्रगामी स्थिरता समस्या: गहरे नेटवर्क में छिपी हुई स्थिति वृद्धि नियंत्रण
- पश्चगामी स्थिरता समस्या: पश्चप्रसार प्रक्रिया में प्रवणता की स्थिरता
- आर्किटेक्चर डिजाइन मार्गदर्शन: नए ट्रांसफॉर्मर वेरिएंट के लिए सैद्धांतिक मार्गदर्शन कैसे प्रदान करें
महत्व विश्लेषण
- व्यावहारिक मूल्य: ट्रांसफॉर्मर आधुनिक गहन शिक्षा की नींव है, इसकी प्रशिक्षण स्थिरता मॉडल प्रदर्शन और प्रशिक्षण दक्षता को सीधे प्रभावित करती है
- सैद्धांतिक अंतराल: मौजूदा परत सामान्यीकरण स्थिति चयन मुख्य रूप से अनुभव पर आधारित है, सैद्धांतिक आधार की कमी है
- औद्योगिक आवश्यकता: मॉडल आकार में निरंतर वृद्धि के साथ, प्रशिक्षण स्थिरता समस्याएं अधिक गंभीर हो गई हैं
मौजूदा विधियों की सीमाएं
- Post-LN: सूक्ष्म अनुकूलन शेड्यूल की आवश्यकता है, प्रदर्शन अक्सर उप-इष्टतम है
- Pre-LN: हालांकि प्रारंभिक प्रशिक्षण स्थिरता में सुधार करता है, लेकिन बहुत बड़ी छिपी हुई स्थिति उत्पन्न करता है, जिससे संख्यात्मक अस्थिरता होती है
- Peri-LN: हालांकि व्यावहारिक रूप से अच्छा प्रदर्शन करता है, लेकिन सैद्धांतिक गुणों की समझ अपर्याप्त है
अनुसंधान प्रेरणा
लेखक निरंतर समय गतिविज्ञान और इष्टतम नियंत्रण सिद्धांत के नए दृष्टिकोण का उपयोग करते हैं, ट्रांसफॉर्मर प्रशिक्षण समस्या को माध्य-क्षेत्र नियंत्रण समस्या के रूप में मॉडल करते हैं, जिससे प्रशिक्षण अभिसरण के बाद मॉडल गुणों का विश्लेषण किया जा सकता है, न कि केवल प्रारंभिकीकरण के समय के व्यवहार पर ध्यान केंद्रित करना।
मुख्य योगदान
- सैद्धांतिक ढांचा नवाचार: इष्टतम नियंत्रण सिद्धांत पर आधारित नया ढांचा प्रस्तावित करता है, विभिन्न परत सामान्यीकरण स्थितियों के तहत ट्रांसफॉर्मर स्थिरता का व्यवस्थित विश्लेषण
- अग्रगामी स्थिरता विश्लेषण: छिपी हुई स्थिति वृद्धि के लिए स्पष्ट सीमाएं प्राप्त करता है, यह साबित करता है कि Pre-LN अनबाउंडेड वृद्धि का कारण बनता है जबकि Peri-LN नियंत्रित वृद्धि बनाए रखता है
- पश्चगामी स्थिरता विश्लेषण: परत सामान्यीकरण के प्रवणता पश्चप्रसार पर प्रभाव तंत्र को प्रकट करता है
- अवशिष्ट चरण आकार स्केलिंग: स्थिरता और प्रदर्शन में सुधार के लिए अवशिष्ट चरण आकार स्केलिंग विधि प्रस्तावित करता है
- प्रायोगिक सत्यापन: GPT-2 श्रृंखला मॉडल पर सैद्धांतिक निष्कर्षों को सत्यापित करता है
विधि विवरण
कार्य परिभाषा
विभिन्न परत सामान्यीकरण स्थितियों के तहत ट्रांसफॉर्मर की स्थिरता का अध्ययन, जिसमें शामिल हैं:
- इनपुट: एम्बेडिंग और स्थिति एन्कोडिंग के बाद का अनुक्रम
- आउटपुट: D परत ट्रांसफॉर्मर ब्लॉक के बाद छिपी हुई स्थिति
- उद्देश्य: अग्रगामी और पश्चगामी प्रसार की स्थिरता का विश्लेषण
निरंतर समय मॉडलिंग
ट्रांसफॉर्मर का निरंतर समय प्रतिनिधित्व
मानक ट्रांसफॉर्मर ब्लॉक की स्किप कनेक्शन संरचना को निरंतर समय गतिविज्ञान के यूलर विवेकीकरण के रूप में व्याख्या करता है:
f_{attn}(X(t), t; \theta_{attn}(t)), & t \in [t_i, t_i + \Delta t) \\ f_{ffn}(X(t), t; \theta_{ffn}(t)), & t \in [t_i + \Delta t, t_{i+1}) \end{cases}$$ जहां $\Delta t = \frac{T}{2D}$, $t_i = 2i\Delta t$। #### माध्य-क्षेत्र नियंत्रण समस्या मॉडलिंग प्रशिक्षण समस्या को निरंतर समय माध्य-क्षेत्र नियंत्रण समस्या के रूप में व्यक्त करता है: $$\min_\theta \mathbb{E}_{(X_0,y)} G(X(T), y)$$ $$\text{s.t. } \frac{dX(t)}{dt} = f(X(t), t; \theta(t))$$ जहां $f \in \{f_{Pre}, f_{Peri}\}$ विभिन्न परत सामान्यीकरण स्थितियों के अनुरूप है। ### परत सामान्यीकरण के ज्यामितीय गुण **मुख्य लेम्मा 1**: परत सामान्यीकरण आउटपुट एक दीर्घवृत्त सतह पर स्थित है $$\mathcal{E} = \{z \in \mathbb{R}^d : (z - \beta)^T\Gamma^{-2}(z - \beta) = d\}$$ जहां $\Gamma = \text{diag}(\gamma)$। ### अग्रगामी स्थिरता विश्लेषण #### Pre-LN की अनबाउंडेडनेस **प्रमेय 2**: Pre-LN प्रशिक्षण समस्या का इष्टतम समाधान परिमाण में अनबाउंडेड है। **प्रमाण विचार**: Hamilton-Jacobi-Bellman (HJB) आंशिक अवकल समीकरण का विश्लेषण करके, यह साबित करता है कि संबंधित हैमिल्टनियन मौजूद नहीं है, जिससे प्रशिक्षण समस्या पतित हो जाती है। **प्रमेय 3**: भले ही वजन क्षय का उपयोग किया जाए, Pre-LN ट्रांसफॉर्मर की छिपी हुई स्थिति अभी भी घातीय वृद्धि दिखाती है: $$MA(X_D) \leq (1 + C(\lambda))^D \frac{\|X_0\|_F}{\sqrt{nd}} = O(e^D)$$ #### Peri-LN की नियंत्रित वृद्धि **प्रमेय 4**: Peri-LN ट्रांसफॉर्मर की छिपी हुई स्थिति रैखिक वृद्धि दिखाती है: $$MA(X_D) \leq \frac{\|X_0\|_F}{\sqrt{nd}} + 2D(\gamma_{max} + \beta_{max}) = O(D)$$ विचरण द्विघात वृद्धि दिखाता है: $$\text{Var}(X_D) \leq \frac{(\|X_0\|_F + 2D\sqrt{nd}(\gamma_{max} + \beta_{max}))^2}{nd - 1} = O(D^2)$$ ### पश्चगामी स्थिरता विश्लेषण प्रवणता गणना सूत्र: $$\nabla_{\theta_i} G(X_D) = \nabla_{\theta_i} X_{i+1} \cdot J_{i:D} \cdot \nabla_{X_D} G(X_D)$$ जहां जैकोबियन मैट्रिक्स: $$J_{i:D} = \prod_{j=i+1}^D (I + \nabla_{X_{j-1}} f(X_{j-1}; \theta_{j-1}))$$ **प्रस्ताव 7**: Pre-LN के तहत, संवेदनशीलता $\nabla_{X_{j-1}} f_{Pre}$ सक्रियण मूल्यों के साथ आनुपातिक रूप से बढ़ता है। **प्रस्ताव 8**: Peri-LN के तहत, संवेदनशीलता $\nabla_{X_{j-1}} f_{Peri}$ सक्रियण मूल्य परिमाण के लिए अपरिवर्तनीय है। ## प्रायोगिक सेटअप ### डेटासेट - **OpenWebText डेटासेट**: लगभग 9 बिलियन प्रशिक्षण टोकन, 4 मिलियन सत्यापन टोकन - GPT-2 श्रृंखला आर्किटेक्चर का उपयोग करके पूर्व-प्रशिक्षण ### मॉडल कॉन्फ़िगरेशन - **GPT-2** (124M पैरामीटर) - **GPT-2 Large** (774M पैरामीटर) - **GPT-2 XL** (1.5B पैरामीटर) ### मूल्यांकन मेट्रिक्स - **भ्रम (Perplexity)** - **ROUGE स्कोर** (Rouge1, Rouge2, RougeL) - **BERT स्कोर** (BertP, BertR, BertF1) - **प्रशिक्षण स्थिरता**: विचलन रन गणना आंकड़े ### कार्यान्वयन विवरण - Pre-LN के लिए ट्यून किए गए हाइपरपैरामीटर का उपयोग, Peri-LN के लिए अलग से अनुकूलित नहीं - अवशिष्ट चरण आकार स्केलिंग: $\Delta t \in \{0.1, 1\}$ - हार्डवेयर: NVIDIA H200 GPU ## प्रायोगिक परिणाम ### प्रशिक्षण स्थिरता तुलना | परत सामान्यीकरण सेटअप | वजन क्षय सक्षम | वजन क्षय अक्षम | |-------------|-------------|-------------| | Pre-LN | 1/5 विचलन | 3/5 विचलन | | Peri-LN | 0/5 विचलन | 0/5 विचलन | | कोई LN नहीं | 5/5 विचलन | — | ### प्रदर्शन तुलना परिणाम **GPT-2 (124M) मॉडल परिणाम**: - Pre-LN ($\Delta t=1$): सत्यापन हानि 5.43, भ्रम 247.52 - Pre-LN ($\Delta t=0.1$): सत्यापन हानि 3.13, भ्रम 24.43 - Peri-LN ($\Delta t=1$): सत्यापन हानि 3.12, भ्रम 24.17 - Peri-LN ($\Delta t=0.1$): सत्यापन हानि 3.10, भ्रम 23.63 ### छिपी हुई स्थिति वृद्धि विश्लेषण प्रयोग सैद्धांतिक भविष्यवाणियों को सत्यापित करता है: - Pre-LN बड़े $\Delta t$ पर तेजी से वृद्धि दिखाता है - Peri-LN अधिक नियमित रैखिक वृद्धि बनाए रखता है - अवशिष्ट चरण आकार स्केलिंग वृद्धि दर को प्रभावी ढंग से नियंत्रित करता है ### अवशिष्ट चरण आकार स्केलिंग प्रभाव 1. **प्रदर्शन सुधार**: Peri-LN + $\Delta t=0.1$ सभी मेट्रिक्स पर सर्वोत्तम प्रदर्शन करता है 2. **स्थिरता सुधार**: Pre-LN $\Delta t=0.1$ पर अस्थिर से स्थिर हो जाता है 3. **वृद्धि नियंत्रण**: छिपी हुई स्थिति के माध्य और विचरण वृद्धि दर को प्रभावी ढंग से कम करता है ## संबंधित कार्य ### परत सामान्यीकरण अनुसंधान - **Post-LN**: सबसे प्रारंभिक ट्रांसफॉर्मर डिजाइन, सूक्ष्म शेड्यूल की आवश्यकता है - **Pre-LN**: प्रशिक्षण स्थिरता में सुधार करता है लेकिन बड़े सक्रियण मूल्य उत्पन्न करता है - **Peri-LN**: हाल ही में बड़े पैमाने पर मॉडल में अपनाया गया, जैसे Gemma2, OLMo2 ### सैद्धांतिक विश्लेषण विधियां - मौजूदा कार्य अक्सर प्रारंभिकीकरण के समय के व्यवहार पर ध्यान केंद्रित करते हैं या अनुभव अवलोकन पर निर्भर करते हैं - यह पेपर प्रशिक्षण अभिसरण के बाद मॉडल गुणों का विश्लेषण करने में नवाचार करता है - निरंतर समय दृष्टिकोण आर्किटेक्चर विश्लेषण के लिए नया उपकरण प्रदान करता है ## निष्कर्ष और चर्चा ### मुख्य निष्कर्ष 1. **Pre-LN सैद्धांतिक दोष**: प्रशिक्षण समस्या मूलतः रोगग्रस्त है, जिससे अनबाउंडेड समाधान होता है 2. **Peri-LN लाभ**: अच्छी तरह से परिभाषित अनुकूलन समस्या और नियंत्रित छिपी हुई स्थिति वृद्धि प्रदान करता है 3. **अवशिष्ट स्केलिंग मूल्य**: स्थिरता सुधार के लिए सरल और प्रभावी विधि ### सीमाएं 1. **सरलीकृत धारणाएं**: सैद्धांतिक विश्लेषण निरंतर समय सन्निकटन पर आधारित है 2. **हाइपरपैरामीटर निर्भरता**: प्रयोग Pre-LN ट्यून किए गए हाइपरपैरामीटर का उपयोग करते हैं 3. **स्केल सीमा**: प्रयोग मुख्य रूप से मध्यम आकार के मॉडल पर किए गए हैं ### भविष्य की दिशाएं 1. **आर्किटेक्चर फ़िल्टरिंग ढांचा**: नए आर्किटेक्चर संशोधनों के लिए सैद्धांतिक फ़िल्टरिंग मानदंड प्रदान करना 2. **बड़े पैमाने पर सत्यापन**: बड़े मॉडल पर सैद्धांतिक निष्कर्षों को सत्यापित करना 3. **अन्य सामान्यीकरण विधियां**: RMSNorm जैसे वेरिएंट तक विश्लेषण का विस्तार ## गहन मूल्यांकन ### लाभ 1. **सैद्धांतिक नवाचार मजबूत**: पहली बार परत सामान्यीकरण स्थिति समस्या का विश्लेषण करने के लिए इष्टतम नियंत्रण सिद्धांत का उपयोग 2. **गणितीय कठोरता**: पूर्ण सैद्धांतिक व्युत्पत्ति और प्रमाण प्रदान करता है 3. **व्यावहारिक मूल्य उच्च**: अवशिष्ट चरण आकार स्केलिंग विधि सरल और प्रभावी है 4. **प्रायोगिक डिजाइन उचित**: कई मॉडल स्केल पर सैद्धांतिक सत्यापन ### कमियां 1. **सिद्धांत और व्यवहार का अंतराल**: निरंतर समय धारणा और वास्तविक असतत कार्यान्वयन में अंतर 2. **प्रायोगिक सीमा सीमित**: मुख्य रूप से GPT-2 श्रृंखला पर सत्यापन, अधिक आर्किटेक्चर सत्यापन की कमी 3. **हाइपरपैरामीटर निष्पक्षता**: Peri-LN के लिए विशेष हाइपरपैरामीटर अनुकूलन नहीं किया गया ### प्रभाव मूल्यांकन 1. **शैक्षणिक योगदान**: ट्रांसफॉर्मर स्थिरता विश्लेषण के लिए नया सैद्धांतिक ढांचा प्रदान करता है 2. **व्यावहारिक मूल्य**: वास्तविक मॉडल डिजाइन और प्रशिक्षण रणनीति का मार्गदर्शन करता है 3. **पुनरुत्पादनीयता**: कोड और मॉडल सार्वजनिक करने का वचन देता है ### लागू परिदृश्य 1. **गहरे ट्रांसफॉर्मर प्रशिक्षण**: विशेष रूप से बड़े पैमाने पर गहरे मॉडल के लिए उपयुक्त 2. **आर्किटेक्चर डिजाइन मार्गदर्शन**: नए आर्किटेक्चर संशोधनों के लिए सैद्धांतिक आधार प्रदान करता है 3. **प्रशिक्षण स्थिरता सुधार**: अवशिष्ट स्केलिंग के माध्यम से प्रशिक्षण स्थिरता में सुधार ## संदर्भ पेपर कई महत्वपूर्ण कार्यों का हवाला देता है, जिनमें शामिल हैं: - Ba et al. (2016): परत सामान्यीकरण मूल पेपर - Xiong et al. (2020): Pre-LN बनाम Post-LN तुलना अनुसंधान - Kim et al. (2025): Peri-LN का अनुभवजन्य अनुसंधान - He et al. (2016): अवशिष्ट कनेक्शन की अग्रणी कार्य --- **समग्र मूल्यांकन**: यह सिद्धांत और व्यवहार के अच्छे संयोजन वाला एक उच्च गुणवत्ता वाला पेपर है, जो ट्रांसफॉर्मर स्थिरता विश्लेषण के लिए नया गणितीय ढांचा प्रदान करता है, जिसका महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है। सैद्धांतिक विश्लेषण कठोर और गहन है, प्रायोगिक सत्यापन पर्याप्त है, और गहन शिक्षा आर्किटेक्चर डिजाइन के लिए मूल्यवान मार्गदर्शन प्रदान करता है।