2025-11-23T19:58:17.144226

Bayesian Double Descent

Polson, Sokolov
Double descent is a phenomenon of over-parameterized statistical models such as deep neural networks which have a re-descending property in their risk function. As the complexity of the model increases, risk exhibits a U-shaped region due to the traditional bias-variance trade-off, then as the number of parameters equals the number of observations and the model becomes one of interpolation where the risk can be unbounded and finally, in the over-parameterized region, it re-descends -- the double descent effect. Our goal is to show that this has a natural Bayesian interpretation. We also show that this is not in conflict with the traditional Occam's razor -- simpler models are preferred to complex ones, all else being equal. Our theoretical foundations use Bayesian model selection, the Dickey-Savage density ratio, and connect generalized ridge regression and global-local shrinkage methods with double descent. We illustrate our approach for high dimensional neural networks and provide detailed treatments of infinite Gaussian means models and non-parametric regression. Finally, we conclude with directions for future research.
academic

बेयेसियन डबल डिसेंट

मूल जानकारी

  • पेपर ID: 2507.07338
  • शीर्षक: बेयेसियन डबल डिसेंट
  • लेखक: निक पोल्सन (शिकागो बूथ स्कूल विश्वविद्यालय), वेदिम सोकोलोव (जॉर्ज मेसन विश्वविद्यालय)
  • वर्गीकरण: stat.ML cs.LG stat.CO
  • प्रकाशन समय: प्रथम ड्राफ्ट: 25 दिसंबर, 2024; वर्तमान ड्राफ्ट: 16 अक्टूबर, 2025
  • पेपर लिंक: https://arxiv.org/abs/2507.07338

सारांश

डबल डिसेंट (द्विगुण अवतरण) अतिपरामीटरीकृत सांख्यिकीय मॉडल (जैसे गहरे तंत्रिका नेटवर्क) में उनके जोखिम फलन में प्रदर्शित पुनः अवतरण विशेषता है। मॉडल जटिलता बढ़ने के साथ, जोखिम फलन पारंपरिक पूर्वाग्रह-विचरण व्यापार-बंद के कारण U-आकार का क्षेत्र प्रदर्शित करता है। जब पैरामीटर संख्या अवलोकन संख्या के बराबर हो तो मॉडल एक प्रक्षेप मॉडल बन जाता है और जोखिम अनंत हो सकता है, अंत में अतिपरामीटरीकृत क्षेत्र में फिर से अवतरित होता है—यह ही डबल डिसेंट प्रभाव है। यह पेपर यह प्रमाणित करने का लक्ष्य रखता है कि यह घटना एक प्राकृतिक बेयेसियन व्याख्या रखती है और यह पारंपरिक ओकाम के रेजर सिद्धांत के साथ संघर्ष नहीं करती है। सैद्धांतिक आधार बेयेसियन मॉडल चयन, डिकी-सेवेज घनत्व अनुपात का उपयोग करता है और सामान्यीकृत रिज प्रतिगमन तथा वैश्विक-स्थानीय संकुचन विधियों को डबल डिसेंट से जोड़ता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्याएं

  1. डबल डिसेंट घटना की बेयेसियन व्याख्या का अभाव: डबल डिसेंट घटना मुख्य रूप से आवृत्तिवादी दृष्टिकोण से अध्ययन की जाती है, व्यवस्थित बेयेसियन सैद्धांतिक ढांचे की कमी है
  2. ओकाम के रेजर और डबल डिसेंट का सतही संघर्ष: बेयेसियन विधि सरल मॉडल को प्राथमिकता देती है, जबकि डबल डिसेंट जटिल मॉडल बेहतर हो सकते हैं यह सुझाता है
  3. अतिपरामीटरीकृत मॉडल की सैद्धांतिक समझ अपर्याप्त: जब पैरामीटर संख्या नमूना संख्या से अधिक हो तो पारंपरिक सांख्यिकीय सिद्धांत विफल हो जाता है

अनुसंधान का महत्व

  1. सैद्धांतिक एकीकरण: डबल डिसेंट घटना के लिए एकीकृत बेयेसियन सैद्धांतिक ढांचा प्रदान करना
  2. व्यावहारिक मार्गदर्शन: गहन शिक्षा जैसी आधुनिक मशीन लर्निंग विधियों के लिए सैद्धांतिक समर्थन प्रदान करना
  3. पद्धति संबंधी योगदान: शास्त्रीय सांख्यिकीय सिद्धांत को आधुनिक मशीन लर्निंग अभ्यास से जोड़ना

मौजूदा विधियों की सीमाएं

  1. आवृत्तिवादी दृष्टिकोण की सीमाएं: मौजूदा अनुसंधान मुख्य रूप से न्यूनतम L2 मानदंड अनुमानक पर केंद्रित है, पूर्व नियमितीकरण की भूमिका को नजरअंदाज करता है
  2. BIC सन्निकटन विफलता: जब p > n हो तो लाप्लास सन्निकटन (BIC) खराब प्रदर्शन करता है
  3. अनुभवजन्य जोखिम सीमाएं अमान्य: प्रक्षेपकों के लिए, अनुभवजन्य जोखिम शून्य है, जिससे पारंपरिक सीमाएं अर्थहीन हो जाती हैं

मूल योगदान

  1. डबल डिसेंट के लिए बेयेसियन सैद्धांतिक ढांचा स्थापित करना: यह प्रमाणित करना कि सशर्त पूर्व p(θ_M|M) डबल डिसेंट घटना को चलाने वाला मुख्य कारक है
  2. ओकाम के रेजर विरोधाभास को हल करना: यह प्रमाणित करना कि बेयेसियन ओकाम का रेजर और डबल डिसेंट घटना संघर्ष नहीं करती है
  3. शास्त्रीय विधियों को आधुनिक तकनीकों से जोड़ना: सामान्यीकृत रिज प्रतिगमन, वैश्विक-स्थानीय संकुचन विधियों को डबल डिसेंट से जोड़ना
  4. कम्प्यूटेशनल समतुल्यता प्रमेय प्रदान करना: डिकी-सेवेज घनत्व अनुपात के माध्यम से नेस्टेड मॉडल की कम्प्यूटेशनल समतुल्यता प्राप्त करना
  5. तंत्रिका नेटवर्क तक विस्तार: सैद्धांतिक ढांचे को उच्च-आयामी तंत्रिका नेटवर्क प्रतिगमन पर लागू करना

विधि विवरण

कार्य परिभाषा

अतिपरामीटरीकृत प्रतिगमन मॉडल में जोखिम फलन के व्यवहार का अध्ययन, विशेष रूप से जब मॉडल जटिलता M परिवर्तित होती है तो बेयेसियन जोखिम R(M) की डबल डिसेंट घटना:

बेयेसियन डबल डिसेंट परिभाषा: मान लीजिए R(M) = E_{y,θ|M}(θ̂_M(y) - θ)² मॉडल M के तहत अनुमानक का सशर्त पूर्व बेयेसियन जोखिम है, जब M > n हो तो R(M) पुनः अवतरण व्यवहार प्रदर्शित करता है।

सैद्धांतिक ढांचा

1. बेयेसियन मॉडल जटिलता ढांचा

संयुक्त पश्च विघटन:

P(θ_M, M | D) = P(θ_M | M, D)P(M | D)

साक्ष्य (सीमांत संभावना):

p(D|M) = ∫_{Θ_M} p(D | θ_M, M)p(θ_M|M)dθ_M

मुख्य अंतर्दृष्टि: सशर्त पूर्व p(θ_M|M) सीमांतकरण प्रक्रिया के माध्यम से बेयेसियन जोखिम को प्रभावित करता है, अतिपरामीटरीकृत क्षेत्र में निहित नियमितीकरण की भूमिका निभाता है।

2. मॉडल नेस्टिंग और कम्प्यूटेशनल समतुल्यता प्रमेय

प्रमेय 3.1 (मॉडल नेस्टिंग और कम्प्यूटेशनल समतुल्यता): सामंजस्य शर्तों के तहत:

  • p(θ_m|m) = p(θ_m|θ_{m+1:M} = 0, y)
  • p(y|θ_m, m) = p(y|θ_m, θ_{m+1:M} = 0)

अतिपरामीटरीकृत पूर्ण मॉडल M से उप-मॉडल m के फलन अनुमान की गणना की जा सकती है:

f̂_m(x) = E[f̂_m(x)|θ_{m+1:M} = 0, M, y]

डिकी-सेवेज घनत्व अनुपात:

p(y|m)/p(y|M) = p(θ_{m+1:M} = 0|y, M)/p(θ_{m+1:M} = 0|M)

3. BIC सन्निकटन की सीमाएं

जब p < n हो तो लाप्लास सन्निकटन देता है:

log p(D|M) ≈ log p(D|θ̂, M) - (k/2)log n

लेकिन जब p > n हो तो यह सन्निकटन विफल हो जाता है, पूर्व p(θ|M) का बेयेसियन जोखिम पर प्रभाव महत्वपूर्ण हो जाता है।

सामान्यीकृत रिज प्रतिगमन संबंध

ऑर्थोगोनल विघटन प्रतिनिधित्व

डिजाइन मैट्रिक्स X का SVD विघटन: PXTXQ = Λ², प्राप्त करता है:

γ*_i = (λ²_i)/(λ²_i + k_i) γ̂_i

जहां k_i स्थानीय संकुचन पैरामीटर है, वैश्विक-स्थानीय संकुचन मॉडल के स्थानीय पैमाने के अनुरूप है।

इष्टतम संकुचन पैरामीटर

सीमांत संभावना z_i|k_i, σ² को अनुकूलित करके प्राप्त:

k̂_i = (λ²_i σ²)/(z²_i - σ²) for z²_i > σ²

तंत्रिका नेटवर्क विस्तार

स्तरीय बेयेसियन विनिर्देश:

y_i = Σ_{j=1}^M θ_j φ_j(x_i; w) + ε_i
θ_j ~ N(0, σ²_j)
w ~ p(w)
σ²_j ~ p(σ²_j)

यह आधार फलनों को स्वचालित रूप से सीखने की अनुमति देता है, जबकि बेयेसियन मॉडल चयन ढांचे को बनाए रखता है।

प्रायोगिक सेटअप

बहुपद प्रतिगमन प्रयोग

डेटा उत्पादन:

  • सत्य फलन: y_i = sin(5x_i) + ε, ε ~ N(0, 0.3²)
  • नमूना आकार: n = 20
  • मॉडल जटिलता: d = 1, 2, ..., 50

आधार फलन चयन: लेजेंड्रे बहुपद आधार फलन का उपयोग, संख्यात्मक रूप से स्थिर ऑर्थोगोनल आधार प्रदान करता है।

अनुमान विधि: मूर-पेनरोज़ छद्म-व्युत्क्रम का उपयोग, अतिपरामीटरीकृत समय में न्यूनतम मानदंड समाधान प्रदान करता है।

बेयेसियन बहुपद प्रतिगमन

यंग विधि:

  • पूर्व: C = diag(δ², τ²/λ²₁, ..., τ²/λ²_q)
  • पश्च: θ | D, σ², C ~ N(θ̂_post, Σ_post)

डीटन विधि:

  • क्रमबद्ध बाधा: σ²₀ ≥ σ²₁ ≥ ... ≥ σ²_p
  • समान क्रमबद्ध प्रतिगमन (PAVA) अनुकूलन अनुमानित MAP अनुमान

प्रायोगिक परिणाम

डबल डिसेंट घटना सत्यापन

तीन चरण:

  1. शास्त्रीय क्षेत्र (d < 5): जटिलता बढ़ाने से पूर्वाग्रह और परीक्षण त्रुटि में कमी
  2. प्रक्षेप संकट (d ≈ n = 20): परीक्षण त्रुटि शिखर तक पहुंचती है, मॉडल प्रशिक्षण डेटा को पूरी तरह फिट करता है लेकिन सामान्यीकरण खराब है
  3. अतिपरामीटरीकृत क्षेत्र (d > 30): परीक्षण त्रुटि फिर से अवतरित होती है, चरम अतिपरामीटरीकरण सामान्यीकरण में सुधार करता है

मुख्य निष्कर्ष

  1. निहित नियमितीकरण प्रभाव: न्यूनतम मानदंड समाधान अतिपरामीटरीकृत सेटिंग में सरल फलनों के लिए निहित पूर्वाग्रह रखता है
  2. बेयेसियन लाभ: उपयुक्त पूर्व विनिर्देश के माध्यम से, बेयेसियन विधि सभी क्षेत्रों में अच्छा प्रदर्शन करती है
  3. कम्प्यूटेशनल दक्षता: सीधे अधिकतम संभव मॉडल का उपयोग कर सकते हैं, समय लेने वाले मॉडल चयन से बच सकते हैं

सीमांत संभावना व्यवहार

सत्य बहुपद डिग्री p_true = 10 के मॉडल के लिए, सीमांत संभावना संबंधित जटिलता पर शिखर तक पहुंचती है, बेयेसियन ओकाम के रेजर की प्रभावशीलता को सत्यापित करती है।

संबंधित कार्य

आवृत्तिवादी अनुसंधान

  1. बेलकिन एट अल. (2019): रैखिक प्रतिगमन में डबल डिसेंट का पहला अवलोकन
  2. बाख (2024): यादृच्छिक प्रतिगमन मॉडल तक विस्तार
  3. हेस्टी एट अल. (2022): प्रक्षेपकों के गुणों का अध्ययन

बेयेसियन विधियां

  1. मैकके (1992): बेयेसियन प्रक्षेप और अतिपैरामीटर नियमितीकरण
  2. पोल्सन और स्कॉट (2012): वैश्विक-स्थानीय संकुचन ढांचा
  3. यंग (1977), डीटन (1980): बहुपद प्रतिगमन की बेयेसियन विधियां

पूर्वाग्रह-विचरण व्यापार-बंद

  1. गेमन एट अल. (1992): तंत्रिका नेटवर्क में पूर्वाग्रह-विचरण व्यापार-बंद
  2. एफ्रॉन और मॉरिस (1973): संकुचन अनुमानकों के लाभ

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. सैद्धांतिक एकीकरण: डबल डिसेंट घटना एक प्राकृतिक बेयेसियन व्याख्या रखती है, सशर्त पूर्व p(θ_M|M) द्वारा संचालित
  2. ओकाम के रेजर संगतता: सीमांत संभावना अभी भी सरल मॉडल को प्राथमिकता देती है, लेकिन सशर्त पूर्व अतिपरामीटरीकृत क्षेत्र में अच्छे जोखिम गुण प्रदान कर सकता है
  3. व्यावहारिक मार्गदर्शन: अधिकतम संभव मॉडल का उपयोग करने की सिफारिश करता है, बेयेसियन ढांचे की स्वचालित नियमितीकरण पर निर्भर करता है

सीमाएं

  1. पूर्व विनिर्देश चुनौती: जटिल स्थान पर संयुक्त पैरामीटर पूर्व निर्दिष्ट करने की आवश्यकता है
  2. कम्प्यूटेशनल जटिलता: तंत्रिका नेटवर्क आधार फलनों की सीमांत संभावना गणना कठिन है
  3. सैद्धांतिक अंतराल: उच्च-आयामी मामलों में पूर्ण सैद्धांतिक विश्लेषण अभी भी विकास की आवश्यकता है

भविष्य की दिशाएं

  1. अनुकूली पूर्व: डेटा संरचना को स्वचालित रूप से समायोजित करने वाली पूर्व विनिर्देश विकसित करना
  2. गहन शिक्षा विस्तार: ढांचे को गहन शिक्षा तक विस्तारित करना जहां पैरामीटर संख्या नमूना संख्या से बहुत अधिक है
  3. कम्प्यूटेशनल विधियां: उच्च-आयामी सेटिंग में कुशल अनुमानित अनुमान तकनीकें विकसित करना

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक नवाचार: डबल डिसेंट घटना के लिए पहली बार व्यवस्थित बेयेसियन सैद्धांतिक ढांचा प्रदान करता है
  2. समस्या समाधान: ओकाम के रेजर और डबल डिसेंट के सतही संघर्ष को सुरुचिपूर्ण तरीके से हल करता है
  3. विधि संबंध: शास्त्रीय सांख्यिकीय विधियों को आधुनिक मशीन लर्निंग से सफलतापूर्वक जोड़ता है
  4. पर्याप्त प्रयोग: बहुपद प्रतिगमन के माध्यम से सैद्धांतिक भविष्यवाणियों को स्पष्ट रूप से प्रदर्शित करता है

कमियां

  1. अनुप्रयोग सीमाएं: मुख्य रूप से अपेक्षाकृत सरल प्रतिगमन सेटिंग तक सीमित, गहन शिक्षा अनुप्रयोग अभी विकास की आवश्यकता है
  2. कम्प्यूटेशनल चुनौतियां: उच्च-आयामी मामलों में व्यावहारिक गणना अभी भी कठिन है
  3. पूर्व संवेदनशीलता: विधि की सफलता उपयुक्त पूर्व चयन पर अत्यधिक निर्भर है

प्रभाव

  1. सैद्धांतिक योगदान: आधुनिक मशीन लर्निंग घटनाओं को समझने के लिए महत्वपूर्ण बेयेसियन दृष्टिकोण प्रदान करता है
  2. व्यावहारिक मूल्य: अतिपरामीटरीकृत मॉडल के उपयोग के लिए सैद्धांतिक समर्थन प्रदान करता है
  3. अनुसंधान प्रेरणा: आधुनिक मशीन लर्निंग में बेयेसियन विधियों के नए अनुप्रयोग दिशाएं खोलता है

लागू परिदृश्य

  1. प्रतिगमन समस्याएं: विशेष रूप से उच्च-आयामी प्रतिगमन और फलन सन्निकटन
  2. मॉडल चयन: कई जटिलता स्तरों के बीच चयन की आवश्यकता वाले परिदृश्य
  3. अनिश्चितता परिमाणीकरण: भविष्यवाणी और अनिश्चितता अनुमान दोनों की आवश्यकता वाले अनुप्रयोग

संदर्भ

यह पेपर महत्वपूर्ण साहित्य के विस्तृत संदर्भ उद्धृत करता है, जिसमें शामिल हैं:

  • बेलकिन एट अल. (2019): डबल डिसेंट घटना का अग्रणी कार्य
  • मैकके (1992): बेयेसियन प्रक्षेप का शास्त्रीय साहित्य
  • पोल्सन और स्कॉट (2012): वैश्विक-स्थानीय संकुचन विधि
  • यंग (1977), डीटन (1980): बेयेसियन बहुपद प्रतिगमन का प्रारंभिक कार्य

यह पेपर सैद्धांतिक रूप से महत्वपूर्ण है, आधुनिक मशीन लर्निंग में डबल डिसेंट घटना को समझने के लिए एक नया बेयेसियन दृष्टिकोण प्रदान करता है। हालांकि व्यावहारिक अनुप्रयोग में अभी भी चुनौतियां हैं, यह भविष्य के अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार स्थापित करता है।