MLE अभिसरण गति से सूचना प्रक्षेपण तक घातांकीय परिवार का: मॉडल आयाम और नमूना आकार के लिए मानदंड -- संपूर्ण प्रमाण संस्करण--

मूल जानकारी

• पेपर ID: 2105.08947
• शीर्षक: MLE अभिसरण गति से सूचना प्रक्षेपण तक घातांकीय परिवार का: मॉडल आयाम और नमूना आकार के लिए मानदंड -- संपूर्ण प्रमाण संस्करण--
• लेखक: यो शीना (शिगा विश्वविद्यालय डेटा विज्ञान विभाग, सांख्यिकीय गणितीय संस्थान में अतिथि प्रोफेसर)
• वर्गीकरण: math.ST stat.TH
• प्रकाशन समय: मई 2021 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2105.08947

सारांश

यह पेपर पैरामीट्रिक वितरण मॉडल में अध्ययन करता है कि जब वास्तविक वितरण मॉडल के बाहर स्थित हो, तो मॉडल में वास्तविक वितरण के सबसे निकट वितरण की समस्या। कुलबैक-लीबलर (K-L) विचलन का उपयोग करके वितरणों के बीच दूरी को मापा जाता है, सबसे निकट वितरण को "सूचना प्रक्षेपण" कहा जाता है। अधिकतम संभावना अनुमानक (MLE) का अनुमान जोखिम को सूचना प्रक्षेपण और MLE को प्रविष्ट करने वाले पूर्वानुमान वितरण के बीच K-L विचलन की अपेक्षा के रूप में परिभाषित किया जाता है। यह पेपर जोखिम का渐近विस्तार $n^{-2}$ क्रम तक प्राप्त करता है, और ऐसी शर्तों का अध्ययन करता है जो वास्तविक वितरण और सूचना प्रक्षेपण के बीच बेयस त्रुटि दर को निर्दिष्ट मान से कम रखते हैं। इन परिणामों को मिलाकर, "$p-n$ मानदंड" प्रस्तावित किया जाता है, जो यह निर्धारित करने के लिए उपयोग किया जाता है कि दिए गए मॉडल और नमूने के तहत MLE सूचना प्रक्षेपण के पर्याप्त रूप से निकट है या नहीं। विशेष रूप से, घातांकीय परिवार मॉडल के लिए मानदंड अपेक्षाकृत सरल है, और इसे उन जटिल मॉडलों के लिए उपयोग किया जा सकता है जिनके पास सामान्यीकरण स्थिरांक का स्पष्ट रूप नहीं है। यह मानदंड नमूना आकार या मॉडल स्वीकृति समस्याओं के समाधान के रूप में कार्य कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

जब एक दिया गया डेटासेट हो, तो एक अज्ञात संभाव्यता वितरण को स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूनों के जनरेटर के रूप में मान लेना आवश्यक है। यदि किसी पैरामीट्रिक वितरण मॉडल को डेटा को "समझाने" के लिए अपनाया जाता है, तो पहला कार्य मॉडल में "सर्वश्रेष्ठ" वितरण खोजना है। चूंकि वास्तविक वितरण आमतौर पर मॉडल के बाहर स्थित होता है, "सर्वश्रेष्ठ" का अर्थ वास्तविक वितरण के सबसे "निकट" वितरण है।

समस्या की महत्ता

सफल वितरण सन्निकटन के व्यापक अनुप्रयोग हैं:

1. सशर्त वितरण के आधार पर प्रतिगमन या विभेदक विश्लेषण
2. सशर्त या बिना शर्त वितरण का उपयोग करके बहु-प्रतिरोपण
3. संभाव्यता समोच्च क्षेत्र के आधार पर विसंगतियों का निर्धारण
4. C.R. राव के प्रसिद्ध समीकरण को प्रतिबिंबित करता है: "अनिश्चित ज्ञान" + "अनिश्चितता की डिग्री का ज्ञान" = "उपलब्ध ज्ञान"

मौजूदा विधियों की सीमाएं

वितरण सन्निकटन प्रक्रिया में तीन महत्वपूर्ण समस्याएं हैं:

1. वितरण मॉडल को व्यवस्थित रूप से बनाने की विधि
2. अनुमानक और सर्वश्रेष्ठ वितरण के बीच निकटता का मूल्यांकन करने की विधि
3. सर्वश्रेष्ठ वितरण और वास्तविक वितरण के बीच निकटता का मूल्यांकन करने की विधि

मौजूदा अनुसंधान मुख्य रूप से पूर्वानुमान वितरण और वास्तविक वितरण के बीच निकटता पर ध्यान केंद्रित करता है, न कि सर्वश्रेष्ठ वितरण के साथ।

अनुसंधान प्रेरणा

यह पेपर दूसरी समस्या पर ध्यान केंद्रित करता है, यह निर्धारित करने के लिए एक मानदंड स्थापित करता है कि MLE सर्वश्रेष्ठ वितरण के पर्याप्त रूप से निकट है या नहीं। दूसरी और तीसरी समस्याओं को अलग करके, मॉडल को ठीक करता है और नमूना आकार n के संबंध में जोखिम का渐近विस्तार प्राप्त करता है।

मुख्य योगदान

1. सैद्धांतिक योगदान: सामान्य वितरण मॉडल के तहत MLE अनुमान जोखिम का渐近विस्तार $n^{-2}$ क्रम तक प्राप्त किया, संपूर्ण गणितीय प्रमाण दिया
2. घातांकीय परिवार विशेषज्ञता: घातांकीय परिवार मॉडल के लिए सरलीकृत जोखिम अभिव्यक्ति और व्यावहारिक $p-n$ मानदंड प्रदान किए
3. व्यावहारिक मानदंड: $p-n$ मानदंड प्रस्तावित किया, जिसका उपयोग यह निर्धारित करने के लिए किया जा सकता है कि नमूना आकार पर्याप्त है या मॉडल आयाम उपयुक्त है
4. एल्गोरिदम ढांचा: स्पष्ट सामान्यीकरण स्थिरांक की आवश्यकता के बिना जटिल घातांकीय परिवार मॉडल के लिए गणना एल्गोरिदम प्रदान किया
5. अनुभवजन्य सत्यापन: दो वास्तविक डेटासेट पर $p-n$ मानदंड की प्रभावशीलता को सत्यापित किया
6. सैद्धांतिक संबंध: सूचना मानदंड (AIC/TIC) के साथ संबंध स्थापित किया

विधि विवरण

कार्य परिभाषा

पैरामीट्रिक वितरण मॉडल $M = \{g(x; \theta) | \theta \in \Theta\}$ दिया गया है, जहां $g(x; \theta)$ संदर्भ माप $d\mu$ के संबंध में संभाव्यता घनत्व फलन है। वास्तविक वितरण का घनत्व फलन $g(x)$ है। लक्ष्य है:

• मॉडल में सूचना प्रक्षेपण $g(x; \theta^*)$ खोजना
• MLE $\hat{\theta}$ के अनुरूप पूर्वानुमान वितरण $g(x; \hat{\theta})$ और सूचना प्रक्षेपण के बीच दूरी का मूल्यांकन करना
• यह निर्धारित करने के लिए एक मानदंड स्थापित करना कि MLE सूचना प्रक्षेपण के पर्याप्त रूप से निकट है या नहीं

मुख्य ढांचा

सूचना प्रक्षेपण परिभाषा

सूचना प्रक्षेपण $g(x; \theta^*)$ को इस प्रकार परिभाषित किया जाता है: $\theta^* = \arg \min_{\theta \in \Theta} D[g(x) | g(x; \theta)]$ जहां $D[g_1 | g_2] = \int g_1(x) \log(g_1(x)/g_2(x))d\mu$ K-L विचलन है।

अनुमान जोखिम परिभाषा

अनुमान जोखिम को इस प्रकार परिभाषित किया जाता है: $R[g(x; \theta^*) | g(x; \hat{\theta})] = E[D[g(x; \theta^*) | g(x; \hat{\theta})]]$

सैद्धांतिक परिणाम

सामान्य मॉडल का渐近विस्तार

प्रमेय 1: K-L विचलन के संबंध में MLE अनुमान जोखिम है: $R[g(x; \theta^*) | g(x; \hat{\theta})] = (2n)^{-1}\text{tr}(\tilde{G}^{-1}G\tilde{G}^{-1}G^*) + n^{-2}[\text{जटिल द्वितीय क्रम पद}] + O(n^{-3})$

जहां:

• $G^*_{ij}(\theta^*)$: फिशर सूचना मैट्रिक्स
• $\tilde{G}_{ij}(\theta^*)$: हेसियन मैट्रिक्स की नकारात्मक अपेक्षा
• $G_{ij}(\theta^*)$: वास्तविक वितरण के तहत विचरण-सहविचरण मैट्रिक्स

घातांकीय परिवार के सरलीकृत परिणाम

निष्कर्ष 1: घातांकीय परिवार मॉडल $g(x; \theta) = \exp(\sum_{i=1}^p \theta_i \xi_i(x) - \Psi(\theta))$ के लिए: $R[g(x; \theta^*) | g(x; \hat{\theta})] = \frac{1}{2n}\text{tr}(\tilde{G}^{-1}G) + \frac{1}{24n^2}[\text{तीसरे और चौथे क्रम संचयी का फलन}] + O(n^{-3})$

मुख्य गुण: $G^* = \tilde{G} = \ddot{\Psi}(\theta^*)$ (द्वितीय क्रम व्युत्पन्न मैट्रिक्स)

$p-n$ मानदंड

सामान्य मॉडल मानदंड

$C \geq \frac{1}{2n}\text{tr}(\hat{\tilde{G}}^{-1}\hat{G}\hat{\tilde{G}}^{-1}\hat{G}^*)$

घातांकीय परिवार मानदंड

$C \geq \frac{1}{2n}\text{tr}(\hat{\Sigma}(\ddot{\Psi}(\hat{\theta}))^{-1}) + \frac{1}{24n^2}[\text{अनुमानित द्वितीय क्रम पद}]$

जहां $\hat{\Sigma}$ $\xi_i$ पदों का नमूना सहविचरण मैट्रिक्स है।

सीमा निर्धारण

बेयस त्रुटि दर और K-L विचलन के संबंध के माध्यम से सीमा $C$ निर्धारित की जाती है:

• यदि $D[g_1 | g_2] \leq \delta$, तो त्रुटि दर $\text{Er}[g_1 | g_2] \geq 1/2 - \sqrt{\delta/8}$
• त्रुटि दर सीमा $1/2 - \alpha$ के लिए, लगभग $C_\alpha = 8\alpha^2$

प्रयोगात्मक सेटअप

डेटासेट

1. लाल वाइन गुणवत्ता डेटासेट:
   • स्रोत: UCI मशीन लर्निंग लाइब्रेरी
   • नमूना आकार: 1599 (लाल वाइन डेटा)
   • चर: 11 रासायनिक पदार्थ (सतत चर) + गुणवत्ता संकेतक (3-8 पूर्णांक)
   • मॉडल: 47-आयामी घातांकीय परिवार मॉडल (सहसंबंध छानने के बाद)
2. अबलोन डेटासेट:
   • स्रोत: UCI मशीन लर्निंग लाइब्रेरी
   • नमूना आकार: 4177
   • चर: लिंग (3 श्रेणियां) + वलय (1-29 पूर्णांक)
   • मॉडल: 62-आयामी बहुपद वितरण (63 श्रेणियां)

प्रयोगात्मक डिजाइन

• लाल वाइन डेटा: यादृच्छिक रूप से दो भागों में विभाजित, एक भाग मॉडल निर्माण के लिए, एक भाग पैरामीटर अनुमान के लिए
• अबलोन डेटा: सीधे बहुपद वितरण के $p-n$ मानदंड सूत्र को लागू करना
• जटिल घातांकीय परिवार मॉडल की सामान्यीकरण स्थिरांक समस्या को संभालने के लिए MCMC विधि का उपयोग

प्रयोगात्मक परिणाम

लाल वाइन डेटासेट परिणाम

• 47-आयामी मॉडल ($n=799$):
  • प्रथम क्रम पद: 2.95e-02
  • द्वितीय क्रम पद: -1.30e-04
  • कुल अनुमानित जोखिम: 2.93e-02
  • संबंधित $\alpha \approx 0.06$, बेयस त्रुटि दर > 0.44
• 37-आयामी सरलीकृत मॉडल:
  • कुल अनुमानित जोखिम: 1.62e-02 < 0.02 ($\alpha=0.05$ की सीमा)
  • $p-n$ मानदंड आवश्यकता को संतुष्ट करता है
• वर्गीकरण प्रदर्शन: जनरेटिव वर्गीकारक सटीकता 58%, निर्णय वृक्ष 63%, लेकिन जनरेटिव मॉडल कम अतिफिटिंग

अबलोन डेटासेट परिणाम

• $p=62$, $n=4177$, $M̂=36128.33$
• प्रथम क्रम जोखिम: 0.0074, द्वितीय क्रम जोखिम: 1.73e-04
• कुल जोखिम: 0.0076 < 0.02 ($\alpha=0.05$)
• $p-n$ मानदंड को संतुष्ट करता है
• लेकिन $\alpha=0.01$ के लिए $n \geq 38847$ की आवश्यकता है, वास्तविक नमूना अपर्याप्त है

मुख्य निष्कर्ष

1. द्वितीय क्रम पद कुल जोखिम में बहुत कम योगदान देता है, प्रथम क्रम सन्निकटन आमतौर पर पर्याप्त है
2. $p-n$ मानदंड मॉडल चयन और नमूना आकार निर्धारण को प्रभावी ढंग से निर्देशित कर सकता है
3. जटिल मॉडल MCMC विधि के माध्यम से लागू किए जा सकते हैं, स्पष्ट सामान्यीकरण स्थिरांक की आवश्यकता नहीं है

संबंधित कार्य

घातांकीय परिवार सिद्धांत

• Portnoy, Stone, Barron & Sheu आदि ने घातांकीय परिवार अनुक्रमों की अभिसरण का अध्ययन किया
• Wainwright & Jordan ने ग्राफ मॉडल में आधार फलन चयन का अध्ययन किया
• Efron & Tibshirani ने मिश्रित घातांकीय परिवार निर्माण का अध्ययन किया

सूचना ज्यामिति

• Amari & Nagaoka की सूचना ज्यामिति सिद्धांत इस पेपर के लिए ज्यामितीय आधार प्रदान करती है
• Csiszár की सूचना प्रक्षेपण अवधारणा
• $\alpha$-विचलन सिद्धांत ढांचा

मॉडल चयन

• AIC/TIC सूचना मानदंड के साथ संबंध
• यह पेपर अनुमान जोखिम और सन्निकटन जोखिम को अलग करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. MLE अनुमान जोखिम का सटीक渐近सिद्धांत स्थापित किया, विशेष रूप से घातांकीय परिवार के सरलीकृत रूप
2. व्यावहारिक $p-n$ मानदंड प्रस्तावित किया, जिसका उपयोग नमूना आकार निर्धारण और मॉडल स्वीकृति समस्याओं के लिए किया जा सकता है
3. जटिल घातांकीय परिवार मॉडल के लिए एल्गोरिदम ढांचा प्रदान किया
4. सूचना मानदंड के साथ सैद्धांतिक संबंध स्थापित किया

सीमाएं

1. सैद्धांतिक धारणाएं उपयुक्त नियमितता शर्तों की आवश्यकता करती हैं
2. द्वितीय क्रम पद की गणना जटिल है, व्यावहारिक अनुप्रयोग में अक्सर प्रथम क्रम सन्निकटन का उपयोग किया जाता है
3. सीमा निर्धारण अनुमानित संबंध पर आधारित है, पर्याप्त सटीक नहीं हो सकता है
4. गैर-घातांकीय परिवार मॉडल के लिए, मानदंड रूप अधिक जटिल है

भविष्य की दिशाएं

1. अधिक सामान्य विचलन परिवार तक विस्तार
2. परिमित नमूना गुणों का अध्ययन
3. अधिक कुशल गणना एल्गोरिदम विकसित करना
4. गहन शिक्षा आदि आधुनिक सांख्यिकीय मॉडल पर अनुप्रयोग

गहन मूल्यांकन

लाभ

1. सैद्धांतिक कठोरता: संपूर्ण गणितीय प्रमाण प्रदान करता है, सैद्धांतिक विश्लेषण गहन है
2. व्यावहारिक मूल्य: $p-n$ मानदंड को वास्तविक समस्याओं पर सीधे लागू किया जा सकता है
3. विधि नवाचार: अनुमान जोखिम और सन्निकटन जोखिम को अलग करने का विचार नया है
4. गणना व्यवहार्यता: जटिल मॉडल के लिए MCMC कार्यान्वयन योजना प्रदान करता है
5. व्यापक अनुप्रयोग: विभिन्न घातांकीय परिवार मॉडल पर लागू होता है

कमियां

1. गणना जटिलता: द्वितीय क्रम पद की गणना बड़ी है, व्यावहारिक अनुप्रयोग को सीमित करता है
2. धारणा शर्तें: मजबूत नियमितता धारणाओं की आवश्यकता है
3. सीमित प्रयोग: केवल दो डेटासेट पर सत्यापित
4. सीमा सन्निकटन: बेयस त्रुटि दर और K-L विचलन संबंध का सन्निकटन पर्याप्त सटीक नहीं हो सकता है

प्रभाव

1. सैद्धांतिक योगदान: सांख्यिकीय शिक्षण सिद्धांत के लिए नए विश्लेषण उपकरण प्रदान करता है
2. व्यावहारिक मार्गदर्शन: मॉडल चयन के लिए मात्रात्मक मानदंड प्रदान करता है
3. पद्धति: जोखिम विघटन के लिए नया ढांचा स्थापित करता है
4. विस्तारशीलता: बाद के अनुसंधान के लिए सैद्धांतिक आधार प्रदान करता है

लागू परिदृश्य

1. घातांकीय परिवार मॉडल के नमूना आकार योजना
2. जटिल सांख्यिकीय मॉडल का मॉडल चयन
3. मशीन लर्निंग में मॉडल जटिलता नियंत्रण
4. बेयसियन सांख्यिकी में पूर्व चयन मार्गदर्शन

संदर्भ

यह पेपर 28 महत्वपूर्ण संदर्भों का हवाला देता है, जो सूचना ज्यामिति, घातांकीय परिवार सिद्धांत,渐近सांख्यिकी आदि कई क्षेत्रों को कवर करते हैं, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं। मुख्य संदर्भ साहित्य में Amari की सूचना ज्यामिति मोनोग्राफ, Barron & Sheu की घातांकीय परिवार अभिसरण अनुसंधान, और शास्त्रीय सांख्यिकीय शिक्षण सिद्धांत साहित्य शामिल हैं।