2025-11-15T03:43:11.771522

Uniformly most powerful tests in linear models

Romanescu
In the multiple regression model we prove that the coefficient t-test for a variable of interest is uniformly most powerful unbiased, with the other parameters considered nuisance. The proof is based on the theory of tests with Neyman-structure and does not assume unbiasedness or linearity of the test statistic. We further show that the Gram-Schmidt decomposition of the design matrix leads to a family of regression model with potentially more powerful tests for the corresponding transformed regressors. Finally, we discuss interpretation and performance criteria for the Gram-Schmidt regression compared to standard multiple regression, and show how the power differential has major implications for study design.
academic

रैखिक मॉडल में समान रूप से सबसे शक्तिशाली परीक्षण

मूल जानकारी

  • पेपर ID: 2411.18033
  • शीर्षक: रैखिक मॉडल में समान रूप से सबसे शक्तिशाली परीक्षण
  • लेखक: Razvan G. Romanescu (मैनिटोबा विश्वविद्यालय)
  • वर्गीकरण: math.ST stat.TH
  • पत्रिका: जर्नल ऑफ द रॉयल स्टैटिस्टिकल सोसाइटी (प्रकाशनाधीन)
  • पेपर लिंक: https://arxiv.org/abs/2411.18033

सारांश

यह पेपर बहुभिन्न प्रतिगमन मॉडल में रुचि के चर के गुणांक t-परीक्षण को समान रूप से सबसे शक्तिशाली निष्पक्ष (UMPU) साबित करता है, जहां अन्य पैरामीटर को विघ्नकारी पैरामीटर माना जाता है। प्रमाण Neyman संरचना वाले परीक्षण सिद्धांत पर आधारित है, जो परीक्षण सांख्यिकी की निष्पक्षता या रैखिकता को मानता नहीं है। आगे दिखाया गया है कि डिजाइन मैट्रिक्स का Gram-Schmidt अपघटन प्रतिगमन मॉडल की एक श्रृंखला की ओर ले जाता है, जिसमें संबंधित रूपांतरित प्रतिगमन के लिए संभावित रूप से मजबूत परीक्षण शक्ति होती है। अंत में, Gram-Schmidt प्रतिगमन और मानक बहुभिन्न प्रतिगमन की व्याख्या और प्रदर्शन मानदंडों पर चर्चा की गई है, और शक्ति अंतर के अनुसंधान डिजाइन पर महत्वपूर्ण प्रभाव को दर्शाया गया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की पृष्ठभूमि

  1. बहुसंरेखता समस्या: बहुभिन्न प्रतिगमन में संबंधित भविष्यवाणी चर शक्ति हानि और अन्य समस्याओं का कारण बनते हैं। चरम मामलों में, पूरी तरह से संबंधित भविष्यवाणी चर अति-पहचाने गए मॉडल को फिट करने में विफल करते हैं।
  2. मौजूदा सिद्धांत की सीमाएं: बहुभिन्न प्रतिगमन की सैद्धांतिक चर्चा मुख्य रूप से OLS अनुमानकों के गुणों (BLUE और BUE) पर केंद्रित है, लेकिन अभी भी मूल प्रतिगमन चर स्थान के भीतर है, बहुसंरेखता की व्यावहारिक समस्याओं को हल नहीं करता है।
  3. परीक्षण सिद्धांत में खाली स्थान: हालांकि यह ज्ञात है कि पर्याप्त सांख्यिकी पर आधारित निष्पक्ष अनुमानक अद्वितीय UMVUE हैं, लेकिन ऐसे अनुमानकों पर आधारित परीक्षण UMP हैं या नहीं यह सहज नहीं है।

अनुसंधान प्रेरणा

  1. सैद्धांतिक पूर्णता: बहुभिन्न प्रतिगमन में गुणांक t-परीक्षण के UMP गुण को स्पष्ट रूप से साबित करना
  2. व्यावहारिक अनुप्रयोग: Gram-Schmidt रूपांतरण के माध्यम से बहुसंरेखता को संभालने के लिए नई विधि प्रदान करना
  3. शक्ति वृद्धि: व्याख्या क्षमता को बनाए रखते हुए परीक्षण शक्ति में सुधार करना

मुख्य योगदान

  1. सैद्धांतिक प्रमाण: बहुभिन्न प्रतिगमन में गुणांक t-परीक्षण के UMPU गुण को पहली बार औपचारिक रूप से साबित करना
  2. विधि नवाचार: Gram-Schmidt अपघटन पर आधारित प्रतिगमन रूपांतरण विधि प्रस्तावित करना, जो भविष्यवाणी चर के बीच सहसंबंध को पूरी तरह से समाप्त करता है
  3. शक्ति विश्लेषण: नई बहुसंरेखता माप Δ स्थापित करना, जो GS प्रतिगमन के सापेक्ष मानक प्रतिगमन की शक्ति लाभ को मापता है
  4. अनुप्रयोग मार्गदर्शन: अनुसंधान डिजाइन के लिए नमूना आकार गणना के लिए सैद्धांतिक आधार प्रदान करना, शक्ति अंतर के व्यावहारिक महत्व को दर्शाना

विधि विवरण

कार्य परिभाषा

बहुभिन्न प्रतिगमन मॉडल पर विचार करें: Y=β1x1+β2x2+…+βpxp+ϵY = \beta_1x_1 + \beta_2x_2 + \ldots + \beta_px_p + \epsilon जहां ϵ∼N(0,σ2I)\epsilon \sim N(0, \sigma^2I), लक्ष्य रुचि के पैरामीटर βi\beta_i पर परिकल्पना परीक्षण करना है: H0:βi≤0vsH1:βi>0H_0: \beta_i \leq 0 \quad \text{vs} \quad H_1: \beta_i > 0

सैद्धांतिक ढांचा

1. ऑर्थोगोनल भविष्यवाणी चर के लिए UMPU परीक्षण

प्रमेय 1: जब भविष्यवाणी चर x1,x2,…,xpx_1, x_2, \ldots, x_p ऑर्थोगोनल रूप से मानकीकृत हों, तो परीक्षण

0, & \text{यदि } V < t_{n-p,1-\alpha} \\ 1, & \text{यदि } V \geq t_{n-p,1-\alpha} \end{cases}$$ जहां $V = \frac{\sqrt{n-p}x_p^TY}{\sqrt{Y^TY - \sum_{i=1}^p(x_i^TY)^2}} \sim t_{n-p}$, $H_0: \beta_p \leq 0$ का परीक्षण करने के लिए UMPU परीक्षण है। #### 2. Gram-Schmidt रूपांतरण **एल्गोरिथ्म 1**: पहली दिशा के चारों ओर Gram-Schmidt ऑर्थोगोनलाइजेशन 1. पहला आधार वेक्टर निर्धारित करें: $x_1 = \frac{m_1}{\|m_1\|}$ 2. $k = 2$ से $p$ के लिए: - $m_k$ को पहले से प्राप्त आधार वेक्टर पर प्रतिगमन करें: $m_k = \alpha_{k,1}x_1 + \ldots + \alpha_{k,k-1}x_{k-1} + r_k$ - अगला आधार वेक्टर सेट करें: $x_k = \frac{\hat{r}_k}{\|\hat{r}_k\|}$ - मैट्रिक्स $Q$ का $k$-वां स्तंभ गणना करें #### 3. संबंधित भविष्यवाणी चर के लिए UMPU परीक्षण **प्रमेय 2**: OLS अनुमान पर आधारित एकतरफा गुणांक t-परीक्षण बहुभिन्न प्रतिगमन में UMPU है। प्रमाण डिजाइन मैट्रिक्स $M$ के GS अपघटन का निर्माण करके, मूल मॉडल को ऑर्थोगोनल रूप में पुनः पैरामीटर करके, और फिर प्रमेय 1 के परिणाम को लागू करके किया जाता है। ### तकनीकी नवाचार बिंदु 1. **सैद्धांतिक विधि**: Neyman संरचना परीक्षण सिद्धांत का उपयोग करना, परीक्षण सांख्यिकी की निष्पक्षता धारणा पर निर्भर नहीं है 2. **रूपांतरण रणनीति**: GS अपघटन के माध्यम से चर की आंशिक व्याख्या क्षमता बनाए रखना, प्रमुख घटक विश्लेषण से बेहतर है 3. **शक्ति माप**: $\Delta = \frac{\beta_1\|q_1\|}{q_1^T\beta}$ को बहुसंरेखता प्रभाव के व्यापक माप के रूप में प्रस्तुत करना ## प्रयोगात्मक सेटअप ### सिमुलेशन प्रयोग **डेटा जनन प्रक्रिया**: - स्वतंत्र चर: $M_1 = Z_1$, $M_i = \rho Z_1 + Z_i$ (i=2,...,p) - परिणाम चर: $Y = \frac{1}{p}M_1 + \ldots + \frac{1}{p}M_p + \sigma\epsilon$ - पैरामीटर सेटिंग: $\rho \in \{-0.25, 0.25, 0.5\}$, $\sigma \in [1, \infty)$, $p \in \{3, 5, 15\}$ - नमूना आकार: $n = 200$, $N = 1000$ बार दोहराया गया ### वास्तविक डेटा McDonald और Schwing (1973) की वायु प्रदूषण और मृत्यु दर डेटासेट का उपयोग: - 15 भविष्यवाणी चर (प्रदूषक, सामाजिक जनसांख्यिकी, मौसम संबंधी चर) - ऑर्थोगोनलाइजेशन क्रम: SO2, HC, NOx, फिर सामाजिक जनसांख्यिकी, अंत में मौसम संबंधी चर ### तुलना विधियां 1. मानक बहुभिन्न प्रतिगमन 2. Gram-Schmidt प्रतिगमन 3. रिज प्रतिगमन ($k_{K12}$ ट्यूनिंग रणनीति का उपयोग करके) ## प्रयोगात्मक परिणाम ### मुख्य परिणाम #### 1. शक्ति तुलना (चित्र 1) - **सकारात्मक सहसंबंध** ($\rho > 0$): GS प्रतिगमन मानक प्रतिगमन और रिज प्रतिगमन से काफी बेहतर है - **नकारात्मक सहसंबंध** ($\rho < 0$): GS प्रतिगमन शक्ति में कमी - **शक्ति वृद्धि**: $\rho$ और $p$ बढ़ने के साथ, GS विधि का लाभ अधिक स्पष्ट है - **विभेदन मानदंड**: $\Delta$ मान शक्ति अंतर को वफादारी से प्रतिबिंबित करता है, $\Delta > 1$ होने पर GS मानक प्रतिगमन से बेहतर है #### 2. वायु प्रदूषण डेटा विश्लेषण (तालिका 1) **मानक प्रतिगमन बनाम GS प्रतिगमन परिणाम तुलना**: - SO2: p-मान 2.91e-05 से 4.52e-07 तक सुधारा गया - HC: गैर-महत्वपूर्ण से 9.36e-05 (अत्यधिक महत्वपूर्ण) में परिवर्तित - NOx: गैर-महत्वपूर्ण से 0.0011 (महत्वपूर्ण) में परिवर्तित **विभिन्न ऑर्थोगोनलाइजेशन क्रम की मजबूती** (तालिका 2): - 6 क्रमपरिवर्तन में, कम से कम एक प्रदूषक चर प्रत्येक फिटिंग में उच्च महत्वपूर्ण रहता है - महत्व स्तर मूल अनुसंधान में SO2 के स्तर से अधिक है - विधि की चर क्रम के प्रति सापेक्ष मजबूती को सत्यापित करता है ### सैद्धांतिक परिणाम **प्रमेय 4**: शक्ति तुलना के लिए आवश्यक और पर्याप्त शर्त - GS प्रतिगमन शक्ति अधिक है यदि और केवल यदि: $\beta_i > \frac{q_i^T\beta}{\|q_i\|}$ - समान शक्ति नमूना आकार संबंध: $\frac{n_A}{n_B} = \Delta_i^2$ ($\alpha_i, \beta_i$ समान चिन्ह होने पर) **प्रस्ताव 3**: GS प्रतिगमन में प्रभाव आकार अनुमान $$\frac{\hat{\beta}_i}{\|\hat{r}_i\|} \sim N\left(\frac{\beta_i}{Q_{ii}}, \frac{\sigma^2}{Q_{ii}^2}\right)$$ ## संबंधित कार्य ### मौजूदा अनुसंधान 1. **UMP परीक्षण सिद्धांत**: King और Smith (1986) ने UMPI परीक्षण का निर्माण किया, लेकिन मजबूत अपरिवर्तनीयता धारणा की आवश्यकता है 2. **रिज प्रतिगमन**: Hoerl और Kennard (1970) ने पक्षपाती अनुमान के माध्यम से स्थिरता में सुधार किया 3. **स्पर्शोन्मुख सिद्धांत**: Choi et al. (1996) ने बड़े नमूने की सीमा में पैरामीट्रिक मॉडल के लिए प्रभावी परीक्षण समस्या को हल किया ### इस पेपर के लाभ 1. **सटीकता**: सीमित नमूने के लिए सटीक परिणाम प्रदान करता है, स्पर्शोन्मुख सन्निकटन नहीं 2. **सरलता**: बंद-रूप परीक्षण सांख्यिकी प्राप्त करता है, परिचित प्रतिगमन t-परीक्षण के साथ संबंध स्थापित करता है 3. **व्यावहारिकता**: बहुभिन्न प्रतिगमन जैसे महत्वपूर्ण अनुप्रयोग परिदृश्य में सीधे लागू होता है ## निष्कर्ष और चर्चा ### मुख्य निष्कर्ष 1. **सैद्धांतिक योगदान**: मानक t-परीक्षण के UMPU गुण को साबित करता है, प्रतिगमन परीक्षण सिद्धांत में खाली स्थान को भरता है 2. **विधि योगदान**: GS रूपांतरण बहुसंरेखता को संभालने के लिए एक प्रभावी मार्ग प्रदान करता है, उपयुक्त परिस्थितियों में शक्ति में काफी सुधार करता है 3. **व्यावहारिक मूल्य**: नई माप $\Delta$ अनुसंधान डिजाइन और नमूना आकार गणना के लिए सैद्धांतिक आधार प्रदान करती है ### सीमाएं 1. **क्रम निर्भरता**: GS विधि की व्याख्या ऑर्थोगोनलाइजेशन क्रम पर निर्भर करती है, पूर्व ज्ञान या स्वतंत्र जांच की आवश्यकता है 2. **अनुप्रयोग शर्तें**: शक्ति वृद्धि मुख्य रूप से सकारात्मक सहसंबंधित भविष्यवाणी चर के मामले में महत्वपूर्ण है 3. **कारण धारणा**: प्रभाव आकार व्याख्या को उचित संभावित कारक मॉडल समर्थन की आवश्यकता है ### भविष्य की दिशाएं 1. **मॉडल विस्तार**: भविष्यवाणी चर के सबसेट को एक साथ कार्य करने की अनुमति देना, अधिक कारण संरचना को मैप करना 2. **क्रम चयन**: डेटा-संचालित इष्टतम ऑर्थोगोनलाइजेशन क्रम चयन विधि विकसित करना 3. **अनुप्रयोग विस्तार**: अन्य रैखिक मॉडल में अनुप्रयोग संभावना की खोज करना ## गहन मूल्यांकन ### शक्तियां 1. **सैद्धांतिक कठोरता**: परिपक्व Neyman संरचना परीक्षण सिद्धांत पर आधारित, प्रमाण प्रक्रिया पूर्ण और सख्त है 2. **व्यावहारिक मूल्य**: ठोस संख्यात्मक उदाहरण और सिमुलेशन साक्ष्य प्रदान करता है, विधि की व्यावहारिक प्रभावशीलता को दर्शाता है 3. **नवाचार**: शास्त्रीय GS अपघटन को आधुनिक सांख्यिकीय परीक्षण सिद्धांत के साथ संयोजित करता है, नई अंतर्दृष्टि उत्पन्न करता है 4. **लेखन स्पष्टता**: पेपर संरचना पूर्ण है, सिद्धांत से अनुप्रयोग तक स्तर स्पष्ट है ### कमियां 1. **धारणा सीमाएं**: सामान्यता धारणा काफी मजबूत है, वास्तविक डेटा संतुष्ट नहीं हो सकता है 2. **कम्प्यूटेशनल जटिलता**: उच्च-आयामी समस्याओं के लिए, GS अपघटन की संख्यात्मक स्थिरता समस्या हो सकती है 3. **व्याख्या चुनौती**: हालांकि आंशिक व्याख्या क्षमता बनाए रखता है, रूपांतरित गुणांक व्याख्या अभी भी सावधानीपूर्वक की जानी चाहिए ### प्रभाव 1. **सैद्धांतिक योगदान**: प्रतिगमन विश्लेषण के परीक्षण सिद्धांत के लिए महत्वपूर्ण पूरक प्रदान करता है 2. **व्यावहारिक मार्गदर्शन**: बहुसंरेखता को संभालने के लिए नए उपकरण और दृष्टिकोण प्रदान करता है 3. **अंतः-विषय अनुप्रयोग**: अर्थशास्त्र, जैव-सांख्यिकी आदि क्षेत्रों में व्यापक अनुप्रयोग संभावना है ### लागू परिदृश्य 1. **गंभीर बहुसंरेखता**: पारंपरिक विधि शक्ति अपर्याप्त होने वाले उच्च सहसंबंधित भविष्यवाणी चर परिदृश्य 2. **कारण अनुमान**: स्पष्ट चर क्रम या कारण संबंध वाले अनुसंधान 3. **शक्ति-संवेदनशील**: नैदानिक परीक्षण या नीति मूल्यांकन अनुसंधान जहां परीक्षण शक्ति के लिए उच्च आवश्यकता है ## संदर्भ 1. Bhattacharya, P. and Burman, P. (2016). सिद्धांत और सांख्यिकी की विधियां। Elsevier. 2. Hoerl, A. E. and Kennard, R. W. (1970). रिज प्रतिगमन: गैर-ऑर्थोगोनल समस्याओं के लिए पक्षपाती अनुमान। Technometrics, 12(1):55–67. 3. King, M. L. and Smith, M. D. (1986). रैखिक प्रतिगमन गुणांक के संयुक्त एकतरफा परीक्षण। Journal of Econometrics, 32(3):367–383. 4. Lehmann, E. and Romano, J. P. (2022). सांख्यिकीय परिकल्पना का परीक्षण। Springer International Publishing. --- यह पेपर सिद्धांत और विधि दोनों में महत्वपूर्ण योगदान देता है, बहुभिन्न प्रतिगमन विश्लेषण के लिए नया सैद्धांतिक आधार और व्यावहारिक उपकरण प्रदान करता है। कुछ सीमाओं के बावजूद, इसकी नवाचार और व्यावहारिक मूल्य इसे सांख्यिकी और अनुप्रयुक्त क्षेत्रों में महत्वपूर्ण कार्य बनाती है।