2025-11-13T23:52:10.651598

Asymptotic optimality theory of confidence intervals of the mean

Deep, Bassamboo, Juneja

We address the classical problem of constructing confidence intervals (CIs) for the mean of a distribution, given \(N\) i.i.d. samples, such that the CI contains the true mean with probability at least \(1 - Î´\), where \(Î´\in (0,1)\). We characterize three distinct learning regimes based on the minimum achievable limiting width of any CI as the sample size \(N_Î´ \to \infty\) and \(Î´\to 0\). In the first regime, where \(N_Î´\) grows slower than \(\log(1/Î´)\), the limiting width of any CI equals the width of the distribution's support, precluding meaningful inference. In the second regime, where \(N_Î´\) scales as \(\log(1/Î´)\), we precisely characterize the minimum limiting width, which depends on the scaling constant. In the third regime, where \(N_Î´\) grows faster than \(\log(1/Î´)\), complete learning is achievable, and the limiting width of the CI collapses to zero, converging to the true mean. We demonstrate that CIs derived from concentration inequalities based on Kullback--Leibler (KL) divergences achieve asymptotically optimal performance, attaining the minimum limiting width in both sufficient and complete learning regimes for distributions in two families: single-parameter exponential and bounded support. Additionally, these results extend to one-sided CIs, with the width notion adjusted appropriately. Finally, we generalize our findings to settings with random per-sample costs, motivated by practical applications such as stochastic simulators and cloud service selection. Instead of a fixed sample size, we consider a cost budget \(C_Î´\), identifying analogous learning regimes and characterizing the optimal CI construction policy.

academic

माध्य के विश्वास अंतराल का स्पर्शोन्मुख इष्टतमता सिद्धांत

बुनियादी जानकारी

पेपर ID: 2501.19126
शीर्षक: माध्य के विश्वास अंतराल का स्पर्शोन्मुख इष्टतमता सिद्धांत
लेखक: विकास डीप (NUS, सिंगापुर), अचल बसांबू (केलॉग, नॉर्थवेस्टर्न विश्वविद्यालय), संदीप जुनेजा (अशोका विश्वविद्यालय, भारत)
वर्गीकरण: math.ST stat.TH
प्रकाशन समय: जनवरी 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2501.19126

सारांश

यह पेपर N स्वतंत्र समान रूप से वितरित नमूनों के आधार पर वितरण माध्य के विश्वास अंतराल (CI) निर्माण की शास्त्रीय समस्या का अध्ययन करता है, जहाँ CI में सत्य माध्य होने की संभावना कम से कम 1-δ होनी चाहिए। लेखक नमूना आकार N_δ→∞ और δ→0 के समय किसी भी CI द्वारा प्राप्त न्यूनतम स्पर्शोन्मुख चौड़ाई के आधार पर तीन अलग-अलग सीखने की व्यवस्थाओं को चिन्हित करते हैं: (1) कोई सीखना नहीं: जब N_δ log(1/δ) से धीमी गति से बढ़ता है, तो CI की सीमा चौड़ाई वितरण समर्थन की चौड़ाई के बराबर होती है; (2) पर्याप्त सीखना: जब N_δ log(1/δ) के अनुपात में बढ़ता है, तो स्केलिंग स्थिरांक पर निर्भर न्यूनतम सीमा चौड़ाई को सटीक रूप से चिन्हित किया जा सकता है; (3) पूर्ण सीखना: जब N_δ log(1/δ) से तेजी से बढ़ता है, तो CI की सीमा चौड़ाई शून्य में परिवर्तित होती है। लेखक सिद्ध करते हैं कि KL विचलन के आधार पर सांद्रता असमानताओं से निर्मित CI पर्याप्त सीखने और पूर्ण सीखने दोनों व्यवस्थाओं में स्पर्शोन्मुख इष्टतमता प्राप्त करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की महत्ता

विश्वास अंतराल निर्माण सांख्यिकी में एक मौलिक समस्या है, जिसका A/B परीक्षण, प्रायोगिक डिजाइन, डेटा विश्लेषण और सिमुलेशन में महत्वपूर्ण अनुप्रयोग है। हालांकि विश्वास अंतराल निर्माण के कई तरीके मौजूद हैं, लेकिन न्यूनतम चौड़ाई वाले इष्टतम CI के सैद्धांतिक लक्षण वर्णन की कमी है।

मौजूदा विधियों की सीमाएं

इष्टतमता सिद्धांत की कमी: मौजूदा साहित्य विभिन्न CI निर्माण विधियां प्रदान करता है, लेकिन न्यूनतम चौड़ाई वाले इष्टतम CI को चिन्हित करने वाले परिणाम नहीं हैं
गैर-स्पर्शोन्मुख निचली सीमाएं ढीली हैं: पहले से मौजूद गैर-स्पर्शोन्मुख निचली सीमाएं (जैसे शेखर और रामदास 2023) स्पर्शोन्मुख स्थिति में ढीली हैं
मजबूत धारणाएं: मौजूदा निचली सीमाएं इस मजबूत धारणा पर निर्भर करती हैं कि CI चौड़ाई विशेष कार्यों द्वारा निर्धारक रूप से सीमित है

अनुसंधान प्रेरणा

यह पेपर इस सैद्धांतिक अंतराल को भरने का लक्ष्य रखता है, स्थिरता धारणा को प्रस्तुत करके, स्पर्शोन्मुख ढांचे में CI चौड़ाई की मौलिक सीमाओं को चिन्हित करके, और KL विचलन के आधार पर विधियों की इष्टतमता को सिद्ध करके।

मुख्य योगदान

तीन सीखने की व्यवस्थाओं का लक्षण वर्णन: नमूना आकार N_δ की सटीकता 1-δ के सापेक्ष सापेक्ष स्केलिंग के आधार पर कोई सीखना नहीं, पर्याप्त सीखना और पूर्ण सीखना - तीन अलग-अलग व्यवस्थाओं को चिन्हित करता है
तीव्र निचली सीमाएं: पर्याप्त सीखने की व्यवस्था में CI सीमा चौड़ाई के लिए तीव्र निचली सीमाएं प्राप्त करता है, और सिद्ध करता है कि KL विचलन के आधार पर CI निर्माण विधि इन सीमाओं को प्राप्त करती है
स्पर्शोन्मुख इष्टतमता का प्रमाण: सिद्ध करता है कि KL विचलन सांद्रता सीमा पर आधारित CI निर्माण विधि अध्ययन किए गए स्पर्शोन्मुख ढांचे में इष्टतम है
विस्तारित परिणाम: परिणामों को यादृच्छिक नमूना लागत, एकतरफा CI और गैर-पैरामीट्रिक वितरण जैसी अधिक सामान्य सेटिंग्स तक विस्तारित करता है

विधि विवरण

कार्य परिभाषा

वितरण ν (माध्य μ के साथ) से N स्वतंत्र समान रूप से वितरित नमूने X₁,...,X_N दिए गए हैं, विश्वास अंतराल μ̂_L^π(N,δ), μ̂_R^π(N,δ) निर्माण करें, जैसे कि P_ν(μ ∈ μ̂_L^π(N,δ), μ̂_R^π(N,δ)) ≥ 1-δ।

मुख्य सैद्धांतिक ढांचा

1. स्थिरता धारणा

परिभाषा 1 (स्थिरता): दिए गए वितरण ν के लिए, रणनीति π को स्थिर कहा जाता है, यदि जब N_δ→∞ और δ→0 हो:

lim_{δ→0} μ̂_L^π(N_δ,δ) →^p μ_L^π(ν)
lim_{δ→0} μ̂_R^π(N_δ,δ) →^p μ_R^π(ν)

जहाँ μ_L^π(ν) ≤ μ और μ_R^π(ν) ≥ μ स्थिरांक हैं।

2. तीन सीखने की व्यवस्थाएं

lim_{δ→0} N_δ/log(1/δ) के मान k के आधार पर:

कोई सीखना नहीं (k→0):

CI सीमा चौड़ाई = वितरण समर्थन चौड़ाई
μ_L^π(μ) = μ̲, μ_R^π(μ) = μ̄

पर्याप्त सीखना (k ∈ (0,∞)):

निचली सीमा: μ_R^π(μ) - μ_L^π(μ) ≥ μ_R*(μ,k) - μ_L*(μ,k)
जहाँ μ_L*(μ,k) < μ और μ_R*(μ,k) > μ अद्वितीय रूप से संतुष्ट करते हैं: d(μ, μ_R*(μ,k)) = d(μ, μ_L*(μ,k)) = 1/k

पूर्ण सीखना (k→∞):

CI सीमा चौड़ाई→0

3. KL विचलन कार्य

एकल-पैरामीटर घातीय परिवार S में वितरण के लिए, परिभाषित करें: d(μ, μ̃) = KL(p_{θ(μ)}, p_{θ(μ̃)}) = b(θ(μ̃)) - b(θ(μ)) - b'(θ(μ))(θ(μ̃) - θ(μ))

यह कार्य कठोर अर्ध-उत्तलता और निरंतरता जैसे मुख्य गुण रखता है।

इष्टतम CI निर्माण विधि π₁

सांद्रता असमानता के आधार पर: P_ν(nd(μ̂_n, μ) ≥ β(δ)) ≤ δ

जहाँ β(δ) = log(2/δ), CI निर्माण करें:

μ_R^{π₁}(n,δ) = max{q > μ̂_n : nd(μ̂_n, q) ≤ β(δ)}
μ_L^{π₁}(n,δ) = min{q < μ̂_n : nd(μ̂_n, q) ≤ β(δ)}

तकनीकी नवाचार बिंदु

स्थिरता अवधारणा का परिचय: यह CI चौड़ाई के स्पर्शोन्मुख व्यवहार के विश्लेषण में मुख्य नवाचार है, जो सीमा चौड़ाई को निर्धारक स्थिरांक बनाता है
डेटा प्रोसेसिंग असमानता का चतुर अनुप्रयोग: स्थिरता धारणा के साथ मिलकर, बाएं और दाएं दोनों ओर की परिकल्पना को एक साथ समाप्त करने में सक्षम बनाता है
सघनता का प्रमाण: सिद्ध करता है कि प्रस्तावित निचली सीमाएं सघन हैं, अर्थात् ऐसी विधियां मौजूद हैं जो निचली सीमाओं को प्राप्त करती हैं

प्रायोगिक सेटअप

डेटासेट

बर्नौली वितरण: माध्य 0.6 और 0.9
गॉसियन वितरण: N(0,1) ज्ञात विचरण के साथ
पेरेटो वितरण: स्केल पैरामीटर x_m=1, आकार पैरामीटर α=3

मूल्यांकन मेट्रिक्स

औसत CI चौड़ाई: 1000 स्वतंत्र डेटासेट पर औसत विश्वास अंतराल चौड़ाई
कवरेज संभावना: विश्वास अंतराल में सत्य माध्य होने की आवृत्ति

तुलना विधियां

Hoeffding-आधारित CI: Hoeffding असमानता पर आधारित
अनुभवजन्य बर्नस्टीन (EB) CI: अनुभवजन्य बर्नस्टीन असमानता पर आधारित
सट्टेबाजी-आधारित हेजड CI: सट्टेबाजी विधि पर आधारित
शेखर-रामदास निचली सीमा: मौजूदा सैद्धांतिक निचली सीमा

कार्यान्वयन विवरण

δ = 0.01 (बर्नौली प्रयोग), δ = 0.05 (पेरेटो प्रयोग)
नमूना आकार: N ∈ {2000, 3000}
विवेकीकरण पैरामीटर: m ∈ {1000, 3000, 5000} (सट्टेबाजी विधि)

प्रायोगिक परिणाम

मुख्य परिणाम

1. सैद्धांतिक निचली सीमा तुलना

गॉसियन स्थिति के लिए, इस पेपर की स्पर्शोन्मुख निचली सीमा 2σ√(2/k) है, जबकि शेखर-रामदास की सीमा σ√(2/k) है, सुधार कारक 2 है।

2. CI चौड़ाई तुलना (बर्नौली वितरण)

N	π₁	Betting(m=1000)	Betting(m=3000)	Betting(m=5000)	Hoeffding	EB
माध्य=0.6
2000	0.0712	0.0603	0.0596	0.0595	0.0728	0.0898
3000	0.0582	0.0592	0.0585	0.0584	0.0594	0.0712
माध्य=0.9
2000	0.0436	0.0378	0.0371	0.0369	0.0728	0.0606
3000	0.0356	0.0370	0.0363	0.0361	0.0594	0.0473

3. भारी-पूंछ वितरण परिणाम (पेरेटो)

नमूना आकार	औसत CI चौड़ाई
500	0.492
1000	0.355
2000	0.255
3000	0.199

प्रायोगिक निष्कर्ष

स्पर्शोन्मुख लाभ: π₁ विधि बड़े नमूने की स्थिति में उत्कृष्ट प्रदर्शन करती है, विशेष रूप से N=3000 पर सट्टेबाजी विधि के समान प्रदर्शन करती है
कम्प्यूटेशनल दक्षता: π₁ विधि सट्टेबाजी विधि की तुलना में अधिक कुशल है
सैद्धांतिक सत्यापन: प्रायोगिक परिणाम सैद्धांतिक रूप से भविष्यवाणी किए गए सुधार कारक को सत्यापित करते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

पूर्ण सैद्धांतिक लक्षण वर्णन: पहली बार CI चौड़ाई की मौलिक सीमाओं को पूर्ण रूप से चिन्हित करता है, तीन अलग-अलग सीखने की व्यवस्थाओं को पहचानता है
इष्टतम विधि: सिद्ध करता है कि KL विचलन के आधार पर CI निर्माण विधि स्पर्शोन्मुख अर्थ में इष्टतम है
व्यापक प्रयोज्यता: परिणाम पैरामीट्रिक और गैर-पैरामीट्रिक वितरण परिवारों, साथ ही यादृच्छिक लागत सेटिंग्स पर लागू होते हैं

सीमाएं

स्पर्शोन्मुख गुण: परिणाम मुख्य रूप से स्पर्शोन्मुख हैं, सीमित नमूने के लिए मार्गदर्शन सीमित है
स्थिरता धारणा: हालांकि सौम्य है, फिर भी एक अतिरिक्त धारणा है
वितरण परिवार प्रतिबंध: मुख्य परिणाम घातीय परिवार और सीमित समर्थन वितरण पर केंद्रित हैं

भविष्य की दिशाएं

गैर-स्पर्शोन्मुख परिणाम: अधिक परिष्कृत गैर-स्पर्शोन्मुख सिद्धांत विकसित करना
अन्य सांख्यिकीय मात्राएं: विचरण और मात्रा अनुमान तक विस्तार
बहु-आयामी सामान्यीकरण: बहु-आयामी पैरामीटर के विश्वास क्षेत्रों पर विचार करना

गहन मूल्यांकन

शक्तियां

महत्वपूर्ण सैद्धांतिक योगदान: पहली बार CI चौड़ाई इष्टतमता का पूर्ण सिद्धांत प्रदान करता है, महत्वपूर्ण सैद्धांतिक अंतराल को भरता है
महत्वपूर्ण तकनीकी नवाचार: स्थिरता अवधारणा का परिचय और डेटा प्रोसेसिंग असमानता का चतुर अनुप्रयोग पद्धति संबंधी मूल्य रखता है
सघन परिणाम: न केवल निचली सीमाएं प्रदान करता है, बल्कि सिद्ध करता है कि निचली सीमाएं प्राप्य हैं
व्यापक अनुप्रयोग: यादृच्छिक लागत, एकतरफा CI आदि व्यावहारिक रूप से प्रासंगिक सेटिंग्स तक विस्तार

कमियां

सीमित प्रयोग: संख्यात्मक प्रयोग अपेक्षाकृत सरल हैं, अधिक जटिल वास्तविक डेटासेट शामिल किए जा सकते हैं
कम्प्यूटेशनल जटिलता: गैर-पैरामीट्रिक स्थिति के लिए, KL_inf की गणना अधिक जटिल हो सकती है
सीमित नमूना प्रदर्शन: सिद्धांत स्पर्शोन्मुख है, सीमित नमूने के तहत प्रदर्शन गारंटी पर्याप्त मजबूत नहीं है

प्रभाव

सैद्धांतिक प्रभाव: CI सिद्धांत के लिए नया विश्लेषण ढांचा प्रदान करता है, व्यापक रूप से उद्धृत होने की अपेक्षा है
व्यावहारिक मूल्य: व्यावहारिक अनुप्रयोगों में CI विधि चुनने के लिए सैद्धांतिक मार्गदर्शन प्रदान करता है
पद्धति संबंधी योगदान: स्थिरता विश्लेषण विधि अन्य सांख्यिकीय अनुमान समस्याओं पर लागू हो सकती है

प्रयोज्य परिदृश्य

बड़े नमूने सांख्यिकीय अनुमान: विशेष रूप से बड़े नमूना आकार वाले अनुप्रयोगों के लिए उपयुक्त
ऑनलाइन प्रयोग: A/B परीक्षण आदि जहाँ विश्वसनीय विश्वास अंतराल की आवश्यकता है
सिमुलेशन अनुसंधान: यादृच्छिक लागत सेटिंग विशेष रूप से सिमुलेशन अनुप्रयोगों के लिए उपयुक्त है
मशीन लर्निंग: मॉडल प्रदर्शन मूल्यांकन में विश्वास अंतराल निर्माण

संदर्भ

पेपर सांख्यिकी और मशीन लर्निंग क्षेत्र के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

Hoeffding (1994): संभाव्यता असमानताओं का शास्त्रीय कार्य
Waudby-Smith & Ramdas (2024): सट्टेबाजी विधि की नवीनतम प्रगति
Shekhar & Ramdas (2023): संबंधित निचली सीमा कार्य
Kaufmann & Koolen (2021): मनमानी समय पर वैध सांद्रता असमानताएं

यह पेपर विश्वास अंतराल सिद्धांत में महत्वपूर्ण योगदान देता है, नए विश्लेषण ढांचे को प्रस्तुत करके, CI चौड़ाई की मौलिक सीमाओं को पूर्ण रूप से चिन्हित करके, और KL विचलन विधि की इष्टतमता को सिद्ध करके। हालांकि मुख्य रूप से सैद्धांतिक कार्य है, लेकिन व्यावहारिक अनुप्रयोगों के लिए मूल्यवान मार्गदर्शन प्रदान करता है।