2025-11-13T23:52:10.651598

Asymptotic optimality theory of confidence intervals of the mean

Deep, Bassamboo, Juneja

We address the classical problem of constructing confidence intervals (CIs) for the mean of a distribution, given \(N\) i.i.d. samples, such that the CI contains the true mean with probability at least \(1 - Î´\), where \(Î´\in (0,1)\). We characterize three distinct learning regimes based on the minimum achievable limiting width of any CI as the sample size \(N_Î´ \to \infty\) and \(Î´\to 0\). In the first regime, where \(N_Î´\) grows slower than \(\log(1/Î´)\), the limiting width of any CI equals the width of the distribution's support, precluding meaningful inference. In the second regime, where \(N_Î´\) scales as \(\log(1/Î´)\), we precisely characterize the minimum limiting width, which depends on the scaling constant. In the third regime, where \(N_Î´\) grows faster than \(\log(1/Î´)\), complete learning is achievable, and the limiting width of the CI collapses to zero, converging to the true mean. We demonstrate that CIs derived from concentration inequalities based on Kullback--Leibler (KL) divergences achieve asymptotically optimal performance, attaining the minimum limiting width in both sufficient and complete learning regimes for distributions in two families: single-parameter exponential and bounded support. Additionally, these results extend to one-sided CIs, with the width notion adjusted appropriately. Finally, we generalize our findings to settings with random per-sample costs, motivated by practical applications such as stochastic simulators and cloud service selection. Instead of a fixed sample size, we consider a cost budget \(C_Î´\), identifying analogous learning regimes and characterizing the optimal CI construction policy.

academic

গড়ের আস্থা ব্যবধানের অসিম্পটোটিক সর্বোত্তমতা তত্ত্ব

মৌলিক তথ্য

পেপার আইডি: 2501.19126
শিরোনাম: Asymptotic optimality theory of confidence intervals of the mean
লেখক: Vikas Deep (NUS, Singapore), Achal Bassamboo (Kellogg, Northwestern University), Sandeep Juneja (Ashoka University, India)
শ্রেণীবিভাগ: math.ST stat.TH
প্রকাশনা সময়: ২০২৫ সালের জানুয়ারি (arXiv প্রিপ্রিন্ট)
পেপার লিংক: https://arxiv.org/abs/2501.19126

সারসংক্ষেপ

এই পেপারটি N সংখ্যক স্বাধীন সমবিতরণ নমুনা থেকে বিতরণ গড়ের আস্থা ব্যবধান (CI) নির্মাণের ধ্রুপদী সমস্যা অধ্যয়ন করে, যেখানে CI প্রকৃত গড় ধারণ করার সম্ভাবনা কমপক্ষে 1-δ হওয়া প্রয়োজন। লেখকরা N_δ→∞ এবং δ→0 সময়ে যেকোনো CI দ্বারা অর্জনযোগ্য ন্যূনতম অসিম্পটোটিক প্রস্থের উপর ভিত্তি করে তিনটি ভিন্ন শিক্ষা ব্যবস্থা চিহ্নিত করেছেন: (1) কোনো শিক্ষা ব্যবস্থা নেই: যখন N_δ log(1/δ) থেকে ধীরে বৃদ্ধি পায়, CI এর সীমা প্রস্থ বিতরণ সমর্থনের প্রস্থের সমান; (2) পর্যাপ্ত শিক্ষা ব্যবস্থা: যখন N_δ log(1/δ) এর অনুপাতে বৃদ্ধি পায়, স্কেলিং ধ্রুবকের উপর নির্ভরশীল ন্যূনতম সীমা প্রস্থ নির্ভুলভাবে চিহ্নিত করা যায়; (3) সম্পূর্ণ শিক্ষা ব্যবস্থা: যখন N_δ log(1/δ) থেকে দ্রুত বৃদ্ধি পায়, CI এর সীমা প্রস্থ শূন্যে সংবৃত হয়। লেখকরা প্রমাণ করেছেন যে KL বিচ্যুতির উপর ভিত্তি করে ঘনীভবন অসমতা থেকে নির্মিত CI পর্যাপ্ত এবং সম্পূর্ণ শিক্ষা ব্যবস্থা উভয়েই অসিম্পটোটিক সর্বোত্তমতা অর্জন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার গুরুত্ব

আস্থা ব্যবধান নির্মাণ পরিসংখ্যানের একটি মৌলিক সমস্যা, যা A/B পরীক্ষা, পরীক্ষামূলক ডিজাইন, ডেটা বিশ্লেষণ এবং সিমুলেশন ক্ষেত্রে গুরুত্বপূর্ণ প্রয়োগ রয়েছে। যদিও আস্থা ব্যবধান নির্মাণের একাধিক পদ্ধতি বিদ্যমান, তবে ন্যূনতম প্রস্থের সর্বোত্তম CI এর তাত্ত্বিক বর্ণনার অভাব রয়েছে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

সর্বোত্তমতা তত্ত্বের অভাব: বিদ্যমান সাহিত্য বিভিন্ন CI নির্মাণ পদ্ধতি প্রদান করে, কিন্তু ন্যূনতম প্রস্থ সহ সর্বোত্তম CI চিহ্নিত করার কোনো ফলাফল নেই
অ-অসিম্পটোটিক নিম্ন সীমা শিথিল: বিদ্যমান নিম্ন সীমা (যেমন Shekhar এবং Ramdas ২০২৩) অসিম্পটোটিক ক্ষেত্রে শিথিল
শক্তিশালী অনুমান শর্ত: বিদ্যমান নিম্ন সীমা CI প্রস্থ নির্দিষ্ট ফাংশন দ্বারা নির্ধারিত হওয়ার শক্তিশালী অনুমানের উপর নির্ভর করে

গবেষণা প্রেরণা

এই পেপারটি এই তাত্ত্বিক শূন্যতা পূরণের লক্ষ্য রাখে, স্থিতিশীলতা অনুমান প্রবর্তন করে, অসিম্পটোটিক কাঠামোতে CI প্রস্থের মৌলিক সীমা বর্ণনা করে এবং KL বিচ্যুতি-ভিত্তিক পদ্ধতির সর্বোত্তমতা প্রমাণ করে।

মূল অবদান

তিনটি শিক্ষা ব্যবস্থার বর্ণনা: নমুনা আকার N_δ এর নির্ভুলতা 1-δ এর সাপেক্ষে আপেক্ষিক স্কেলিংয়ের উপর ভিত্তি করে কোনো শিক্ষা, পর্যাপ্ত শিক্ষা এবং সম্পূর্ণ শিক্ষা তিনটি ভিন্ন ব্যবস্থা চিহ্নিত করা
তীক্ষ্ণ নিম্ন সীমা: পর্যাপ্ত শিক্ষা ব্যবস্থায় CI সীমা প্রস্থের তীক্ষ্ণ নিম্ন সীমা প্রাপ্ত করা এবং KL বিচ্যুতি-ভিত্তিক CI নির্মাণ পদ্ধতি এই সীমা অর্জন করে তা প্রমাণ করা
অসিম্পটোটিক সর্বোত্তমতা প্রমাণ: KL বিচ্যুতি ঘনীভবন সীমা থেকে নির্মিত CI নির্মাণ পদ্ধতি অধ্যয়নকৃত অসিম্পটোটিক কাঠামোতে সর্বোত্তম তা প্রমাণ করা
সম্প্রসারিত ফলাফল: ফলাফল র্যান্ডম নমুনা খরচ, একপক্ষীয় CI এবং অ-প্যারামেট্রিক বিতরণ ইত্যাদি আরও সাধারণ সেটিংসে সম্প্রসারিত করা

পদ্ধতির বিস্তারিত বর্ণনা

কাজের সংজ্ঞা

বিতরণ ν (গড় μ সহ) থেকে N সংখ্যক স্বাধীন সমবিতরণ নমুনা X₁,...,X_N দেওয়া, আস্থা ব্যবধান μ̂_L^π(N,δ), μ̂_R^π(N,δ) নির্মাণ করুন যাতে P_ν(μ ∈ μ̂_L^π(N,δ), μ̂_R^π(N,δ)) ≥ 1-δ।

মূল তাত্ত্বিক কাঠামো

1. স্থিতিশীলতা অনুমান

সংজ্ঞা 1 (স্থিতিশীলতা): প্রদত্ত বিতরণ ν এর জন্য, কৌশল π স্থিতিশীল বলা হয়, যদি N_δ→∞ এবং δ→0 সময়ে:

lim_{δ→0} μ̂_L^π(N_δ,δ) →^p μ_L^π(ν)
lim_{δ→0} μ̂_R^π(N_δ,δ) →^p μ_R^π(ν)

যেখানে μ_L^π(ν) ≤ μ এবং μ_R^π(ν) ≥ μ ধ্রুবক।

2. তিনটি শিক্ষা ব্যবস্থা

lim_{δ→0} N_δ/log(1/δ) এর মান k এর উপর ভিত্তি করে:

কোনো শিক্ষা ব্যবস্থা নেই (k→0):

CI সীমা প্রস্থ = বিতরণ সমর্থনের প্রস্থ
μ_L^π(μ) = μ̲, μ_R^π(μ) = μ̄

পর্যাপ্ত শিক্ষা ব্যবস্থা (k ∈ (0,∞)):

নিম্ন সীমা: μ_R^π(μ) - μ_L^π(μ) ≥ μ_R*(μ,k) - μ_L*(μ,k)
যেখানে μ_L*(μ,k) < μ এবং μ_R*(μ,k) > μ অনন্যভাবে সন্তুষ্ট করে: d(μ, μ_R*(μ,k)) = d(μ, μ_L*(μ,k)) = 1/k

সম্পূর্ণ শিক্ষা ব্যবস্থা (k→∞):

CI সীমা প্রস্থ→0

3. KL বিচ্যুতি ফাংশন

একক-প্যারামিটার সূচক পরিবার S তে বিতরণের জন্য, সংজ্ঞায়িত করুন: d(μ, μ̃) = KL(p_{θ(μ)}, p_{θ(μ̃)}) = b(θ(μ̃)) - b(θ(μ)) - b'(θ(μ))(θ(μ̃) - θ(μ))

এই ফাংশনটি কঠোর কোয়াসি-উত্তলতা এবং ধারাবাহিকতা ইত্যাদি মূল বৈশিষ্ট্য রাখে।

সর্বোত্তম CI নির্মাণ পদ্ধতি π₁

ঘনীভবন অসমতার উপর ভিত্তি করে: P_ν(nd(μ̂_n, μ) ≥ β(δ)) ≤ δ

যেখানে β(δ) = log(2/δ), CI নির্মাণ করুন:

μ_R^{π₁}(n,δ) = max{q > μ̂_n : nd(μ̂_n, q) ≤ β(δ)}
μ_L^{π₁}(n,δ) = min{q < μ̂_n : nd(μ̂_n, q) ≤ β(δ)}

প্রযুক্তিগত উদ্ভাবন বিন্দু

স্থিতিশীলতা ধারণার প্রবর্তন: এটি CI প্রস্থের অসিম্পটোটিক আচরণ বিশ্লেষণের মূল উদ্ভাবন, যা সীমা প্রস্থকে নির্ধারিত ধ্রুবক করে তোলে
ডেটা প্রক্রিয়াকরণ অসমতার চতুর প্রয়োগ: স্থিতিশীলতা অনুমানের সাথে মিলিত হয়ে, বাম এবং ডান উভয় দিকের অনুমান বর্জন একযোগে বিবেচনা করতে পারে
সংক্ষিপ্ততা প্রমাণ: প্রমাণ করা হয়েছে যে প্রস্তাবিত নিম্ন সীমা সংক্ষিপ্ত, অর্থাৎ নিম্ন সীমা অর্জনকারী পদ্ধতি বিদ্যমান

পরীক্ষামূলক সেটআপ

ডেটাসেট

বার্নুলি বিতরণ: গড় 0.6 এবং 0.9
গাউসিয়ান বিতরণ: N(0,1) পরিচিত বৈচিত্র্য সহ
পারেটো বিতরণ: স্কেল প্যারামিটার x_m=1, আকৃতি প্যারামিটার α=3

মূল্যায়ন মেট্রিক্স

গড় CI প্রস্থ: 1000টি স্বাধীন ডেটাসেটে গড় আস্থা ব্যবধান প্রস্থ
কভারেজ সম্ভাবনা: আস্থা ব্যবধান প্রকৃত গড় ধারণ করার ফ্রিকোয়েন্সি

তুলনা পদ্ধতি

Hoeffding-ভিত্তিক CI: Hoeffding অসমতার উপর ভিত্তি করে
অভিজ্ঞতামূলক বার্নস্টাইন (EB) CI: অভিজ্ঞতামূলক বার্নস্টাইন অসমতার উপর ভিত্তি করে
বাজি-ভিত্তিক হেজড CI: বাজি পদ্ধতির উপর ভিত্তি করে
Shekhar-Ramdas নিম্ন সীমা: বিদ্যমান তাত্ত্বিক নিম্ন সীমা

বাস্তবায়ন বিবরণ

δ = 0.01 (বার্নুলি পরীক্ষা), δ = 0.05 (পারেটো পরীক্ষা)
নমুনা আকার: N ∈ {2000, 3000}
বিচ্ছিন্নকরণ প্যারামিটার: m ∈ {1000, 3000, 5000} (বাজি পদ্ধতি)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

1. তাত্ত্বিক নিম্ন সীমা তুলনা

গাউসিয়ান ক্ষেত্রের জন্য, এই পেপারের অসিম্পটোটিক নিম্ন সীমা 2σ√(2/k), যখন Shekhar-Ramdas এর নিম্ন সীমা σ√(2/k), উন্নতি ফ্যাক্টর 2।

2. CI প্রস্থ তুলনা (বার্নুলি বিতরণ)

N	π₁	Betting(m=1000)	Betting(m=3000)	Betting(m=5000)	Hoeffding	EB
গড়=0.6
2000	0.0712	0.0603	0.0596	0.0595	0.0728	0.0898
3000	0.0582	0.0592	0.0585	0.0584	0.0594	0.0712
গড়=0.9
2000	0.0436	0.0378	0.0371	0.0369	0.0728	0.0606
3000	0.0356	0.0370	0.0363	0.0361	0.0594	0.0473

3. ভারী-লেজ বিতরণ ফলাফল (পারেটো)

নমুনা আকার	গড় CI প্রস্থ
500	0.492
1000	0.355
2000	0.255
3000	0.199

পরীক্ষামূলক আবিষ্কার

অসিম্পটোটিক সুবিধা: π₁ পদ্ধতি বড় নমুনা ক্ষেত্রে চমৎকার পারফরম্যান্স দেখায়, বিশেষত N=3000 সময়ে বাজি পদ্ধতির সাথে সমান পারফরম্যান্স
গণনা দক্ষতা: π₁ পদ্ধতি বাজি পদ্ধতির চেয়ে আরও দক্ষ গণনা করে
তাত্ত্বিক যাচাইকরণ: পরীক্ষামূলক ফলাফল তাত্ত্বিক পূর্বাভাসিত উন্নতি ফ্যাক্টর যাচাই করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

সম্পূর্ণ তাত্ত্বিক বর্ণনা: প্রথমবার CI প্রস্থের মৌলিক সীমা সম্পূর্ণভাবে বর্ণনা করা, তিনটি ভিন্ন শিক্ষা ব্যবস্থা চিহ্নিত করা
সর্বোত্তম পদ্ধতি: KL বিচ্যুতি-ভিত্তিক CI নির্মাণ পদ্ধতি অসিম্পটোটিক অর্থে সর্বোত্তম তা প্রমাণ করা
বিস্তৃত প্রযোজ্যতা: ফলাফল প্যারামেট্রিক এবং অ-প্যারামেট্রিক বিতরণ পরিবার, এবং র্যান্ডম খরচ সেটিংসে প্রযোজ্য

সীমাবদ্ধতা

অসিম্পটোটিক বৈশিষ্ট্য: ফলাফল প্রধানত অসিম্পটোটিক, সীমিত নমুনার জন্য নির্দেশনা সীমিত
স্থিতিশীলতা অনুমান: যদিও মৃদু, তবুও এটি একটি অতিরিক্ত অনুমান শর্ত
বিতরণ পরিবার সীমাবদ্ধতা: প্রধান ফলাফল সূচক পরিবার এবং সীমাবদ্ধ সমর্থন বিতরণে কেন্দ্রীভূত

ভবিষ্যত দিকনির্দেশনা

অ-অসিম্পটোটিক ফলাফল: আরও সূক্ষ্ম অ-অসিম্পটোটিক তত্ত্ব বিকাশ করা
অন্যান্য পরিসংখ্যান: বৈচিত্র্য এবং কোয়ান্টাইল অনুমানে সম্প্রসারণ
বহুমাত্রিক সাধারণীকরণ: বহুমাত্রিক প্যারামিটারের আস্থা অঞ্চল বিবেচনা করা

গভীর মূল্যায়ন

সুবিধা

বড় তাত্ত্বিক অবদান: প্রথমবার CI প্রস্থ সর্বোত্তমতার সম্পূর্ণ তত্ত্ব প্রদান করা, গুরুত্বপূর্ণ তাত্ত্বিক শূন্যতা পূরণ করা
উল্লেখযোগ্য প্রযুক্তিগত উদ্ভাবন: স্থিতিশীলতা ধারণার প্রবর্তন এবং ডেটা প্রক্রিয়াকরণ অসমতার চতুর প্রয়োগ পদ্ধতিগত মূল্য রাখে
সংক্ষিপ্ত ফলাফল: শুধুমাত্র নিম্ন সীমা প্রদান করা নয়, নিম্ন সীমার অর্জনযোগ্যতাও প্রমাণ করা
বিস্তৃত প্রয়োগ: র্যান্ডম খরচ, একপক্ষীয় CI ইত্যাদি ব্যবহারিক প্রাসঙ্গিক সেটিংসে সম্প্রসারণ

অপূর্ণতা

সীমিত পরীক্ষা: সংখ্যাগত পরীক্ষা তুলনামূলকভাবে সহজ, আরও জটিল বাস্তব ডেটাসেট অন্তর্ভুক্ত করা যেতে পারে
গণনা জটিলতা: অ-প্যারামেট্রিক ক্ষেত্রে, KL_inf এর গণনা তুলনামূলকভাবে জটিল হতে পারে
সীমিত নমুনা পারফরম্যান্স: তত্ত্ব অসিম্পটোটিক, সীমিত নমুনায় পারফরম্যান্স গ্যারান্টি যথেষ্ট শক্তিশালী নয়

প্রভাব

তাত্ত্বিক প্রভাব: CI তত্ত্বের জন্য নতুন বিশ্লেষণ কাঠামো প্রদান করা, ব্যাপকভাবে উদ্ধৃত হওয়ার প্রত্যাশা
ব্যবহারিক মূল্য: বাস্তব প্রয়োগে CI পদ্ধতি নির্বাচনের জন্য তাত্ত্বিক নির্দেশনা প্রদান করা
পদ্ধতিগত অবদান: স্থিতিশীলতা বিশ্লেষণ পদ্ধতি অন্যান্য পরিসংখ্যানগত অনুমান সমস্যায় প্রযোজ্য হতে পারে

প্রযোজ্য পরিস্থিতি

বড় নমুনা পরিসংখ্যানগত অনুমান: বিশেষত বড় নমুনা আকারের প্রয়োগে উপযুক্ত
অনলাইন পরীক্ষা: A/B পরীক্ষা ইত্যাদি নির্ভরযোগ্য আস্থা ব্যবধান প্রয়োজনীয় পরিস্থিতি
সিমুলেশন গবেষণা: র্যান্ডম খরচ সেটিং বিশেষত সিমুলেশন প্রয়োগের জন্য উপযুক্ত
মেশিন লার্নিং: মডেল পারফরম্যান্স মূল্যায়নে আস্থা ব্যবধান নির্মাণ

তথ্যসূত্র

পেপারটি পরিসংখ্যান এবং মেশিন লার্নিং ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যার মধ্যে রয়েছে:

Hoeffding (1994): সম্ভাবনা অসমতার ধ্রুপদী কাজ
Waudby-Smith & Ramdas (2024): বাজি পদ্ধতির সর্বশেষ অগ্রগতি
Shekhar & Ramdas (2023): সম্পর্কিত নিম্ন সীমা কাজ
Kaufmann & Koolen (2021): যেকোনো সময় বৈধ ঘনীভবন অসমতা

এই পেপারটি আস্থা ব্যবধান তত্ত্বে গুরুত্বপূর্ণ অবদান রাখে, নতুন বিশ্লেষণ কাঠামো প্রবর্তন করে, CI প্রস্থের মৌলিক সীমা সম্পূর্ণভাবে বর্ণনা করে এবং KL বিচ্যুতি পদ্ধতির সর্বোত্তমতা প্রমাণ করে। যদিও প্রধানত তাত্ত্বিক কাজ, তবে ব্যবহারিক প্রয়োগের জন্য মূল্যবান নির্দেশনা প্রদান করে।