2025-11-23T20:10:17.105054

Sampling the Bayesian Elastic Net

Hans, Liu

The Bayesian elastic net regression model is characterized by the regression coefficient prior distribution, the negative log density of which corresponds to the elastic net penalty function. While Markov chain Monte Carlo (MCMC) methods exist for sampling from the posterior of the regression coefficients given the penalty parameters, full Bayesian inference that incorporates uncertainty about the penalty parameters remains a challenge due to an intractable integrable in the posterior density function. Though sampling methods have been proposed that avoid computing this integral, all correctly-specified methods for full Bayesian inference that have appeared in the literature involve at least one "Metropolis-within-Gibbs" update, requiring tuning of proposal distributions. The computational landscape is complicated by the fact that two forms of the Bayesian elastic net prior have been introduced, and two representations (with and without data augmentation) of the prior suggest different MCMC algorithms. We review the forms and representations of the prior, discuss all combinations of these different treatments for the first time, and introduce one combination of form and representation that has yet to appear in the literature. We introduce MCMC algorithms for full Bayesian inference for all treatments of the prior. The algorithms allow for direct sampling of all parameters without any "Metropolis-within-Gibbs" steps. The key to the new approach is a careful transformation of the parameter space and an analysis of the resulting full conditional density functions that allows for efficient rejection sampling. We make empirical comparisons between our approaches and existing MCMC samplers for different data structures.

academic

বেয়েসীয় ইলাস্টিক নেট থেকে নমুনা সংগ্রহ

মৌলিক তথ্য

পেপার আইডি: 2501.00594
শিরোনাম: Sampling the Bayesian Elastic Net
লেখক: Christopher M. Hans, Ningyi Liu
শ্রেণীবিভাগ: stat.CO stat.ME
প্রকাশের সময়: ডিসেম্বর 2024
পেপার লিঙ্ক: https://arxiv.org/abs/2501.00594

সারসংক্ষেপ

বেয়েসীয় ইলাস্টিক নেট রিগ্রেশন মডেল রিগ্রেশন সহগের পূর্ববর্তী বিতরণের মাধ্যমে চিহ্নিত করা হয়, যেখানে এর ঋণাত্মক লগ ঘনত্ব ইলাস্টিক নেট শাস্তি ফাংশনের সাথে সামঞ্জস্যপূর্ণ। যদিও প্রদত্ত শাস্তি পরামিতির অধীনে রিগ্রেশন সহগের পশ্চাৎ বিতরণ থেকে নমুনা সংগ্রহের জন্য MCMC পদ্ধতি বিদ্যমান, তবে পশ্চাৎ ঘনত্ব ফাংশনে অপরিচালনাযোগ্য সমাকলনের কারণে শাস্তি পরামিতির অনিশ্চয়তা অন্তর্ভুক্ত করে সম্পূর্ণ বেয়েসীয় অনুমান এখনও একটি চ্যালেঞ্জ। যদিও এই সমাকলন গণনা এড়ানোর জন্য নমুনা সংগ্রহের পদ্ধতি প্রস্তাব করা হয়েছে, তবে সাহিত্যে সমস্ত সঠিকভাবে নির্দিষ্ট সম্পূর্ণ বেয়েসীয় অনুমান পদ্ধতি কমপক্ষে একটি "মেট্রোপলিস-উইদিন-গিবস" আপডেট জড়িত, যার জন্য প্রস্তাব বিতরণ সমন্বয় প্রয়োজন। গণনামূলক জটিলতা আরও বৃদ্ধি পায় কারণ সাহিত্যে বেয়েসীয় ইলাস্টিক নেট পূর্ববর্তীর দুটি ফর্ম এবং পূর্ববর্তীর দুটি উপস্থাপনা পদ্ধতি (ডেটা বর্ধন সহ এবং ছাড়া) বিভিন্ন MCMC অ্যালগরিদম পরামর্শ দেয়। এই পেপারটি পূর্ববর্তীর ফর্ম এবং উপস্থাপনা পর্যালোচনা করে, এই বিভিন্ন চিকিত্সা পদ্ধতির সমস্ত সমন্বয় প্রথমবারের মতো আলোচনা করে এবং সাহিত্যে এখনও উপস্থিত না হওয়া একটি ফর্ম এবং উপস্থাপনার সমন্বয় প্রবর্তন করে। আমরা সমস্ত পূর্ববর্তী চিকিত্সা পদ্ধতির জন্য সম্পূর্ণ বেয়েসীয় অনুমানের MCMC অ্যালগরিদম প্রবর্তন করি, যা কোনো "মেট্রোপলিস-উইদিন-গিবস" পদক্ষেপ ছাড়াই সমস্ত পরামিতি সরাসরি নমুনা সংগ্রহের অনুমতি দেয়।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

বেয়েসীয় ইলাস্টিক নেট রিগ্রেশন মডেল অনেক গবেষণা ক্ষেত্রে একটি জনপ্রিয় রিগ্রেশন পদ্ধতি হয়ে উঠেছে। এই মডেলটি রিগ্রেশন সহগের পূর্ববর্তী বিতরণ দ্বারা চিহ্নিত, যার ঋণাত্মক লগ ঘনত্ব ইলাস্টিক নেট শাস্তি ফাংশনের সাথে সামঞ্জস্যপূর্ণ:

$\pi_c(\beta | \sigma^2, \lambda_1, \lambda_2) \propto \exp\left\{-\frac{1}{2\sigma^2}(\lambda_2\beta^T\beta + \lambda_1|\beta|_1)\right\}$

গণনামূলক চ্যালেঞ্জ

অপরিচালনাযোগ্য সমাকলন: পূর্ববর্তী বিতরণের স্বাভাবিকীকরণ ধ্রুবক $\Phi(-\lambda_1/(2\sigma\sqrt{\lambda_2}))^{-p}$ পদ অন্তর্ভুক্ত করে, যেখানে $\Phi(\cdot)$ হল মান স্বাভাবিক সংযোজিত বিতরণ ফাংশন, এটি একটি বন্ধ-ফর্ম সমাধান ছাড়াই একটি সমাকলন অভিব্যক্তি।
পরামিতিকরণ জটিলতা: সাহিত্যে পূর্ববর্তীর দুটি ভিন্ন পরামিতিকরণ ফর্ম বিদ্যমান:
- সাধারণ স্কেলিং (commonly-scaled): $\lambda_2\beta^T\beta$ এবং $\lambda_1|\beta|_1$ উভয়ই $2\sigma^2$ দ্বারা স্কেল করা হয়
- পার্থক্যমূলক স্কেলিং (differentially-scaled): বিভিন্ন পদ বিভিন্ন স্কেলিং ফ্যাক্টর ব্যবহার করে
উপস্থাপনা পদ্ধতির বৈচিত্র্য: প্রতিটি পরামিতিকরণ ফর্মের দুটি উপস্থাপনা পদ্ধতি রয়েছে:
- সরাসরি উপস্থাপনা: ডেটা বর্ধন ব্যবহার করে না
- ডেটা বর্ধিত উপস্থাপনা: সম্ভাব্য ভেরিয়েবলের শ্রেণিবদ্ধ মডেল প্রবর্তন করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

সমস্ত বিদ্যমান সঠিকভাবে নির্দিষ্ট পদ্ধতির জন্য কমপক্ষে একটি মেট্রোপলিস-হেস্টিংস আপডেট পদক্ষেপ প্রয়োজন, যার জন্য প্রয়োজন:

প্রস্তাব বিতরণ নির্দিষ্ট এবং সমন্বয় করা
র্যান্ডম ওয়াকের ধাপ আকার পরামিতি নির্বাচন করা
সম্ভবত ধীর সংমিশ্রণ এবং দুর্বল মিশ্রণের সমস্যা হতে পারে

মূল অবদান

সম্পূর্ণ পর্যালোচনা: বেয়েসীয় ইলাস্টিক নেট পূর্ববর্তীর সমস্ত ফর্ম এবং উপস্থাপনা সমন্বয়ের প্রথম সম্পূর্ণ পর্যালোচনা এবং একটি নতুন সমন্বয় (পার্থক্যমূলক স্কেলিং সরাসরি উপস্থাপনা) প্রবর্তন করে
পরামিতি স্থান রূপান্তর: জটিল $\Phi(\cdot)$ পদকে একক সম্পূর্ণ শর্তাধীন বিতরণে সীমাবদ্ধ করার জন্য চতুর পরামিতি স্থান রূপান্তর প্রস্তাব করে
সমন্বয়-মুক্ত MCMC অ্যালগরিদম: কোনো "মেট্রোপলিস-উইদিন-গিবস" পদক্ষেপের প্রয়োজন নেই এমন MCMC অ্যালগরিদম বিকাশ করে, প্রস্তাব বিতরণ সমন্বয়ের সমস্যা এড়ায়
দক্ষ প্রত্যাখ্যান নমুনা সংগ্রহ: লগ-অবতলতা বিশ্লেষণের উপর ভিত্তি করে, স্বয়ংক্রিয়ভাবে সমন্বিত পিসওয়াইজ সূচকীয় প্রস্তাব বিতরণের দক্ষ প্রত্যাখ্যান নমুনা সংগ্রহ অ্যালগরিদম ডিজাইন করে
তাত্ত্বিক গ্যারান্টি: মূল বিতরণের লগ-অবতলতা প্রমাণ এবং মোড সীমানার তাত্ত্বিক ফলাফল প্রদান করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

স্বাভাবিক রৈখিক রিগ্রেশন মডেল $y = X\beta + \varepsilon$ (যেখানে $\varepsilon \sim N(0, \sigma^2I_n)$ ) এর অধীনে, সম্পূর্ণ বেয়েসীয় ইলাস্টিক নেট অনুমান পরিচালনা করা, শাস্তি পরামিতি $\lambda_1, \lambda_2$ এবং ত্রুটি বৈচিত্র্য $\sigma^2$ এর অনিশ্চয়তা মডেলিং সহ।

মূল প্রযুক্তিগত উদ্ভাবন

1. পরামিতি স্থান রূপান্তর

সাধারণ স্কেলিং পূর্ববর্তীর অধীনে রূপান্তর: $(σ^2, λ_1, λ_2) → (u_1 = σ^2, u_2 = \sqrt{λ_2}/σ, θ = λ_1/(2σ\sqrt{λ_2}))$

পার্থক্যমূলক স্কেলিং পূর্ববর্তীর অধীনে রূপান্তর: $(λ_2, λ_1) → (u_2 = \sqrt{λ_2}, θ = λ_1/\sqrt{λ_2})$

এই রূপান্তরগুলির মূল সুবিধা:

$\Phi(\cdot)$ পদকে পরামিতি $\theta$ এর একক সম্পূর্ণ শর্তাধীন বিতরণে কেন্দ্রীভূত করে
লগ-অবতল সম্পূর্ণ শর্তাধীন বিতরণ উৎপন্ন করে, দক্ষ নমুনা সংগ্রহের সুবিধা দেয়

2. প্রত্যাখ্যান নমুনা সংগ্রহ অ্যালগরিদম

নিম্নলিখিত ফর্মের ঘনত্ব ফাংশনের জন্য বিশেষায়িত প্রত্যাখ্যান নমুনা সংগ্রহ পদ্ধতি ডিজাইন করা হয়েছে: $f(x) \propto \Phi(-x)^{-q}x^{a-1}e^{-bx^2-cx-d/x}, \quad x > 0$

মূল তাত্ত্বিক ফলাফল:

প্রস্তাব 1: যখন $q \in \{1,2,...\}$ , $a \geq 1$ , $b \geq q/2$ , $c > 0$ , তখন $f(x)$ সমাকলনযোগ্য এবং লগ-অবতল
প্রস্তাব 2: মোড $x^*$ এর জন্য নির্ভুল সীমানা প্রদান করে, প্রত্যাখ্যান নমুনা সংগ্রহের নোড পয়েন্ট নির্মাণের সুবিধা দেয়

3. সম্পূর্ণ শর্তাধীন বিতরণ

রূপান্তরের পরে প্রাপ্ত সম্পূর্ণ শর্তাধীন বিতরণ অন্তর্ভুক্ত করে:

সাধারণীকৃত বিপরীত গাউসীয় বিতরণ (GIG): $u_1 | \text{অন্যান্য পরামিতি} \sim \text{GIG}(\alpha, \beta, \gamma)$

সংশোধিত অর্ধ-স্বাভাবিক বিতরণ (MHN): $u_2 | \text{অন্যান্য পরামিতি} \sim \text{MHN}(\alpha, \beta, \gamma)$

$\Phi(\cdot)$ পদ সহ বিতরণ: $\pi(\theta | \text{অন্যান্য পরামিতি}) \propto \Phi(-\theta)^{-p}\theta^{L-1}e^{-\theta^2/2-\theta c}$

অ্যালগরিদম প্রবাহ

প্রাথমিকীকরণ: পরামিতি প্রাথমিক মান সেট করা
লুপ নমুনা সংগ্রহ:
- Devroye(2014) পদ্ধতি ব্যবহার করে GIG বিতরণ থেকে নমুনা সংগ্রহ করা
- Sun et al.(2023) পদ্ধতি বা নতুন প্রত্যাখ্যান নমুনা সংগ্রহ পদ্ধতি ব্যবহার করে MHN বিতরণ থেকে নমুনা সংগ্রহ করা
- স্বয়ংক্রিয় প্রত্যাখ্যান নমুনা সংগ্রহ পদ্ধতি ব্যবহার করে $\Phi(\cdot)$ পদ সহ বিতরণ থেকে নমুনা সংগ্রহ করা
রিগ্রেশন সহগ আপডেট: নির্বাচিত উপস্থাপনা পদ্ধতির উপর ভিত্তি করে (সরাসরি বা ডেটা বর্ধিত) $\beta$ আপডেট করা

পরীক্ষামূলক সেটআপ

ডেটাসেট

Zou and Hastie (2005) এর চারটি অনুকরণ সেটআপ ব্যবহার করা হয়েছে:

অনুকরণ 1: $n=20$ , $p=8$ , $\beta=(3,1.5,0,0,2,0,0,0)^T$ , $\sigma=3$
অনুকরণ 2: $n=20$ , $p=8$ , $\beta_j=0.85$ for $j=1,...,8$ , $\sigma=3$
অনুকরণ 3: $n=100$ , $p=40$ , উচ্চ-মাত্রিক সেটআপ, $\sigma=15$
অনুকরণ 4: $n=100$ , $p=40$ , ব্লক-তির্যক সহপ্রসরণ কাঠামো, $\sigma=15$

প্রতিটি সেটআপ তুলনার জন্য 50টি ডেটাসেট উৎপন্ন করে।

মূল্যায়ন সূচক

MCMC অ্যালগরিদম দক্ষতার পরিমাপ হিসাবে কার্যকর নমুনা আকার (ESS) ব্যবহার করা হয়, R প্যাকেজ mcmcse এর মাধ্যমে গণনা করা হয়।

তুলনা পদ্ধতি

RS: এই পেপারে প্রস্তাবিত প্রত্যাখ্যান নমুনা সংগ্রহ পদ্ধতি (দুর্বল পূর্ববর্তী RS-W এবং শক্তিশালী পূর্ববর্তী RS-S)
MH: Hans(2011) এর মেট্রোপলিস-হেস্টিংস পদ্ধতি (MH-W এবং MH-S)
EX: Wang and Wang(2023) এর বিনিময় অ্যালগরিদম (EX এবং EX-B)

বাস্তবায়ন বিবরণ

MCMC পুনরাবৃত্তি: 10,000 বার (100 বার বার্ন-ইন)
পূর্ববর্তী সেটআপ:
- দুর্বল পূর্ববর্তী: $L=\nu_1=R=\nu_2=1$
- শক্তিশালী পূর্ববর্তী: $L=6$ , $\nu_L=4$ , $R=2$ , $\nu_R=4$

RS পদ্ধতি অ-শূন্য রিগ্রেশন সহগে উল্লেখযোগ্যভাবে ভাল কর্মক্ষমতা দেখায়, ESS উন্নতি বিতরণ শক্তিশালী ডান-তির্যক
শূন্য রিগ্রেশন সহগের জন্য, সমস্ত পদ্ধতি অনুরূপ কর্মক্ষমতা দেখায়
RS-S $\lambda_1$ পরামিতিতে 149.86% পর্যন্ত গড় উন্নতি রয়েছে

উচ্চ-মাত্রিক সেটআপ (অনুকরণ 3 এবং 4, p=40)

অনুকরণ 3: EX পদ্ধতি সামগ্রিকভাবে ভাল কর্মক্ষমতা দেখায়, কিন্তু RS পদ্ধতির ESS হ্রাস সাধারণত মৃদু (<20%)
অনুকরণ 4: RS-S অ-শূন্য সহগে EX এর সাথে তুলনীয় বা সামান্য ভাল কর্মক্ষমতা দেখায়

মূল অনুসন্ধান

পরামিতি-নির্দিষ্ট কর্মক্ষমতা:
- $\beta$ পরামিতি: RS পদ্ধতি নিম্ন-মাত্রিকে স্পষ্ট সুবিধা রয়েছে, উচ্চ-মাত্রিকে যুক্তিসঙ্গত কর্মক্ষমতা
- $\sigma^2, \lambda_1, \lambda_2$ : RS-S বেশিরভাগ ক্ষেত্রে ভাল কর্মক্ষমতা দেখায়
সমন্বয় সংবেদনশীলতা:
- EX-B (খারাপভাবে সমন্বিত বিনিময় অ্যালগরিদম) সমন্বয় পরামিতির গুরুত্ব প্রমাণ করে
- RS পদ্ধতি সম্পূর্ণভাবে সমন্বয় প্রয়োজন এড়ায়
পূর্ববর্তী প্রভাব:
- শক্তিশালী পূর্ববর্তী (RS-S) সাধারণত দুর্বল পূর্ববর্তী (RS-W) এর চেয়ে ভাল কর্মক্ষমতা দেখায়
- বিশেষত $\lambda_1$ পরামিতির নমুনা সংগ্রহ দক্ষতায়

কর্মক্ষমতা তুলনা সারণী (গড় ESS উন্নতি শতাংশ)

পরামিতি	অনুকরণ 1 RS-S	অনুকরণ 2 RS-S	অনুকরণ 3 RS-S	অনুকরণ 4 RS-S
$\beta_1$	59.73%	5.87%	-15.2%	2.1%
$\sigma^2$	21.79%	19.83%	-40.95%	-42.93%
$\lambda_1$	149.86%	166.75%	90.42%	58.47%
$\lambda_2$	11.9%	18.39%	-53.17%	-39.56%

উপসংহার এবং আলোচনা

প্রধান উপসংহার

পদ্ধতি কার্যকারিতা: প্রস্তাবিত প্রত্যাখ্যান নমুনা সংগ্রহ পদ্ধতি সফলভাবে সমন্বয় প্রয়োজন দূর করে, বেশিরভাগ ক্ষেত্রে প্রতিযোগিতামূলক বা উন্নত কর্মক্ষমতা প্রদান করে
তাত্ত্বিক অবদান: পরামিতি রূপান্তর এবং লগ-অবতলতা বিশ্লেষণ বেয়েসীয় ইলাস্টিক নেট গণনার জন্য নতুন তাত্ত্বিক ভিত্তি প্রদান করে
ব্যবহারিক মূল্য: অ্যালগরিদমের স্বয়ংক্রিয় বৈশিষ্ট্য এটিকে বাস্তব প্রয়োগের জন্য আরও উপযুক্ত করে তোলে

সীমাবদ্ধতা

উচ্চ-মাত্রিক কর্মক্ষমতা: কিছু উচ্চ-মাত্রিক সেটআপে, পদ্ধতির আপেক্ষিক সুবিধা নিম্ন-মাত্রিক ক্ষেত্রের মতো স্পষ্ট নয়
পূর্ববর্তী সীমাবদ্ধতা: লগ-অবতলতা প্রয়োজন $L \geq 1$ , কিছু পূর্ববর্তীর ব্যবহার সীমাবদ্ধ করে
পরামিতিকরণ নির্ভরতা: কর্মক্ষমতা পরামিতিকরণ পছন্দের প্রতি সংবেদনশীল

ভবিষ্যত দিকনির্দেশনা

উচ্চ-মাত্রিক কর্মক্ষমতা উন্নতি: আংশিক ভাঁজ নমুনা সংগ্রহ এবং সাধারণীকৃত Gibbs পদক্ষেপ সংমিশ্রণ করা
অন্যান্য মডেলে সম্প্রসারণ: সাধারণীকৃত রৈখিক মডেল এবং অন্যান্য নিয়মিতকরণ পদ্ধতিতে পদ্ধতি সম্প্রসারণ করা
তাত্ত্বিক অপ্টিমাইজেশন: মার্কভ শৃঙ্খল গতিশীলতা উন্নত করতে পারে এমন অন্যান্য পরামিতিকরণ অন্বেষণ করা

গভীর মূল্যায়ন

সুবিধা

প্রযুক্তিগত উদ্ভাবন: চতুর পরামিতি রূপান্তর এবং লগ-অবতলতার উপর ভিত্তি করে প্রত্যাখ্যান নমুনা সংগ্রহ ডিজাইন অত্যন্ত উদ্ভাবনী
তাত্ত্বিক কঠোরতা: সম্পূর্ণ গাণিতিক প্রমাণ এবং তাত্ত্বিক গ্যারান্টি প্রদান করে
ব্যবহারিক মূল্য: সমন্বয় প্রয়োজন দূর করা পদ্ধতির ব্যবহারযোগ্যতা উল্লেখযোগ্যভাবে বৃদ্ধি করে
ব্যাপক তুলনা: সমস্ত বিদ্যমান পদ্ধতি পদ্ধতিগতভাবে তুলনা করে, সাহিত্যের ফাঁক পূরণ করে

অপূর্ণতা

জটিলতা বিনিময়: যদিও সমন্বয় এড়ায়, পদ্ধতি নিজেই তাত্ত্বিক জটিলতায় উচ্চতর
প্রয়োগযোগ্যতা পরিসীমা: কিছু পূর্ববর্তী সেটআপে সীমাবদ্ধতা পদ্ধতির সর্বজনীনতা প্রভাবিত করতে পারে
উচ্চ-মাত্রিক চ্যালেঞ্জ: উচ্চ-মাত্রিক সেটআপে কর্মক্ষমতা এখনও উন্নতির জায়গা রয়েছে

প্রভাব

একাডেমিক অবদান: বেয়েসীয় নিয়মিতকরণ রিগ্রেশনের গণনামূলক পদ্ধতিতে গুরুত্বপূর্ণ অগ্রগতি প্রদান করে
ব্যবহারিক প্রয়োগ: সমন্বয়-মুক্ত বৈশিষ্ট্য পদ্ধতিকে অনুশীলনকারীদের দ্বারা আরও সহজে গ্রহণযোগ্য করে তোলে
পদ্ধতিগত মূল্য: পরামিতি রূপান্তর চিন্তাভাবনা অন্যান্য জটিল বেয়েসীয় মডেলের গণনামূলক পদ্ধতিকে অনুপ্রাণিত করতে পারে

প্রযোজ্য পরিস্থিতি

সম্পূর্ণ বেয়েসীয় অনুমান প্রয়োজন এমন ইলাস্টিক নেট রিগ্রেশন বিশ্লেষণ
MCMC সমন্বয়ের প্রতি সংবেদনশীল স্বয়ংক্রিয় বিশ্লেষণ প্রবাহ
মাঝারি-মাত্রিক রিগ্রেশন সমস্যা (p < 100)
শাস্তি পরামিতির অনিশ্চয়তা পরিমাণ করার প্রয়োজন এমন প্রয়োগ

রেফারেন্স

মূল রেফারেন্সগুলি অন্তর্ভুক্ত করে:

Li, Q. and Lin, N. (2010). The Bayesian elastic net. Bayesian Analysis, 5, 151-170.
Hans, C. (2011). Elastic net regression modeling with the orthant normal prior. Journal of the American Statistical Association, 106, 1383-1393.
Wang, H.-B. and Wang, J. (2023). An exact sampler for fully Bayesian elastic net. Computational Statistics, 38, 1721-1734.
Zou, H. and Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, B, 67, 301-320.