2025-11-23T20:10:17.105054

Sampling the Bayesian Elastic Net

Hans, Liu

The Bayesian elastic net regression model is characterized by the regression coefficient prior distribution, the negative log density of which corresponds to the elastic net penalty function. While Markov chain Monte Carlo (MCMC) methods exist for sampling from the posterior of the regression coefficients given the penalty parameters, full Bayesian inference that incorporates uncertainty about the penalty parameters remains a challenge due to an intractable integrable in the posterior density function. Though sampling methods have been proposed that avoid computing this integral, all correctly-specified methods for full Bayesian inference that have appeared in the literature involve at least one "Metropolis-within-Gibbs" update, requiring tuning of proposal distributions. The computational landscape is complicated by the fact that two forms of the Bayesian elastic net prior have been introduced, and two representations (with and without data augmentation) of the prior suggest different MCMC algorithms. We review the forms and representations of the prior, discuss all combinations of these different treatments for the first time, and introduce one combination of form and representation that has yet to appear in the literature. We introduce MCMC algorithms for full Bayesian inference for all treatments of the prior. The algorithms allow for direct sampling of all parameters without any "Metropolis-within-Gibbs" steps. The key to the new approach is a careful transformation of the parameter space and an analysis of the resulting full conditional density functions that allows for efficient rejection sampling. We make empirical comparisons between our approaches and existing MCMC samplers for different data structures.

academic

Выборка из байесовской эластичной сети

Основная информация

ID статьи: 2501.00594
Название: Sampling the Bayesian Elastic Net
Авторы: Christopher M. Hans, Ningyi Liu
Классификация: stat.CO stat.ME
Дата публикации: Декабрь 2024
Ссылка на статью: https://arxiv.org/abs/2501.00594

Аннотация

Байесовская модель регрессии эластичной сети характеризуется априорным распределением коэффициентов регрессии, отрицательный логарифм плотности которого соответствует штрафной функции эластичной сети. Хотя существуют методы MCMC для выборки из апостериорного распределения коэффициентов регрессии при заданных параметрах штрафа, полный байесовский вывод, включающий неопределённость параметров штрафа, остаётся сложной задачей из-за неразрешимого интеграла в апостериорной плотности. Несмотря на предложенные методы выборки, избегающие вычисления этого интеграла, все корректно специфицированные методы полного байесовского вывода в литературе включают по крайней мере одно обновление типа "Метрополис-в-Гиббсе", требующее настройки распределения предложений. Вычислительная сложность усугубляется тем, что в литературе введены две формы байесовской априорной сети эластичной сети и два способа представления приора (с данными увеличением и без него), предлагающие различные алгоритмы MCMC. В данной работе мы рассматриваем формы и представления приора, впервые обсуждаем все комбинации этих различных подходов и вводим комбинацию формы и представления, которая ранее не встречалась в литературе. Мы предлагаем алгоритмы MCMC для полного байесовского вывода для всех подходов к обработке приора, позволяющие прямую выборку всех параметров без каких-либо шагов "Метрополис-в-Гиббсе".

Исследовательский контекст и мотивация

Основная проблема

Байесовская модель регрессии эластичной сети стала популярным методом регрессии во многих областях исследований. Модель характеризуется априорным распределением коэффициентов регрессии, отрицательный логарифм плотности которого соответствует штрафной функции эластичной сети:

$\pi_c(\beta | \sigma^2, \lambda_1, \lambda_2) \propto \exp\left\{-\frac{1}{2\sigma^2}(\lambda_2\beta^T\beta + \lambda_1|\beta|_1)\right\}$

Вычислительные трудности

Неразрешимый интеграл: нормирующая константа априорного распределения содержит член $\Phi(-\lambda_1/(2\sigma\sqrt{\lambda_2}))^{-p}$ , где $\Phi(\cdot)$ — функция стандартного нормального распределения, что представляет собой интегральное выражение без замкнутого решения.
Сложность параметризации: в литературе существуют две различные формы параметризации приора:
- Общее масштабирование (commonly-scaled): оба члена $\lambda_2\beta^T\beta$ и $\lambda_1|\beta|_1$ масштабируются на $2\sigma^2$
- Дифференциальное масштабирование (differentially-scaled): различные члены используют различные коэффициенты масштабирования
Разнообразие методов представления: каждая форма параметризации имеет два способа представления:
- Прямое представление: без увеличения данных
- Представление с увеличением данных: иерархическая модель с введением скрытых переменных

Ограничения существующих методов

Все существующие корректно специфицированные методы требуют по крайней мере одного шага Метрополиса-Гастингса, что требует:

Специфицирования и настройки распределения предложений
Выбора параметра размера шага случайного блуждания
Может привести к медленной сходимости и плохому перемешиванию

Основные вклады

Комплексный обзор: первый полный обзор всех комбинаций форм и представлений приора байесовской эластичной сети с введением нового сочетания (прямое представление с дифференциальным масштабированием)
Преобразования пространства параметров: предложены умные преобразования пространства параметров, концентрирующие сложный член $\Phi(\cdot)$ в одном полном условном распределении
Алгоритмы MCMC без настройки: разработаны алгоритмы MCMC, не требующие никаких шагов "Метрополис-в-Гиббсе", избегая проблем с настройкой распределения предложений
Эффективная выборка отклонением: на основе анализа логарифмической вогнутости разработан эффективный алгоритм выборки отклонением с автоматически настраиваемым кусочно-экспоненциальным распределением предложений
Теоретические гарантии: предоставлены доказательства логарифмической вогнутости ключевых распределений и теоретические результаты о границах мод

Подробное описание методов

Определение задачи

При нормальной линейной модели регрессии $y = X\beta + \varepsilon$ (где $\varepsilon \sim N(0, \sigma^2I_n)$ ) проводится полный байесовский вывод для эластичной сети, включающий моделирование неопределённости параметров штрафа $\lambda_1, \lambda_2$ и дисперсии ошибок $\sigma^2$ .

Основные технические инновации

1. Преобразования пространства параметров

Преобразование при приоре с общим масштабированием: $(σ^2, λ_1, λ_2) → (u_1 = σ^2, u_2 = \sqrt{λ_2}/σ, θ = λ_1/(2σ\sqrt{λ_2}))$

Преобразование при приоре с дифференциальным масштабированием: $(λ_2, λ_1) → (u_2 = \sqrt{λ_2}, θ = λ_1/\sqrt{λ_2})$

Ключевые преимущества этих преобразований:

Концентрируют член $\Phi(\cdot)$ в полном условном распределении одного параметра $\theta$
Создают логарифмически вогнутые полные условные распределения, удобные для эффективной выборки

2. Алгоритм выборки отклонением

Разработан специализированный метод выборки отклонением для плотностей вида: $f(x) \propto \Phi(-x)^{-q}x^{a-1}e^{-bx^2-cx-d/x}, \quad x > 0$

Ключевые теоретические результаты:

Предложение 1: При $q \in \{1,2,...\}$ , $a \geq 1$ , $b \geq q/2$ , $c > 0$ функция $f(x)$ интегрируема и логарифмически вогнута
Предложение 2: Предоставляются точные границы для моды $x^*$ , удобные для построения узлов выборки отклонением

3. Полные условные распределения

Преобразованные полные условные распределения включают:

Обобщённое обратное гауссовское распределение (GIG): $u_1 | \text{остальные параметры} \sim \text{GIG}(\alpha, \beta, \gamma)$

Модифицированное полунормальное распределение (MHN): $u_2 | \text{остальные параметры} \sim \text{MHN}(\alpha, \beta, \gamma)$

Распределение с членом $\Phi(\cdot)$ : $\pi(\theta | \text{остальные параметры}) \propto \Phi(-\theta)^{-p}\theta^{L-1}e^{-\theta^2/2-\theta c}$

Процедура алгоритма

Инициализация: установка начальных значений параметров
Цикл выборки:
- Выборка из GIG-распределения методом Devroye (2014)
- Выборка из MHN-распределения методом Sun et al. (2023) или новым методом выборки отклонением
- Выборка из распределения с членом $\Phi(\cdot)$ методом адаптивной выборки отклонением
Обновление коэффициентов регрессии: обновление $\beta$ в соответствии с выбранным методом представления (прямое или с увеличением данных)

Экспериментальная установка

Наборы данных

Использованы четыре сценария моделирования из Zou and Hastie (2005):

Моделирование 1: $n=20$ , $p=8$ , $\beta=(3,1.5,0,0,2,0,0,0)^T$ , $\sigma=3$
Моделирование 2: $n=20$ , $p=8$ , $\beta_j=0.85$ для $j=1,...,8$ , $\sigma=3$
Моделирование 3: $n=100$ , $p=40$ , высокомерный случай, $\sigma=15$
Моделирование 4: $n=100$ , $p=40$ , блочно-диагональная структура ковариации, $\sigma=15$

Для каждого сценария сгенерировано 50 наборов данных для сравнения.

Метрики оценки

Использован эффективный размер выборки (ESS) как мера эффективности алгоритма MCMC, вычисляемый пакетом R mcmcse.

Методы сравнения

RS: предложенный в работе метод выборки отклонением (слабый приор RS-W и сильный приор RS-S)
MH: метод Метрополиса-Гастингса из Hans (2011) (MH-W и MH-S)
EX: алгоритм обмена из Wang and Wang (2023) (EX и EX-B)

Детали реализации

Итерации MCMC: 10 000 (100 итераций прогрева)
Установка приора:
- Слабый приор: $L=\nu_1=R=\nu_2=1$
- Сильный приор: $L=6$ , $\nu_L=4$ , $R=2$ , $\nu_R=4$

Метод RS показывает значительно лучшую производительность на ненулевых коэффициентах регрессии, с распределением улучшений ESS, сильно смещённым вправо
Для нулевых коэффициентов регрессии все методы показывают сходную производительность
RS-S показывает улучшение до 149,86% в среднем на параметре $\lambda_1$

Высокомерные случаи (моделирования 3 и 4, p=40)

Моделирование 3: метод EX показывает лучшую общую производительность, но уменьшение ESS метода RS обычно умеренно (<20%)
Моделирование 4: RS-S показывает сравнимую или немного лучшую производительность на ненулевых коэффициентах по сравнению с EX

Ключевые находки

Параметр-специфичная производительность:
- Параметры $\beta$ : преимущество метода RS явно в низких размерностях, разумная производительность в высоких размерностях
- $\sigma^2, \lambda_1, \lambda_2$ : RS-S показывает хорошую производительность в большинстве случаев
Чувствительность к настройке:
- EX-B (плохо настроенный алгоритм обмена) демонстрирует важность параметров настройки
- Метод RS полностью избегает требований к настройке
Влияние приора:
- Сильный приор (RS-S) обычно показывает лучшую производительность, чем слабый приор (RS-W)
- Особенно на эффективности выборки параметра $\lambda_1$

Таблица сравнения производительности (средний процент улучшения ESS)

Параметр	Мод. 1 RS-S	Мод. 2 RS-S	Мод. 3 RS-S	Мод. 4 RS-S
$\beta_1$	59,73%	5,87%	-15,2%	2,1%
$\sigma^2$	21,79%	19,83%	-40,95%	-42,93%
$\lambda_1$	149,86%	166,75%	90,42%	58,47%
$\lambda_2$	11,9%	18,39%	-53,17%	-39,56%

Связанные работы

Развитие байесовской регуляризованной регрессии

Связь с Lasso: Tibshirani (1996) впервые установил связь между байесовским апостериорным модусом и штрафной оптимизацией
Расширение эластичной сети: Li and Lin (2010), Hans (2011), Kyung et al. (2010) и др. разработали байесовскую эластичную сеть
Адаптивные методы: Griffin and Brown (2007), Leng et al. (2014) и др. исследовали байесовские версии адаптивного lasso

Прогресс вычислительных методов

Увеличение данных: представление масштабной смеси Park and Casella (2008)
Вариационный вывод: приближённые методы, избегающие MCMC
Алгоритм обмена: умный подход Wang and Wang (2023) для избежания вычисления $\Phi(\cdot)$

Заключение и обсуждение

Основные выводы

Эффективность метода: предложенный метод выборки отклонением успешно устраняет требование настройки, обеспечивая конкурентоспособную или лучшую производительность в большинстве случаев
Теоретический вклад: преобразования параметров и анализ логарифмической вогнутости предоставляют новую теоретическую основу для вычислений в байесовской эластичной сети
Практическая ценность: автоматизированный характер алгоритма делает его более подходящим для практических приложений

Ограничения

Производительность в высоких размерностях: относительное преимущество метода менее выражено в некоторых высокомерных случаях по сравнению с низкомерными
Ограничения приора: требование логарифмической вогнутости $L \geq 1$ ограничивает использование некоторых приоров
Зависимость от параметризации: производительность чувствительна к выбору параметризации

Направления будущих исследований

Улучшение производительности в высоких размерностях: объединение частично свёрнутой выборки и обобщённых шагов Гиббса
Расширение на другие модели: применение метода к обобщённым линейным моделям и другим методам регуляризации
Теоретическая оптимизация: исследование других возможных параметризаций для улучшения динамики цепи Маркова

Глубокая оценка

Преимущества

Техническая инновация: умные преобразования параметров и разработка выборки отклонением на основе логарифмической вогнутости отличаются высокой инновационностью
Теоретическая строгость: предоставлены полные математические доказательства и теоретические гарантии
Практическая ценность: устранение требования настройки значительно повышает применимость метода
Комплексное сравнение: систематическое сравнение всех существующих методов заполняет пробел в литературе

Недостатки

Компромисс сложности: хотя избегается настройка, сама теоретическая сложность метода довольно высока
Область применения: ограничения при некоторых установках приора могут влиять на универсальность метода
Вызовы в высоких размерностях: производительность в высокомерных случаях всё ещё имеет место для улучшения

Влияние

Академический вклад: предоставляет важный прогресс в вычислительных методах для байесовской регуляризованной регрессии
Практическое применение: характеристика без настройки облегчает принятие метода практиками
Методологическая ценность: идея преобразования параметров может вдохновить вычислительные методы для других сложных байесовских моделей

Сценарии применения

Анализ регрессии эластичной сети, требующий полного байесовского вывода
Автоматизированные процессы анализа, чувствительные к настройке MCMC
Задачи регрессии средней размерности (p < 100)
Приложения, требующие количественной оценки неопределённости параметров штрафа

Список литературы

Ключевые ссылки включают:

Li, Q. and Lin, N. (2010). The Bayesian elastic net. Bayesian Analysis, 5, 151-170.
Hans, C. (2011). Elastic net regression modeling with the orthant normal prior. Journal of the American Statistical Association, 106, 1383-1393.
Wang, H.-B. and Wang, J. (2023). An exact sampler for fully Bayesian elastic net. Computational Statistics, 38, 1721-1734.
Zou, H. and Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, B, 67, 301-320.