2025-11-14T16:46:10.527403

Dataset-Free Weight-Initialization on Restricted Boltzmann Machine

Yasuda, Maeno, Takahashi

In feed-forward neural networks, dataset-free weight-initialization methods such as LeCun, Xavier (or Glorot), and He initializations have been developed. These methods randomly determine the initial values of weight parameters based on specific distributions (e.g., Gaussian or uniform distributions) without using training datasets. To the best of the authors' knowledge, such a dataset-free weight-initialization method is yet to be developed for restricted Boltzmann machines (RBMs), which are probabilistic neural networks consisting of two layers. In this study, we derive a dataset-free weight-initialization method for Bernoulli--Bernoulli RBMs based on statistical mechanical analysis. In the proposed weight-initialization method, the weight parameters are drawn from a Gaussian distribution with zero mean. The standard deviation of the Gaussian distribution is optimized based on our hypothesis that a standard deviation providing a larger layer correlation (LC) between the two layers improves the learning efficiency. The expression of the LC is derived based on a statistical mechanical analysis. The optimal value of the standard deviation corresponds to the maximum point of the LC. The proposed weight-initialization method is identical to Xavier initialization in a specific case (i.e., when the sizes of the two layers are the same, the random variables of the layers are $\{-1,1\}$-binary, and all bias parameters are zero). The validity of the proposed weight-initialization method is demonstrated in numerical experiments using a toy and real-world datasets.

academic

Инициализация весов без набора данных в машине Больцмана с ограничениями

Основная информация

ID статьи: 2409.07708
Название: Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
Авторы: Muneki Yasuda (Yamagata University), Ryosuke Maeno (Techno Provide Inc.), Chako Takahashi (Yamagata University)
Классификация: stat.ML, cond-mat.dis-nn, cs.LG
Дата публикации: arXiv v4 (12 ноября 2025 г.)
Ссылка на статью: https://arxiv.org/abs/2409.07708

Аннотация

В данной статье предлагается метод инициализации весов без использования набора данных для машины Больцмана с ограничениями (RBM). Аналогично существующим методам инициализации LeCun, Xavier и He для прямых нейронных сетей, данный метод определяет начальные значения параметров весов на основе определённого распределения без использования обучающего набора данных. Посредством анализа статистической механики авторы выводят метод инициализации весов для RBM типа Bernoulli-Bernoulli. Параметры весов извлекаются из гауссова распределения с нулевым средним, а стандартное отклонение оптимизируется путём максимизации корреляции между слоями (Layer Correlation, LC). В частном случае (одинаковые размеры двух слоёв, переменные типа {-1,1}, все смещения равны нулю) данный метод полностью совпадает с инициализацией Xavier. Численные эксперименты подтверждают эффективность предложенного метода.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема: Машина Больцмана с ограничениями (RBM) как вероятностная нейронная сеть не имеет систематизированного метода инициализации весов без набора данных, в отличие от прямых нейронных сетей. Методы инициализации параметров при обучении RBM до сих пор не были систематически исследованы.
Значимость:
- Инициализация весов оказывает значительное влияние на результаты итеративного обучения на основе градиента
- Надлежащая инициализация может повысить эффективность обучения и ускорить сходимость обучения
- Методы инициализации без набора данных обладают универсальностью и зависят только от структуры сети
Ограничения существующих методов:
- Для прямых нейронных сетей существуют зрелые методы инициализации (LeCun, Xavier, He)
- RBM как вероятностная модель имеет двухслойную неориентированную графовую структуру, отличающуюся от прямых сетей
- В существующей практике RBM обычно инициализируются малыми случайными значениями без теоретического обоснования
Исследовательская мотивация:
- Анализ начальных характеристик RBM с позиции статистической механики
- Установление связи между корреляцией между слоями и эффективностью обучения
- Предоставление теоретически обоснованной схемы инициализации для RBM

Основные вклады

Первое предложение метода инициализации весов без набора данных для RBM: На основе анализа статистической механики выведена систематическая схема инициализации весов для RBM типа Bernoulli-Bernoulli
Установление теоретической базы корреляции между слоями (LC):
- Определено математическое выражение корреляции между слоями
- Оценка LC проведена методом репличной симметрии (replica-symmetric)
- Доказано, что максимизация LC повышает эффективность обучения
Раскрытие связи с инициализацией Xavier: При специфических условиях (α=1, Xh=I, b=c=0) предложенный метод эквивалентен инициализации Xavier, что обеспечивает теоретическое объяснение
Предоставление полной таблицы параметров: Для различных соотношений размеров слоёв α и смещений c приведены численные решения оптимального стандартного отклонения βmax
Проверка на множественных наборах данных: Метод проверен на игрушечном наборе данных, Dry Bean, Urban Land Cover и наборе данных MNIST

Подробное описание метода

Определение задачи

Входные данные: Параметры структуры сети RBM

Размер видимого слоя: n
Размер скрытого слоя: m
Соотношение размеров слоёв: α = m/n
Тип переменных скрытого слоя: Xh ∈ {B={0,1}, I={-1,1}}
Начальное значение смещения: c ≤ 0

Выходные данные: Инициализированные параметры RBM

Матрица весов w: независимо выбирается из N(0, σ²), где σ = βmax/√(n+m)
Смещение видимого слоя: bi = 0
Смещение скрытого слоя: cj = c

Ограничения: Переменные видимого слоя vi ∈ I = {-1,1}

Архитектура модели

1. Основное определение RBM

Совместное распределение вероятностей RBM:

$P(v,h | θ) := \frac{1}{Z(θ)} \exp\left(\sum_{i∈V} b_i v_i + \sum_{j∈H} c_j h_j + \sum_{i∈V}\sum_{j∈H} w_{i,j}v_i h_j\right)$

где:

v = {vi | i=1,...,n}: видимые переменные
h = {hj | j=1,...,m}: скрытые переменные
θ = {b, c, w}: параметры обучения
Z(θ): статистическая сумма

2. Начальная форма RBM

При инициализации смещения устанавливаются как константы, а веса выбираются из гауссова распределения:

$P(v,h | θ_{ini}) ∝ \exp\left(b\sum_i v_i + c\sum_j h_j + \sum_{i,j} w_{i,j}v_i h_j\right)$

Распределение инициализации весов:

$P_{ini}(w | β) = \prod_{i,j} \sqrt{\frac{n+m}{2πβ²}} \exp\left(-\frac{n+m}{2β²}w_{i,j}²\right)$

Стандартное отклонение: σ = β/√(n+m)

3. Определение корреляции между слоями (LC)

LC определяется как статистическое среднее ковариации между видимым и скрытым слоями:

$χ(β) ∝ \sum_{i∈V}\sum_{j∈H} \int dw\, P_{ini}(w|β)\left(E_{ini}[v_i h_j] - E_{ini}[v_i]E_{ini}[h_j]\right)$

С позиции свободной энергии LC может быть выражена как:

$χ(β) ∝ -\frac{∂²f(β)}{∂b∂c}$

где f(β) — статистическое среднее свободной энергии.

Использование трюка реплик для оценки статистической суммы: $f(β) = -\frac{1}{n+m}\lim_{x→0}\frac{Φ_x(β)-1}{x}$
Применение предположения репличной симметрии (RS) для упрощения вычислений
Вывод аналитического выражения свободной энергии (уравнение 11)

Уравнения седловой точки: Через условия экстремума свободной энергии получено:

$\begin{pmatrix} \hat{q}_v \\ \hat{q}_h \end{pmatrix} = β²T_α \begin{pmatrix} q_v \\ q_h \end{pmatrix}$

где: $T_α = \frac{1}{1+α}\begin{pmatrix} 0 & α \\ 1 & 0 \end{pmatrix}$

Параметры порядка удовлетворяют: $q_v = \int Dz\, \tanh²(b + z\sqrt{\hat{q}_v})$