2025-11-14T16:46:10.527403

Dataset-Free Weight-Initialization on Restricted Boltzmann Machine

Yasuda, Maeno, Takahashi

In feed-forward neural networks, dataset-free weight-initialization methods such as LeCun, Xavier (or Glorot), and He initializations have been developed. These methods randomly determine the initial values of weight parameters based on specific distributions (e.g., Gaussian or uniform distributions) without using training datasets. To the best of the authors' knowledge, such a dataset-free weight-initialization method is yet to be developed for restricted Boltzmann machines (RBMs), which are probabilistic neural networks consisting of two layers. In this study, we derive a dataset-free weight-initialization method for Bernoulli--Bernoulli RBMs based on statistical mechanical analysis. In the proposed weight-initialization method, the weight parameters are drawn from a Gaussian distribution with zero mean. The standard deviation of the Gaussian distribution is optimized based on our hypothesis that a standard deviation providing a larger layer correlation (LC) between the two layers improves the learning efficiency. The expression of the LC is derived based on a statistical mechanical analysis. The optimal value of the standard deviation corresponds to the maximum point of the LC. The proposed weight-initialization method is identical to Xavier initialization in a specific case (i.e., when the sizes of the two layers are the same, the random variables of the layers are $\{-1,1\}$-binary, and all bias parameters are zero). The validity of the proposed weight-initialization method is demonstrated in numerical experiments using a toy and real-world datasets.

academic

Datensatzfreie Gewichtsinitialisierung bei Restricted Boltzmann Machines

Grundinformationen

Papier-ID: 2409.07708
Titel: Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
Autoren: Muneki Yasuda (Yamagata University), Ryosuke Maeno (Techno Provide Inc.), Chako Takahashi (Yamagata University)
Klassifizierung: stat.ML, cond-mat.dis-nn, cs.LG
Veröffentlichungsdatum: arXiv v4 (12. November 2025)
Papierlink: https://arxiv.org/abs/2409.07708

Zusammenfassung

Dieses Papier präsentiert eine datensatzfreie Gewichtsinitialisierungsmethode für Restricted Boltzmann Machines (RBM). Ähnlich wie die etablierten LeCun-, Xavier- und He-Initialisierungsmethoden in Feedforward-Neuronalen Netzen basiert diese Methode auf der stochastischen Bestimmung von Gewichtsparameterwerten aus spezifischen Verteilungen, ohne einen Trainingsdatensatz zu verwenden. Durch statistische Mechanik-Analyse leiten die Autoren eine Gewichtsinitialisierungsmethode für Bernoulli-Bernoulli RBM her. Gewichtsparameter werden aus einer Gaußverteilung mit Mittelwert Null gezogen, wobei die Standardabweichung durch Maximierung der Schicht-Korrelation (Layer Correlation, LC) optimiert wird. Unter spezifischen Bedingungen (zwei Schichten gleicher Größe, Variablen {-1,1} binär, alle Bias gleich Null) stimmt diese Methode vollständig mit der Xavier-Initialisierung überein. Numerische Experimente validieren die Wirksamkeit der Methode.

Forschungshintergrund und Motivation

Problemdefinition

Kernproblem: Restricted Boltzmann Machines (RBM) als probabilistische neuronale Netze verfügen nicht über datensatzfreie Gewichtsinitialisierungsmethoden wie Feedforward-Neuronale Netze. In der bestehenden RBM-Lernforschung wurden Parameterinitialisierungsmethoden noch nicht systematisch untersucht.
Bedeutung:
- Gewichtsinitialisierung hat signifikante Auswirkungen auf gradientenbasierte iterative Lernergebnisse
- Angemessene Initialisierung kann Lerneffizienz verbessern und Trainingskonvergenz beschleunigen
- Datensatzfreie Initialisierungsmethoden sind universell anwendbar und hängen nur von der Netzwerkstruktur ab
Einschränkungen bestehender Methoden:
- Feedforward-Neuronale Netze verfügen über etablierte Initialisierungsmethoden (LeCun, Xavier, He)
- RBM als probabilistisches Modell hat eine bidirektionale ungerichtete Graphenstruktur, die sich von Feedforward-Netzen unterscheidet
- In der bestehenden RBM-Praxis wird typischerweise eine kleine zufällige Wertinitialisierung verwendet, der theoretische Leitfaden fehlt
Forschungsmotivation:
- Analyse der Anfangszustandseigenschaften von RBM aus der Perspektive der statistischen Mechanik
- Etablierung der Verbindung zwischen Schicht-Korrelation und Lerneffizienz
- Bereitstellung eines theoretisch gestützten Initialisierungsschemas für RBM

Kernbeiträge

Erstmalige Vorschlag einer datensatzfreien Gewichtsinitialisierungsmethode für RBM: Basierend auf statistischer Mechanik-Analyse wird ein systematisches Gewichtsinitialisierungsschema für Bernoulli-Bernoulli RBM hergeleitet
Etablierung eines theoretischen Rahmens für Schicht-Korrelation (LC):
- Definition des mathematischen Ausdrucks für Schicht-Korrelation
- Bewertung von LC durch die Replica-Symmetric-Methode
- Nachweis, dass die Maximierung von LC die Lerneffizienz verbessert
Offenlegung der Verbindung zur Xavier-Initialisierung: Unter spezifischen Bedingungen (α=1, Xh=I, b=c=0) ist die vorgeschlagene Methode äquivalent zur Xavier-Initialisierung und bietet eine theoretische Erklärung
Bereitstellung einer vollständigen Parametertabelle: Für verschiedene Schichtgrößenverhältnisse α und Bias c werden numerische Lösungen für die optimale Standardabweichung βmax bereitgestellt
Validierung mit mehreren Datensätzen: Die Wirksamkeit der Methode wird auf Spielzeugdatensätzen, Dry Bean, Urban Land Cover und MNIST-Datensätzen validiert

Methodische Details

Aufgabendefinition

Eingabe: RBM-Netzwerkstrukturparameter

Sichtbare Schichtgröße: n
Verborgene Schichtgröße: m
Schichtgrößenverhältnis: α = m/n
Variablentyp der verborgenen Schicht: Xh ∈ {B={0,1}, I={-1,1}}
Anfängliche Bias-Werte: c ≤ 0

Ausgabe: Initialisierte RBM-Parameter

Gewichtsmatrix w: unabhängig aus N(0, σ²) gezogen, wobei σ = βmax/√(n+m)
Bias der sichtbaren Schicht: bi = 0
Bias der verborgenen Schicht: cj = c

Einschränkung: Sichtbare Schichtvariablen vi ∈ I = {-1,1}

Modellarchitektur

1. RBM-Grunddefinition

Die gemeinsame Wahrscheinlichkeitsverteilung der RBM:

$P(v,h | θ) := \frac{1}{Z(θ)} \exp\left(\sum_{i∈V} b_i v_i + \sum_{j∈H} c_j h_j + \sum_{i∈V}\sum_{j∈H} w_{i,j}v_i h_j\right)$

Wobei:

v = {vi | i=1,...,n}: sichtbare Variablen
h = {hj | j=1,...,m}: verborgene Variablen
θ = {b, c, w}: Lernparameter
Z(θ): Partitionsfunktion

2. Anfängliche RBM-Form

Bei der Initialisierung werden Bias als Konstanten festgelegt und Gewichte aus einer Gaußverteilung gezogen:

$P(v,h | θ_{ini}) ∝ \exp\left(b\sum_i v_i + c\sum_j h_j + \sum_{i,j} w_{i,j}v_i h_j\right)$

Gewichtsinitialisierungsverteilung:

$P_{ini}(w | β) = \prod_{i,j} \sqrt{\frac{n+m}{2πβ²}} \exp\left(-\frac{n+m}{2β²}w_{i,j}²\right)$

Standardabweichung: σ = β/√(n+m)

3. Definition der Schicht-Korrelation (LC)

LC ist definiert als der statistische Durchschnitt der Kovarianz zwischen sichtbarer und verborgener Schicht:

$χ(β) ∝ \sum_{i∈V}\sum_{j∈H} \int dw\, P_{ini}(w|β)\left(E_{ini}[v_i h_j] - E_{ini}[v_i]E_{ini}[h_j]\right)$

Aus der Perspektive der freien Energie kann LC ausgedrückt werden als:

$χ(β) ∝ -\frac{∂²f(β)}{∂b∂c}$

Wobei f(β) die statistische Durchschnitts-Freie-Energie ist.

Verwendung des Replica-Tricks zur Bewertung der Partitionsfunktion: $f(β) = -\frac{1}{n+m}\lim_{x→0}\frac{Φ_x(β)-1}{x}$
Anwendung der Replica-Symmetric (RS) Annahme zur Vereinfachung der Berechnung
Herleitung analytischer Ausdrücke für die freie Energie (Gleichung 11)

Sattelpunktgleichungen: Durch Extremalbedingungen der freien Energie erhalten:

$\begin{pmatrix} \hat{q}_v \\ \hat{q}_h \end{pmatrix} = β²T_α \begin{pmatrix} q_v \\ q_h \end{pmatrix}$

Wobei: $T_α = \frac{1}{1+α}\begin{pmatrix} 0 & α \\ 1 & 0 \end{pmatrix}$

Ordnungsparameter erfüllen: $q_v = \int Dz\, \tanh²(b + z\sqrt{\hat{q}_v})$