2025-11-14T16:46:10.527403

Dataset-Free Weight-Initialization on Restricted Boltzmann Machine

Yasuda, Maeno, Takahashi

In feed-forward neural networks, dataset-free weight-initialization methods such as LeCun, Xavier (or Glorot), and He initializations have been developed. These methods randomly determine the initial values of weight parameters based on specific distributions (e.g., Gaussian or uniform distributions) without using training datasets. To the best of the authors' knowledge, such a dataset-free weight-initialization method is yet to be developed for restricted Boltzmann machines (RBMs), which are probabilistic neural networks consisting of two layers. In this study, we derive a dataset-free weight-initialization method for Bernoulli--Bernoulli RBMs based on statistical mechanical analysis. In the proposed weight-initialization method, the weight parameters are drawn from a Gaussian distribution with zero mean. The standard deviation of the Gaussian distribution is optimized based on our hypothesis that a standard deviation providing a larger layer correlation (LC) between the two layers improves the learning efficiency. The expression of the LC is derived based on a statistical mechanical analysis. The optimal value of the standard deviation corresponds to the maximum point of the LC. The proposed weight-initialization method is identical to Xavier initialization in a specific case (i.e., when the sizes of the two layers are the same, the random variables of the layers are $\{-1,1\}$-binary, and all bias parameters are zero). The validity of the proposed weight-initialization method is demonstrated in numerical experiments using a toy and real-world datasets.

academic

डेटासेट-मुक्त वजन-आरंभीकरण प्रतिबंधित बोल्ट्समैन मशीन पर

मूल जानकारी

पेपर ID: 2409.07708
शीर्षक: Dataset-Free Weight-Initialization on Restricted Boltzmann Machine
लेखक: Muneki Yasuda (Yamagata University), Ryosuke Maeno (Techno Provide Inc.), Chako Takahashi (Yamagata University)
वर्गीकरण: stat.ML, cond-mat.dis-nn, cs.LG
प्रकाशन समय: arXiv v4 (12 नवंबर 2025)
पेपर लिंक: https://arxiv.org/abs/2409.07708

सारांश

यह पेपर प्रतिबंधित बोल्ट्समैन मशीन (RBM) के लिए एक डेटासेट-मुक्त वजन आरंभीकरण विधि प्रस्तावित करता है। फीडफॉरवर्ड न्यूरल नेटवर्क में पहले से मौजूद LeCun, Xavier और He आरंभीकरण विधियों के समान, यह विधि प्रशिक्षण डेटासेट का उपयोग किए बिना विशिष्ट वितरण से वजन मापदंडों के प्रारंभिक मानों को यादृच्छिक रूप से निर्धारित करती है। सांख्यिकीय यांत्रिकी विश्लेषण के माध्यम से, लेखक Bernoulli-Bernoulli RBM के लिए वजन आरंभीकरण विधि प्राप्त करते हैं। वजन मापदंड शून्य माध्य के साथ गॉसियन वितरण से निकाले जाते हैं, मानक विचलन परत सहसंबंध (Layer Correlation, LC) को अधिकतम करके अनुकूलित किया जाता है। विशिष्ट परिस्थितियों में (दोनों परतों का आकार समान, चर {-1,1} बाइनरी, सभी पूर्वाग्रह शून्य), यह विधि Xavier आरंभीकरण के साथ पूरी तरह सुसंगत है। संख्यात्मक प्रयोग विधि की प्रभावशीलता को सत्यापित करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मुख्य समस्या: प्रतिबंधित बोल्ट्समैन मशीन (RBM) एक संभाव्य तंत्रिका नेटवर्क के रूप में, फीडफॉरवर्ड न्यूरल नेटवर्क जैसी डेटासेट-मुक्त वजन आरंभीकरण विधि की कमी है। मौजूदा RBM सीखने में, मापदंड आरंभीकरण विधि को अभी तक व्यवस्थित रूप से अध्ययन नहीं किया गया है।
महत्व:
- वजन आरंभीकरण ग्रेडिएंट-आधारित पुनरावृत्तिमूलक सीखने के परिणामों पर महत्वपूर्ण प्रभाव डालता है
- उपयुक्त आरंभीकरण सीखने की दक्षता में सुधार कर सकता है, प्रशिक्षण अभिसरण को तेज कर सकता है
- डेटासेट-मुक्त आरंभीकरण विधि सामान्य है, केवल नेटवर्क संरचना पर निर्भर है
मौजूदा विधियों की सीमाएं:
- फीडफॉरवर्ड न्यूरल नेटवर्क के लिए परिपक्व आरंभीकरण विधियां हैं (LeCun, Xavier, He)
- RBM एक संभाव्य मॉडल के रूप में, इसकी द्विपक्षीय अप्रत्यक्ष ग्राफ संरचना फीडफॉरवर्ड नेटवर्क से भिन्न है
- मौजूदा RBM अभ्यास में आमतौर पर छोटे यादृच्छिक मानों का उपयोग किया जाता है, सैद्धांतिक मार्गदर्शन की कमी है
अनुसंधान प्रेरणा:
- सांख्यिकीय यांत्रिकी के दृष्टिकोण से RBM की प्रारंभिक स्थिति की विशेषताओं का विश्लेषण करें
- परत सहसंबंध और सीखने की दक्षता के बीच संबंध स्थापित करें
- RBM के लिए सैद्धांतिक समर्थन वाली आरंभीकरण योजना प्रदान करें

मुख्य योगदान

RBM के लिए पहली बार डेटासेट-मुक्त वजन आरंभीकरण विधि प्रस्तावित करना: सांख्यिकीय यांत्रिकी विश्लेषण के आधार पर, Bernoulli-Bernoulli RBM के लिए व्यवस्थित वजन आरंभीकरण योजना प्राप्त करना
परत सहसंबंध (LC) सैद्धांतिक ढांचा स्थापित करना:
- परत सहसंबंध की गणितीय अभिव्यक्ति को परिभाषित करना
- प्रतिकृति-सममित (replica-symmetric) विधि के माध्यम से LC का मूल्यांकन करना
- यह साबित करना कि LC को अधिकतम करने से सीखने की दक्षता में सुधार होता है
Xavier आरंभीकरण के साथ संबंध का पता लगाना: विशिष्ट शर्तों के तहत (α=1, Xh=I, b=c=0), प्रस्तावित विधि Xavier आरंभीकरण के बराबर है, सैद्धांतिक व्याख्या प्रदान करता है
संपूर्ण मापदंड तालिका प्रदान करना: विभिन्न परत आकार अनुपात α और पूर्वाग्रह c के लिए, इष्टतम मानक विचलन βmax के संख्यात्मक समाधान दें
बहु-डेटासेट सत्यापन: खिलौना डेटासेट, Dry Bean, Urban Land Cover और MNIST डेटासेट पर विधि की प्रभावशीलता को सत्यापित करना

विधि विवरण

कार्य परिभाषा

इनपुट: RBM नेटवर्क संरचना मापदंड

दृश्यमान परत आकार: n
छिपी परत आकार: m
परत आकार अनुपात: α = m/n
छिपी परत चर प्रकार: Xh ∈ {B={0,1}, I={-1,1}}
पूर्वाग्रह प्रारंभिक मान: c ≤ 0

आउटपुट: आरंभीकृत RBM मापदंड

वजन मैट्रिक्स w: N(0, σ²) से स्वतंत्र रूप से नमूना किया गया, जहां σ = βmax/√(n+m)
दृश्यमान परत पूर्वाग्रह: bi = 0
छिपी परत पूर्वाग्रह: cj = c

बाधा: दृश्यमान परत चर vi ∈ I = {-1,1}

मॉडल आर्किटेक्चर

1. RBM मूल परिभाषा

RBM का संयुक्त संभाव्यता वितरण:

$P(v,h | θ) := \frac{1}{Z(θ)} \exp\left(\sum_{i∈V} b_i v_i + \sum_{j∈H} c_j h_j + \sum_{i∈V}\sum_{j∈H} w_{i,j}v_i h_j\right)$

जहां:

v = {vi | i=1,...,n}: दृश्यमान चर
h = {hj | j=1,...,m}: छिपे हुए चर
θ = {b, c, w}: सीखने योग्य मापदंड
Z(θ): विभाजन फलन

2. प्रारंभिक RBM रूप

आरंभीकरण के समय, पूर्वाग्रह को स्थिरांक के रूप में सेट किया जाता है, वजन गॉसियन वितरण से नमूना किया जाता है:

$P(v,h | θ_{ini}) ∝ \exp\left(b\sum_i v_i + c\sum_j h_j + \sum_{i,j} w_{i,j}v_i h_j\right)$

वजन आरंभीकरण वितरण:

$P_{ini}(w | β) = \prod_{i,j} \sqrt{\frac{n+m}{2πβ²}} \exp\left(-\frac{n+m}{2β²}w_{i,j}²\right)$

मानक विचलन: σ = β/√(n+m)

3. परत सहसंबंध (LC) परिभाषा

LC को दृश्यमान परत और छिपी परत के बीच सहप्रसरण के सांख्यिकीय औसत के रूप में परिभाषित किया जाता है:

$χ(β) ∝ \sum_{i∈V}\sum_{j∈H} \int dw\, P_{ini}(w|β)\left(E_{ini}[v_i h_j] - E_{ini}[v_i]E_{ini}[h_j]\right)$

मुक्त ऊर्जा के दृष्टिकोण से, LC को इस प्रकार व्यक्त किया जा सकता है:

$χ(β) ∝ -\frac{∂²f(β)}{∂b∂c}$

जहां f(β) सांख्यिकीय औसत की मुक्त ऊर्जा है।

विभाजन फलन का मूल्यांकन करने के लिए प्रतिकृति ट्रिक का उपयोग करें: $f(β) = -\frac{1}{n+m}\lim_{x→0}\frac{Φ_x(β)-1}{x}$
गणना को सरल बनाने के लिए प्रतिकृति-सममित (RS) धारणा लागू करें
मुक्त ऊर्जा की विश्लेषणात्मक अभिव्यक्ति प्राप्त करें (समीकरण 11)

काठी बिंदु समीकरण: मुक्त ऊर्जा चरम स्थिति के माध्यम से प्राप्त:

$\begin{pmatrix} \hat{q}_v \\ \hat{q}_h \end{pmatrix} = β²T_α \begin{pmatrix} q_v \\ q_h \end{pmatrix}$

जहां: $T_α = \frac{1}{1+α}\begin{pmatrix} 0 & α \\ 1 & 0 \end{pmatrix}$

अनुक्रम मापदंड संतुष्ट करते हैं: $q_v = \int Dz\, \tanh²(b + z\sqrt{\hat{q}_v})$