मैट्रिक्स प्रोडक्ट स्टेट्स के लिए प्रतिनिधित्व प्रमेय

मूल जानकारी

• पेपर ID: 2103.08277
• शीर्षक: मैट्रिक्स प्रोडक्ट स्टेट्स के लिए प्रतिनिधित्व प्रमेय
• लेखक: Erdong Guo, David Draper (कैलिफोर्निया विश्वविद्यालय, सांता क्रूज़)
• वर्गीकरण: stat.ML cs.LG cs.NE quant-ph
• प्रकाशन समय: 15 मार्च 2021 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2103.08277

सारांश

यह पेपर बूलियन फलन और सतत फलन के दृष्टिकोण से मैट्रिक्स प्रोडक्ट स्टेट्स (MPS) की सार्वभौमिक प्रतिनिधित्व क्षमता का अध्ययन करता है। लेखकों ने सिद्ध किया है कि MPS किसी भी बूलियन फलन को सटीक रूप से कार्यान्वित कर सकता है, और किसी भी दिए गए बूलियन गेट के लिए संबंधित MPS संरचना के निर्माण की विधि प्रदान की है। इसके अतिरिक्त, यह सिद्ध किया गया है कि स्केल-अपरिवर्तनीय सिग्मॉइड सक्रियण फलन वाले MPS फलन स्पेस n-आयामी वास्तविक निर्देशांक स्पेस के कॉम्पैक्ट उपसमुच्चय पर परिभाषित सतत फलन स्पेस में सघन है। MPS और तंत्रिका नेटवर्क के संबंध का अध्ययन किया गया, जो दर्शाता है कि स्केल-अपरिवर्तनीय सिग्मॉइड फलन वाले MPS कर्नल फलन से सुसज्जित एकल छिपी परत वाले तंत्रिका नेटवर्क के समतुल्य हैं। अंत में, अनंत चौड़ाई वाले MPS द्वारा गाऊसी प्रक्रिया (GP) को कार्यान्वित करने की समस्या पर समतुल्य तंत्रिका नेटवर्क के अध्ययन के माध्यम से चर्चा की गई है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या पृष्ठभूमि

1. टेंसर नेटवर्क का उदय: टेंसर नेटवर्क बहु-निकाय क्वांटम प्रणालियों का प्रतिनिधित्व करने के लिए एक शक्तिशाली ग्राफिकल भाषा है, जिसे क्वांटम सूचना, संघनित पदार्थ भौतिकी, अनुप्रयुक्त गणित और कंप्यूटर विज्ञान सहित कई क्षेत्रों में व्यापक रूप से लागू किया गया है।
2. MPS की प्रतिनिधित्व क्षमता का प्रश्न: हालांकि MPS में क्वांटम भौतिकी में महत्वपूर्ण भौतिक महत्व है, लेकिन जब इसे मशीन लर्निंग में एक बीजगणितीय उपकरण के रूप में उपयोग किया जाता है, तो एक स्वाभाविक प्रश्न यह है: एक बीजगणितीय मशीन के रूप में MPS की प्रतिनिधित्व क्षमता कितनी मजबूत है?
3. सार्वभौमिक सन्निकटन सिद्धांत की आवश्यकता: तंत्रिका नेटवर्क के सार्वभौमिक सन्निकटन प्रमेय के समान, MPS की प्रतिनिधित्व क्षमता की सीमा को सैद्धांतिक रूप से सिद्ध करने की आवश्यकता है।

अनुसंधान प्रेरणा

1. सैद्धांतिक अंतराल को भरना: मौजूदा अनुसंधान मुख्य रूप से MPS के भौतिक गुणों पर केंद्रित है, लेकिन फलन सन्निकटक के रूप में इसके सैद्धांतिक विश्लेषण में कमी है।
2. MPS और तंत्रिका नेटवर्क के बीच संबंध स्थापित करना: MPS और शास्त्रीय मशीन लर्निंग मॉडल (विशेष रूप से तंत्रिका नेटवर्क) के बीच समतुल्यता संबंध की खोज करना।
3. व्यावहारिक विचार: वास्तविक अनुप्रयोगों में, पूर्ण आधार आमतौर पर अनंत-आयामी होता है, इसलिए यह अध्ययन करने की आवश्यकता है कि हल्के-फुल्के अनुमानों के तहत MPS कितने बड़े फलन स्पेस को "विस्तृत" कर सकता है।

मुख्य योगदान

1. बूलियन फलन का सटीक प्रतिनिधित्व: सिद्ध किया गया है कि MPS किसी भी बूलियन फलन को सटीक रूप से कार्यान्वित कर सकता है, और रचनात्मक प्रमाण विधि प्रदान की गई है।
2. सतत फलन का सार्वभौमिक सन्निकटन: सिद्ध किया गया है कि स्केल-अपरिवर्तनीय सिग्मॉइड सक्रियण वाले MPS फलन स्पेस सतत फलन स्पेस में सघन है (सर्वोच्च मानदंड के संबंध में)।
3. MPS और तंत्रिका नेटवर्क की समतुल्यता: MPS और एकल छिपी परत वाले तंत्रिका नेटवर्क के बीच समतुल्यता संबंध स्थापित किया गया, जो MPS में कर्नल फलन के प्राकृतिक उदय को प्रकट करता है।
4. गाऊसी प्रक्रिया का कार्यान्वयन: अनंत चौड़ाई वाले MPS के माध्यम से गाऊसी प्रक्रिया के कार्यान्वयन की समस्या पर चर्चा की गई है।

विधि विस्तार

MPS मॉडल परिभाषा

मानक MPS संरचना

मूल MPS मॉडल को इस प्रकार परिभाषित किया गया है: $\Psi_l(x|w,B) = \sum_{\{\alpha,s\}} A^{s_1}_{\alpha_1\alpha_2} \cdots A^{s_i}_{l\alpha_i\alpha_{i+1}} \cdots A^{s_n}_{\alpha_n\alpha_1} \Phi^{s_1\cdots s_n}(x)$

जहां कर्नल फलन को इस प्रकार परिभाषित किया गया है: $\Phi^{s_1\cdots s_n}(x) = \phi^{s_1}(x_1) \otimes \cdots \otimes \phi^{s_i}(x_i) \cdots \otimes \phi^{s_n}(x_n)$

संशोधित MPS संरचना

सार्वभौमिक सन्निकटन को कार्यान्वित करने के लिए, लेखकों ने संशोधित MPS संरचना प्रस्तावित की है: $\Psi(x|w,B) = \sum_l \sigma\left(\sum_{\{\alpha,s\}} A^{s_1}_{\alpha_1\alpha_2} \cdots A^{s_i}_{l\alpha_i\alpha_{i+1}} \cdots A^{s_n}_{\alpha_n\alpha_1} \Phi^{s_1\cdots s_n}(x)\right)$

जहां $\sigma(\cdot)$ स्केल-अपरिवर्तनीय सिग्मॉइड फलन है: $\sigma(x) \to \begin{cases} 0 & x \to -\infty \\ C & x \to +\infty \end{cases}$

बूलियन फलन प्रतिनिधित्व विधि

मूल बूलियन गेट का कार्यान्वयन

AND गेट कार्यान्वयन (प्रमेय 2.1):

• कर्नल फलन: $\phi_i(X_i) = [X_i, 1-X_i]$
• टेंसर नोड: $A^{s_i} = [1, 0]$, बॉन्ड आयाम $|\alpha| = 1$

OR गेट कार्यान्वयन (प्रमेय 2.2):

• कर्नल फलन: $\phi_i(X_i) = [X_i, 1-X_i]$
• टेंसर नोड बॉन्ड आयाम: $|\alpha| = 3$
• विशिष्ट टेंसर संरचना: $A^{s_1}_{\alpha_1\alpha_2} = [[1, 0, 1], [0, 1, 0]]$$A^{s_2}_{\alpha_2\alpha_1} = [[0, 1, 1], [1, 0, 0]]$

NOT गेट कार्यान्वयन (प्रमेय 2.3):

• कर्नल फलन: $\phi_1(X_1) = 1-X_1$
• टेंसर नोड: $A^{s_1} = 1$

सार्वभौमिक AND गेट और मनमाना बूलियन फलन

सार्वभौमिक AND गेट (प्रमेय 2.4): $n$ इनपुट चर के लिए, निम्नलिखित को कार्यान्वित किया जा सकता है: $\Psi(X_1, \cdots, X_n) = (\bigwedge_{i=1}^l X_i) \bigwedge (\bigwedge_{j=l+1}^n \overline{X_j})$

मनमाना बूलियन फलन (प्रमेय 2.5): किसी भी बूलियन फलन को सार्वभौमिक AND गेट के विच्छेदन सामान्य रूप में प्रतिनिधित्व करके, संबंधित MPS को निर्मित किया जा सकता है। निर्माण नियम:

1. बूलियन फलन को सत्य तालिका के अनुरूप विच्छेदन सामान्य रूप में लिखें
2. बॉन्ड आयाम को विच्छेदन पदों की संख्या $m$ के रूप में सेट करें
3. विशिष्ट नियमों के अनुसार टेंसर तत्वों को भरें

सतत फलन सन्निकटन सिद्धांत

मुख्य प्रमेय (प्रमेय 3.1)

MPS फलन स्पेस $C_0(I^n)$ (इकाई घन पर सतत फलन स्पेस) में सघन है, अर्थात किसी भी $f(x) \in C_0(I^n)$ और किसी भी $\varepsilon > 0$ के लिए, एक MPS फलन $\Psi(x)$ मौजूद है जैसे कि: $\sup_x |\Psi(x) - f(x)| < \varepsilon$

प्रमाण तकनीक

रैखिकता प्रमाण (लेम्मा 3.2): सिद्ध किया गया है कि MPS फलन परिवार $\mathcal{M}$ $C_0(I^n)$ का एक रैखिक उप-स्पेस है:

1. अदिश गुणन के लिए बंद: स्केल-अपरिवर्तनीयता का उपयोग करके
2. जोड़ के लिए बंद: दो MPS के योग का प्रतिनिधित्व करने के लिए नया MPS निर्मित करें

विभेदक गुण (लेम्मा 3.4): सिद्ध किया गया है कि स्केल-अपरिवर्तनीय सिग्मॉइड फलन में विभेदक गुण हैं: यदि एक परिमित हस्ताक्षरित माप $\mu$ सभी MPS फलनों के समाकलन को 0 बनाता है, तो $\mu = 0$।

मुख्य प्रमेय प्रमाण: Hahn-Banach प्रमेय और Riesz प्रतिनिधित्व प्रमेय के विरोधाभास तर्क का उपयोग करें:

1. मान लें कि $\overline{\mathcal{M}}$ $C_0(I^n)$ का एक वास्तविक उप-समुच्चय है
2. Hahn-Banach प्रमेय द्वारा, एक गैर-तुच्छ रैखिक फलनात्मक $\overline{\mathcal{M}}$ को नष्ट करता है
3. Riesz प्रतिनिधित्व प्रमेय द्वारा, एक गैर-तुच्छ माप के अनुरूप
4. विभेदक गुण द्वारा, वह माप 0 होना चाहिए, जो विरोधाभास उत्पन्न करता है

MPS और तंत्रिका नेटवर्क की समतुल्यता

समतुल्यता प्रमेय (प्रमेय 3.5)

स्केल-अपरिवर्तनीय सिग्मॉइड सक्रियण वाले MPS कर्नल फलन से सुसज्जित एकल छिपी परत वाले तंत्रिका नेटवर्क के समतुल्य हैं।

रूपांतरण विधि

आंतरिक सूचकांकों $\{\alpha_i\}$ को संकुचित करके, MPS को इस प्रकार लिखा जा सकता है: $\Psi(x) = \sum_l \sigma\left(\sum_s W^l_s \Phi^s(x)\right)$

यह एकल छिपी परत वाले तंत्रिका नेटवर्क का सटीक रूप है, जहां:

• $W^l_s$ भार पैरामीटर हैं
• $\Phi^s(x)$ कर्नल फलन है, जो इनपुट घटकों के बीच युग्मन को स्वाभाविक रूप से प्रस्तुत करता है

कर्नल फलन का प्राकृतिक उदय

विशिष्ट उदाहरणों के माध्यम से दर्शाया गया है कि बहुपद कर्नल जैसे गैर-रैखिक कर्नल समतुल्य तंत्रिका नेटवर्क में कैसे स्वाभाविक रूप से उदय होते हैं, उदाहरण के लिए: $(\Phi^s)^T = [x_1x_2x_3, x_2x_3, x_1x_3, x_1x_2, x_1, x_2, x_3, 1]$

प्रायोगिक परिणाम और केस विश्लेषण

बूलियन फलन कार्यान्वयन केस

3-इनपुट OR गेट: बूलियन अभिव्यक्ति: $f(X_1,X_2,X_3) = X_1 \vee X_2 \vee X_3$ संबंधित MPS टेंसर संरचना विधि अनुभाग में विस्तार से दी गई है।

3-इनपुट समता जांच गेट: बूलियन अभिव्यक्ति: $f(X_1,X_2,X_3) = X_1 \oplus X_2 \oplus X_3$ समतुल्य तंत्रिका नेटवर्क भार: $W^s = [1, 0, 0, 1, 0, 1, 1, 0]$

थ्रेशोल्ड गेट Th₃²: जब कम से कम 2 इनपुट 1 हों तो 1 आउटपुट करने वाला थ्रेशोल्ड फलन।

जटिलता विश्लेषण

$n$-इनपुट बूलियन गेट के लिए, चरम मामलों में बॉन्ड आयाम को $O(2^n)$ की आवश्यकता होती है, लेकिन कार्नॉ मानचित्र सरलीकरण के माध्यम से इसे $O(2^{n-1})$ तक कम किया जा सकता है, कुल पैरामीटर संख्या $O(n2^{n-1})$ है, जो एकल छिपी परत वाले तंत्रिका नेटवर्क की दक्षता के बराबर है।

संबंधित कार्य

टेंसर नेटवर्क सिद्धांत की नींव

• Penrose (1971) की टेंसर गणना ग्राफिकल प्रतीक प्रणाली
• Vidal (2003, 2007) का Schmidt विघटन और DMRG विधि
• Perez-Garcia आदि (2006) द्वारा MPS गुणों का व्यवस्थित अनुसंधान

मशीन लर्निंग में टेंसर नेटवर्क

• Stoudenmire & Schwab (2016) का पर्यवेक्षित लर्निंग अनुप्रयोग
• प्रतिगमन, वर्गीकरण और घनत्व अनुमान में विभिन्न टेंसर नेटवर्क अनुप्रयोग

सार्वभौमिक सन्निकटन सिद्धांत

• Cybenko (1989), Hornik (1991) द्वारा तंत्रिका नेटवर्क सार्वभौमिक सन्निकटन पर शास्त्रीय कार्य
• यह पेपर समान कार्यात्मक विश्लेषण तकनीकों का उपयोग करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. सैद्धांतिक पूर्णता: MPS में किसी भी बूलियन फलन का प्रतिनिधित्व करने और किसी भी सतत फलन को सन्निकट करने की क्षमता है
2. समतुल्यता का प्रकटीकरण: MPS अनिवार्य रूप से कर्नल फलन से सुसज्जित एकल छिपी परत वाले तंत्रिका नेटवर्क के समतुल्य है
3. कर्नल फलन की महत्ता: कर्नल फलन $\Phi^{s_1\cdots s_n}$ MPS प्रतिनिधित्व क्षमता की कुंजी है, न कि बॉन्ड सूचकांक $\{\alpha_i\}$

सीमाएं

1. व्यावहारिक समस्या: बूलियन फलन के MPS कार्यान्वयन को घातीय स्तर के बॉन्ड आयाम की आवश्यकता होती है
2. भौतिक अर्थ का नुकसान: शुद्ध बीजगणितीय उपकरण के रूप में, MPS क्वांटम भौतिकी में उलझाव जैसे महत्वपूर्ण गुणों को खो देता है
3. कर्नल फलन डिज़ाइन: पर्याप्त प्रतिनिधित्व क्षमता प्राप्त करने के लिए कर्नल फलन को सावधानीपूर्वक डिज़ाइन करने की आवश्यकता है

भविष्य की दिशाएं

1. कुशल निर्माण विधियां: अधिक कुशल MPS निर्माण विधियां खोजें, जटिलता को कम करें
2. गहरी संरचना: बहु-परत MPS संरचना की खोज करें, गहरे तंत्रिका नेटवर्क के समान
3. क्वांटम लाभ: क्वांटम कंप्यूटिंग वातावरण में MPS के अद्वितीय लाभों की खोज करें

गहन मूल्यांकन

शक्तियां

1. महत्वपूर्ण सैद्धांतिक योगदान: पहली बार फलन सन्निकटन के दृष्टिकोण से MPS की प्रतिनिधित्व क्षमता का व्यवस्थित विश्लेषण
2. कठोर प्रमाण: कार्यात्मक विश्लेषण के शास्त्रीय उपकरणों का उपयोग, प्रमाण प्रक्रिया सुदृढ़
3. संयोजन अंतर्दृष्टि: MPS और तंत्रिका नेटवर्क के बीच गहरे संबंध को प्रकट करता है, क्षेत्रों के बीच समझ के लिए एक पुल प्रदान करता है
4. रचनात्मक प्रमाण: न केवल अस्तित्व सिद्ध करता है, बल्कि विशिष्ट निर्माण विधि भी प्रदान करता है

कमियां

1. सीमित व्यावहारिकता: सैद्धांतिक परिणाम वास्तविक अनुप्रयोगों में आयाम के अभिशाप का सामना कर सकते हैं
2. अपर्याप्त प्रायोगिक सत्यापन: सैद्धांतिक परिणामों को सत्यापित करने के लिए बड़े पैमाने पर संख्यात्मक प्रयोगों की कमी
3. अनुकूलन एल्गोरिदम की कमी: ऐसे MPS मॉडल को कुशलतापूर्वक प्रशिक्षित करने के बारे में चर्चा नहीं की गई है
4. अपर्याप्त तुलनात्मक विश्लेषण: अन्य सार्वभौमिक सन्निकटकों के साथ विस्तृत तुलनात्मक विश्लेषण की कमी है

प्रभाव

1. उच्च सैद्धांतिक मूल्य: मशीन लर्निंग में टेंसर नेटवर्क के अनुप्रयोग के लिए ठोस सैद्धांतिक आधार प्रदान करता है
2. अंतर-क्षेत्रीय महत्व: क्वांटम भौतिकी और मशीन लर्निंग दोनों क्षेत्रों को जोड़ता है
3. अत्यधिक प्रेरणादायक: टेंसर नेटवर्क की प्रतिनिधित्व क्षमता और अनुकूलन विधियों के अनुसंधान के लिए महत्वपूर्ण संदर्भ प्रदान करता है

लागू परिदृश्य

1. सैद्धांतिक अनुसंधान: टेंसर नेटवर्क प्रतिनिधित्व सिद्धांत की नींव के रूप में उपयुक्त
2. शिक्षण उद्देश्य: MPS और तंत्रिका नेटवर्क के संबंध को समझाने के लिए उपयोग किया जा सकता है
3. एल्गोरिदम डिज़ाइन: MPS-आधारित मशीन लर्निंग एल्गोरिदम डिज़ाइन करने के लिए सैद्धांतिक मार्गदर्शन प्रदान करता है
4. क्वांटम मशीन लर्निंग: क्वांटम मशीन लर्निंग एल्गोरिदम के डिज़ाइन के लिए सैद्धांतिक समर्थन प्रदान करता है

संदर्भ

यह पेपर टेंसर नेटवर्क, क्वांटम सूचना, मशीन लर्निंग और कार्यात्मक विश्लेषण सहित कई क्षेत्रों के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

• टेंसर नेटवर्क मूल सिद्धांत (Penrose, 1971; Vidal, 2007; Perez-Garcia et al., 2006)
• तंत्रिका नेटवर्क सार्वभौमिक सन्निकटन सिद्धांत (Cybenko, 1989; Hornik, 1991)
• मशीन लर्निंग में टेंसर नेटवर्क के अनुप्रयोग (Stoudenmire & Schwab, 2016; आदि)
• कार्यात्मक विश्लेषण सैद्धांतिक नींव (Folland, 2013)