2025-11-18T10:52:13.210456

A mathematical theory for understanding when abstract representations emerge in neural networks

Wang, Johnston, Fusi

Recent experiments reveal that task-relevant variables are often encoded in approximately orthogonal subspaces of the neural activity space. These disentangled low-dimensional representations are observed in multiple brain areas and across different species, and are typically the result of a process of abstraction that supports simple forms of out-of-distribution generalization. The mechanisms by which such geometries emerge remain poorly understood, and the mechanisms that have been investigated are typically unsupervised (e.g., based on variational auto-encoders). Here, we show mathematically that abstract representations of latent variables are guaranteed to appear in the last hidden layer of feedforward nonlinear networks when they are trained on tasks that depend directly on these latent variables. These abstract representations reflect the structure of the desired outputs or the semantics of the input stimuli. To investigate the neural representations that emerge in these networks, we develop an analytical framework that maps the optimization over the network weights into a mean-field problem over the distribution of neural preactivations. Applying this framework to a finite-width ReLU network, we find that its hidden layer exhibits an abstract representation at all global minima of the task objective. We further extend these analyses to two broad families of activation functions and deep feedforward architectures, demonstrating that abstract representations naturally arise in all these scenarios. Together, these results provide an explanation for the widely observed abstract representations in both the brain and artificial neural networks, as well as a mathematically tractable toolkit for understanding the emergence of different kinds of representations in task-optimized, feature-learning network models.

academic

तंत्रिका नेटवर्क में अमूर्त प्रतिनिधित्व के उदय को समझने के लिए गणितीय सिद्धांत

मूल जानकारी

पेपर ID: 2510.09816
शीर्षक: A mathematical theory for understanding when abstract representations emerge in neural networks
लेखक: Bin Wang, W. Jeffrey Johnston, Stefano Fusi
संस्थान: Center for Theoretical Neuroscience, Columbia University
वर्गीकरण: q-bio.NC math.OC physics.bio-ph physics.data-an stat.ML
प्रकाशन समय: 14 अक्टूबर, 2025 (प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.09816

सारांश

यह पेपर तंत्रिका नेटवर्क में अमूर्त प्रतिनिधित्व (abstract representations) के उदय की गणितीय व्यवस्था का अध्ययन करता है। प्रायोगिक निष्कर्षों से पता चलता है कि कार्य-संबंधित चर आमतौर पर तंत्रिका गतिविधि स्थान के लगभग ऑर्थोगोनल उप-स्थान में एन्कोड किए जाते हैं, जो विघटित निम्न-आयामी प्रतिनिधित्व बनाते हैं। यह ज्यामितीय संरचना सरल वितरण-बाहर सामान्यीकरण का समर्थन करती है, लेकिन इसके उदय की व्यवस्था अभी भी स्पष्ट नहीं है। लेखकों ने गणितीय रूप से प्रमाणित किया है कि जब फीडफॉरवर्ड अरैखिक नेटवर्क को अव्यक्त चर पर निर्भर कार्यों पर प्रशिक्षित किया जाता है, तो अमूर्त प्रतिनिधित्व अंतिम छिपी हुई परत में आवश्यक रूप से उदय होता है। इसके लिए, लेखकों ने एक विश्लेषणात्मक ढांचा विकसित किया है जो नेटवर्क वजन अनुकूलन को तंत्रिका पूर्व-सक्रियण वितरण पर माध्य-क्षेत्र समस्या में मैप करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

अमूर्त प्रतिनिधित्व की सार्वभौमिकता: तंत्रिका विज्ञान प्रयोग दर्शाते हैं कि कई मस्तिष्क क्षेत्र और प्रजातियों की तंत्रिका गतिविधि अमूर्त प्रतिनिधित्व प्रदर्शित करती है, जहां कार्य-संबंधित चर लगभग ऑर्थोगोनल उप-स्थान में एन्कोड किए जाते हैं
व्यवस्था समझ की कमी: हालांकि यह ज्यामितीय संरचना व्यापक रूप से मौजूद है, लेकिन इसके उदय की नेटवर्क व्यवस्था अभी भी स्पष्ट नहीं है
मौजूदा विधियों की सीमाएं: अध्ययन की गई व्यवस्थाएं मुख्यतः अनुपर्यवेक्षित विधियां हैं (जैसे परिवर्तनशील ऑटोएनकोडर), लेकिन पहचान योग्यता समस्याओं के कारण, शुद्ध अनुपर्यवेक्षित शिक्षा विघटित प्रतिनिधित्व सीखना कठिन है

अनुसंधान का महत्व

सैद्धांतिक महत्व: व्यापक रूप से देखे गए अमूर्त प्रतिनिधित्व घटना के लिए गणितीय व्याख्या प्रदान करता है
व्यावहारिक मूल्य: प्रतिनिधित्व शिक्षा व्यवस्था को समझना बेहतर तंत्रिका नेटवर्क आर्किटेक्चर डिजाइन करने में सहायता करता है
अंतःविषय प्रभाव: तंत्रिका विज्ञान और मशीन लर्निंग में प्रतिनिधित्व शिक्षा सिद्धांत को जोड़ता है

मुख्य योगदान

सैद्धांतिक गारंटी: पहली बार गणितीय रूप से प्रमाणित किया गया कि बहु-कार्य पर्यवेक्षित शिक्षा सेटिंग में, फीडफॉरवर्ड अरैखिक नेटवर्क आवश्यक रूप से अमूर्त प्रतिनिधित्व उत्पन्न करते हैं
विश्लेषणात्मक ढांचा: नेटवर्क वजन अनुकूलन को तंत्रिका पूर्व-सक्रियण वितरण माध्य-क्षेत्र समस्या में मैप करने के लिए एक सामान्य विश्लेषणात्मक उपकरण विकसित किया गया
सक्रियण फलन दृढ़ता: अमूर्त प्रतिनिधित्व के उदय को सक्रियण फलन चयन के लिए दृढ़ साबित किया गया
आर्किटेक्चर विस्तार: विश्लेषण को गहन नेटवर्क और पुनरावर्ती नेटवर्क तक विस्तारित किया गया
तंत्रिका विज्ञान अंतर्दृष्टि: जैविक तंत्रिका नेटवर्क में देखे गए अमूर्त प्रतिनिधित्व के लिए कम्प्यूटेशनल व्याख्या प्रदान करता है

विधि विवरण

कार्य परिभाषा

प्रशिक्षण डेटासेट पर विचार करें $D = \{(x^i, y^i)\}_{i=1}^P$ , जहां:

इनपुट $x^i \in \mathbb{R}^{d_X}$ मूलतः अनंतरचित है
आउटपुट $y^i \in \{±1\}^{d_Y}$ में $d_Y$ बाइनरी लेबल हैं, जो अव्यक्त चर संरचना को प्रतिबिंबित करते हैं
सभी डेटा $2^{d_Y}$ विभिन्न श्रेणियां बनाते हैं, प्रत्येक श्रेणी में $n$ नमूने हैं
कुल नमूने $P = n \cdot 2^{d_Y}$

नेटवर्क आर्किटेक्चर

सबसे सरल दो-परत नेटवर्क का अध्ययन करें: $f_{W_1,W_2,b}(x) = W_2\phi(W_1x + b)$

जहां:

$W_1 \in \mathbb{R}^{M \times d_X}$ : पहली परत वजन मैट्रिक्स
$W_2 \in \mathbb{R}^{d_Y \times M}$ : दूसरी परत वजन मैट्रिक्स
$b \in \mathbb{R}^M$ : पूर्वाग्रह पैरामीटर
$\phi$ : तत्व-वार अरैखिक सक्रियण फलन
$M$ : छिपी हुई परत चौड़ाई

हानि फलन

L2 नियमितकरण के साथ माध्य वर्ग त्रुटि का उपयोग करें: $E(W_1,W_2,b) = \|Y - W_2\phi(WX)\|_F^2 + \lambda_1\|W\|_F^2 + \lambda_2\|W_2\|_F^2$

अमूर्त प्रतिनिधित्व माप

समानता स्कोर (Parallelism Score, PS) का उपयोग करके प्रतिनिधित्व की अमूर्तता को मापें:

श्रेणी प्रोटोटाइप प्रतिनिधित्व: $r^{(y)} = \frac{1}{n}\sum_{i:y^i=y} r^i$
प्रतिनिधित्व परिवर्तन दिशा: $\Delta r^{(k;\alpha)} = r^{(y_k=+1,y_{\setminus k}=\alpha)} - r^{(y_k=-1,y_{\setminus k}=\alpha)}$
समानता स्कोर: $PS = \frac{1}{d_Y}\sum_{k=1}^{d_Y} PS_k$

जहां $PS_k$ $k$ -वें अव्यक्त लेबल एन्कोडिंग दिशा की सामंजस्य को मापता है। PS = 1 पूर्ण अमूर्त प्रतिनिधित्व से मेल खाता है।

विश्लेषणात्मक ढांचा मूल

माध्य-क्षेत्र रूपांतरण

मुख्य नवाचार मूल अनुकूलन समस्या को: $\min_{W_1,W_2,b} E(W_1,W_2,b)$

तंत्रिका पूर्व-सक्रियण वितरण पर अनुकूलन में रूपांतरित करना है: $\min_{\rho_M} \mathcal{E}[\rho_M]$

जहां $\rho_M = \sum_{k=1}^M \delta_{h_k}$ पूर्व-सक्रियण पैटर्न का अनुभवजन्य माप है।

प्रभावी ऊर्जा फलन

प्रभावी प्रणाली का ऊर्जा फलन है: $\mathcal{E}[\rho_M] = \lambda_1\int h^T K_X^\dagger h d\rho_M(h) + \text{tr}\left(\frac{\lambda_2}{\lambda_2 + \int\phi(h)\phi(h)^T d\rho_M(h)} K_Y\right)$

जहां:

$K_X = X^TX$ : इनपुट कर्नल मैट्रिक्स
$K_Y = Y^TY$ : आउटपुट कर्नल मैट्रिक्स
$K_X^\dagger$ : Moore-Penrose छद्म-व्युत्क्रम

KKT शर्तें

इष्टतम समाधान संतुष्ट करते हैं: $\lambda_1 h^T K_X^\dagger h - \lambda_2\phi(h)^T \frac{1}{\lambda_2 + K[\rho^*]} K_Y \frac{1}{\lambda_2 + K[\rho^*]} \phi(h) \geq 0$

समानता तब होती है जब $h \in \text{supp}(\rho^*)$ ।

प्रायोगिक सेटअप

डेटा कॉन्फ़िगरेशन

सफेद किए गए इनपुट: $X_{\text{data}}^T X_{\text{data}} = I_P$
लक्ष्य-संरेखित इनपुट: इनपुट और आउटपुट ज्यामितीय संरचना आंशिक रूप से संरेखित
विषमदिशीय इनपुट: विभिन्न दिशाओं में विभिन्न स्केलिंग कारक

नेटवर्क कॉन्फ़िगरेशन

सक्रियण फलन: ReLU, कठोर सिग्मॉइड, tanh आदि
नेटवर्क चौड़ाई: $M \geq 2^{d_Y}$
नियमितकरण पैरामीटर: $\lambda_1, \lambda_2$ छोटे

मूल्यांकन मेट्रिक्स

समानता स्कोर (PS)
प्रशिक्षण हानि
प्रतिनिधित्व कर्नल मैट्रिक्स का सैद्धांतिक पूर्वानुमान बनाम वास्तविक परिणाम तुलना

प्रायोगिक परिणाम

मुख्य परिणाम

ReLU नेटवर्क का इष्टतम प्रतिनिधित्व

सफेद किए गए इनपुट और एकल-तत्व श्रेणी ( $n=1$ ) के लिए, इष्टतम छिपी हुई प्रतिनिधित्व कर्नल है: $K[\rho^*] = b^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)$

जहां: $b^* = \sqrt{\frac{\lambda_2}{\lambda_1}\frac{P+1}{P(P+2)}} - \frac{\lambda_2}{P}$

अमूर्त प्रतिनिधित्व गारंटी

प्रमेय: जब $M \geq 2^{d_Y}$ और इनपुट सफेद किए गए या लक्ष्य-संरेखित हों, तो सभी वैश्विक न्यूनतम अमूर्त प्रतिनिधित्व ( $PS = 1$ ) से मेल खाते हैं।

तंत्रिका कोशिका ट्यूनिंग विशेषताएं

इष्टतम पूर्व-सक्रियण पैटर्न हैं: $h = \alpha(\mathbf{1} \pm v_i), \quad \alpha \geq 0, i \in \{1,2,\ldots,d_Y\}$

यह दर्शाता है कि छिपी हुई परत न्यूरॉन्स $2^{d_Y}$ समूहों में विभाजित हैं, प्रत्येक समूह केवल एक आउटपुट लेबल के लिए प्रतिक्रिया करता है।

सक्रियण फलन दृढ़ता

थ्रेशोल्ड-प्रकार सक्रियण फलन

$\phi(z) = \phi_+(z) \cdot \mathbf{1}_{z \geq 0}$ जैसे सक्रियण फलन के लिए, इष्टतम प्रतिनिधित्व कर्नल समान रूप बनाए रखता है, केवल गुणांक परिवर्तित होते हैं।

विषम-सममित सक्रियण फलन

विषम फलन सक्रियण के लिए, इष्टतम कर्नल है: $K[\rho^*] = b^* K_Y$

हालांकि स्थिर पद की कमी है, लेकिन यह अभी भी अमूर्त प्रतिनिधित्व ( $PS = 1$ ) से मेल खाता है।

विस्तार परिणाम

गहन नेटवर्क

L-परत गहन नेटवर्क के लिए, प्रत्येक परत अमूर्त प्रतिनिधित्व प्रदर्शित करता है: $K^{(l)}[\rho_l^*] = b_l^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)$

जहां $b_l^* = (\gamma^*)^{l-1} b_1^*$ ।

पुनरावर्ती नेटवर्क

अंतिम समय चरण में समान अमूर्त प्रतिनिधित्व उदय होता है, जो ढांचे की व्यापक प्रयोज्यता को सत्यापित करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सैद्धांतिक गारंटी: उपयुक्त शर्तों के तहत, पर्यवेक्षित शिक्षा आवश्यक रूप से अमूर्त प्रतिनिधित्व उत्पन्न करती है
व्यवस्था व्याख्या: कार्य संरचना प्रतिनिधित्व ज्यामिति निर्धारित करती है, इनपुट ज्यामिति शिक्षा दक्षता को प्रभावित करती है
सार्वभौमिकता: परिणाम सक्रियण फलन और नेटवर्क आर्किटेक्चर के लिए दृढ़ हैं

जैविक महत्व

मस्तिष्क में व्यापक रूप से देखे गए अमूर्त प्रतिनिधित्व के लिए कम्प्यूटेशनल व्याख्या प्रदान करता है
हिप्पोकैम्पस जैसे मस्तिष्क क्षेत्र का "पुनः-एन्कोडिंग" डाउनस्ट्रीम अमूर्त प्रतिनिधित्व गठन को बढ़ावा दे सकता है
एकल न्यूरॉन अरैखिकता ट्यूनिंग विशेषताओं को प्रभावित करती है लेकिन समूह ज्यामिति को नहीं बदलती है

सीमाएं

कार्य सीमा: मुख्यतः बाइनरी वर्गीकरण की संयोजनात्मक कार्यों के लिए लागू
इनपुट धारणाएं: विशिष्ट इनपुट ज्यामितीय संरचना की आवश्यकता है
नियमितकरण निर्भरता: उपयुक्त L2 नियमितकरण शक्ति की आवश्यकता है

भविष्य की दिशाएं

सतत चर: सतत अव्यक्त चर के प्रतिनिधित्व शिक्षा तक विस्तार
शिक्षा गतिविज्ञान: अमूर्त प्रतिनिधित्व गठन प्रक्रिया का विश्लेषण
जैविक कार्यान्वयन: जैविक शिक्षा नियमों के तहत प्रतिनिधित्व उदय का अध्ययन

गहन मूल्यांकन

शक्तियां

सैद्धांतिक कठोरता: अमूर्त प्रतिनिधित्व उदय का गणितीय प्रमाण प्रदान करता है, महत्वपूर्ण सैद्धांतिक अंतराल को भरता है
विधि नवाचार: माध्य-क्षेत्र ढांचा परिमित-चौड़ाई नेटवर्क विश्लेषण के लिए नया उपकरण प्रदान करता है
व्यापक प्रयोज्यता: परिणाम कई सक्रियण फलन और नेटवर्क आर्किटेक्चर के लिए मान्य हैं
अंतःविषय मूल्य: तंत्रिका विज्ञान अवलोकन और मशीन लर्निंग सिद्धांत को जोड़ता है
पर्याप्त प्रायोगिक सत्यापन: सैद्धांतिक पूर्वानुमान संख्यात्मक प्रयोगों के साथ अत्यधिक सुसंगत हैं

कमियां

कार्य श्रेणी सीमा: मुख्यतः विशिष्ट बाइनरी लेबल संयोजनात्मक कार्यों के लिए
इनपुट शर्तें कठोर: सफेद किए गए या लक्ष्य-संरेखित इनपुट ज्यामिति की आवश्यकता है
व्यावहारिक अनुप्रयोग दूरी: वास्तविक दुनिया के जटिल कार्यों के साथ अभी भी अंतराल है
कम्प्यूटेशनल जटिलता: माध्य-क्षेत्र समीकरण समाधान कम्प्यूटेशनल रूप से महंगा हो सकता है

प्रभाव

सैद्धांतिक योगदान: प्रतिनिधित्व शिक्षा सिद्धांत के लिए महत्वपूर्ण गणितीय आधार प्रदान करता है
पद्धति मूल्य: विश्लेषण ढांचा अन्य नेटवर्क मॉडल पर लागू किया जा सकता है
व्यावहारिक मार्गदर्शन: अमूर्त प्रतिनिधित्व को बढ़ावा देने वाले नेटवर्क आर्किटेक्चर डिजाइन के लिए मार्गदर्शन प्रदान करता है
अंतर-क्षेत्र प्रभाव: तंत्रिका विज्ञान और मशीन लर्निंग के अंतःविषय अनुसंधान को प्रभावित कर सकता है

प्रयोज्य परिदृश्य

व्याख्यात्मकता-मजबूत प्रतिनिधित्व शिक्षा कार्य
बहु-कार्य शिक्षा में विशेषता विघटन
तंत्रिका विज्ञान में प्रतिनिधित्व ज्यामिति का सैद्धांतिक मॉडलिंग
वितरण-बाहर सामान्यीकरण क्षमता की आवश्यकता वाले अनुप्रयोग

तकनीकी नवाचार बिंदु

मूल गणितीय उपकरण

माप सिद्धांत विधि: असतत न्यूरॉन समस्या को सतत माप अनुकूलन में रूपांतरित करना
उत्तल अनुकूलन सिद्धांत: KKT शर्तों का उपयोग करके वैश्विक इष्टतम समाधान विश्लेषण
मैट्रिक्स विश्लेषण: कर्नल मैट्रिक्स के माध्यम से प्रतिनिधित्व ज्यामितीय संरचना को चिह्नित करना

विश्लेषण तकनीकें

सहसंबंध-सकारात्मक प्रोग्रामिंग: ReLU नेटवर्क की अ-उत्तल बाधाओं को संभालना
Schur उत्तलता: विभिन्न सक्रियण फलन की एकीकृत संपत्ति विश्लेषण
विक्षोभ विश्लेषण: निरंतरता तर्क के माध्यम से परिणाम विस्तार

यह कार्य तंत्रिका नेटवर्क प्रतिनिधित्व शिक्षा को समझने के लिए महत्वपूर्ण सैद्धांतिक आधार प्रदान करता है, इसका गणितीय ढांचा और अंतर्दृष्टि तंत्रिका विज्ञान और मशीन लर्निंग दोनों के लिए महत्वपूर्ण मूल्य रखते हैं।