2025-11-18T10:52:13.210456

A mathematical theory for understanding when abstract representations emerge in neural networks

Wang, Johnston, Fusi

Recent experiments reveal that task-relevant variables are often encoded in approximately orthogonal subspaces of the neural activity space. These disentangled low-dimensional representations are observed in multiple brain areas and across different species, and are typically the result of a process of abstraction that supports simple forms of out-of-distribution generalization. The mechanisms by which such geometries emerge remain poorly understood, and the mechanisms that have been investigated are typically unsupervised (e.g., based on variational auto-encoders). Here, we show mathematically that abstract representations of latent variables are guaranteed to appear in the last hidden layer of feedforward nonlinear networks when they are trained on tasks that depend directly on these latent variables. These abstract representations reflect the structure of the desired outputs or the semantics of the input stimuli. To investigate the neural representations that emerge in these networks, we develop an analytical framework that maps the optimization over the network weights into a mean-field problem over the distribution of neural preactivations. Applying this framework to a finite-width ReLU network, we find that its hidden layer exhibits an abstract representation at all global minima of the task objective. We further extend these analyses to two broad families of activation functions and deep feedforward architectures, demonstrating that abstract representations naturally arise in all these scenarios. Together, these results provide an explanation for the widely observed abstract representations in both the brain and artificial neural networks, as well as a mathematically tractable toolkit for understanding the emergence of different kinds of representations in task-optimized, feature-learning network models.

academic

Eine mathematische Theorie zum Verständnis der Entstehung abstrakter Repräsentationen in neuronalen Netzen

Grundinformationen

Papier-ID: 2510.09816
Titel: A mathematical theory for understanding when abstract representations emerge in neural networks
Autoren: Bin Wang, W. Jeffrey Johnston, Stefano Fusi
Institution: Center for Theoretical Neuroscience, Columbia University
Klassifizierung: q-bio.NC math.OC physics.bio-ph physics.data-an stat.ML
Veröffentlichungsdatum: 14. Oktober 2025 (Preprint)
Papierlink: https://arxiv.org/abs/2510.09816

Zusammenfassung

Dieses Papier untersucht die mathematischen Mechanismen der Entstehung abstrakter Repräsentationen in neuronalen Netzen. Experimentelle Befunde zeigen, dass aufgabenbezogene Variablen typischerweise in näherungsweise orthogonalen Unterräumen der neuronalen Aktivitätsraums kodiert werden und entkoppelte niedrigdimensionale Repräsentationen bilden. Diese geometrische Struktur unterstützt einfache Verallgemeinerung außerhalb der Verteilung, doch der Entstehungsmechanismus bleibt unklar. Die Autoren beweisen mathematisch, dass abstrakte Repräsentationen zwangsläufig in der letzten verborgenen Schicht entstehen, wenn vorwärtsgekoppelte nichtlineare Netze auf Aufgaben trainiert werden, die von latenten Variablen abhängen. Zu diesem Zweck entwickeln die Autoren ein analytisches Rahmenwerk, das die Optimierung von Netzgewichten auf ein Mittelfeld-Problem über der Verteilung neuronaler Präaktivierungen abbildet.

Forschungshintergrund und Motivation

Kernprobleme

Universalität abstrakter Repräsentationen: Neurowissenschaftliche Experimente zeigen, dass neuronale Aktivitäten in mehreren Hirnregionen und Spezies abstrakte Repräsentationen aufweisen, bei denen aufgabenbezogene Variablen in näherungsweise orthogonalen Unterräumen kodiert sind
Fehlende Mechanismuserklärung: Obwohl diese geometrische Struktur weit verbreitet ist, bleibt der Netzwerkmechanismus ihrer Entstehung unklar
Einschränkungen bestehender Methoden: Die untersuchten Mechanismen sind überwiegend unüberwachte Methoden (wie Variational Autoencoders), doch aufgrund von Identifizierbarkeitsproblemen ist das Erlernen entkoppelter Repräsentationen durch rein unüberwachtes Lernen schwierig

Forschungsbedeutung

Theoretischer Wert: Bietet eine mathematische Erklärung für das weit beobachtete Phänomen abstrakter Repräsentationen
Praktischer Nutzen: Das Verständnis von Repräsentationslernmechanismen hilft bei der Gestaltung besserer Netzwerkarchitekturen
Interdisziplinäre Auswirkungen: Verbindet die Repräsentationslerntheorie in Neurowissenschaften und maschinellem Lernen

Kernbeiträge

Theoretische Garantien: Erstmaliger mathematischer Beweis, dass vorwärtsgekoppelte nichtlineare Netze in Mehraufgaben-Überwachungslerneinstellungen zwangsläufig abstrakte Repräsentationen erzeugen
Analytisches Rahmenwerk: Entwicklung eines universellen Analysetools, das die Optimierung von Netzgewichten auf ein Mittelfeld-Problem über neuronalen Präaktivierungsverteilungen abbildet
Robustheit der Aktivierungsfunktion: Beweis, dass die Entstehung abstrakter Repräsentationen robust gegenüber der Wahl der Aktivierungsfunktion ist
Architekturerweiterung: Erweiterung der Analyse auf tiefe Netze und rekurrente Netze
Neurowissenschaftliche Einsichten: Bietet eine rechnerische Erklärung für abstrakte Repräsentationen, die in biologischen neuronalen Netzen beobachtet werden

Methodische Details

Aufgabendefinition

Betrachten Sie einen Trainingsdatensatz $D = \{(x^i, y^i)\}_{i=1}^P$ , wobei:

Eingaben $x^i \in \mathbb{R}^{d_X}$ grundsätzlich unstrukturiert sind
Ausgaben $y^i \in \{±1\}^{d_Y}$ enthalten $d_Y$ binäre Etiketten, die die Struktur latenter Variablen widerspiegeln
Alle Daten bilden $2^{d_Y}$ verschiedene Klassen, jede mit $n$ Stichproben
Gesamtstichprobenzahl $P = n \cdot 2^{d_Y}$

Netzwerkarchitektur

Untersuchen Sie das einfachste zweischichtige Netz: $f_{W_1,W_2,b}(x) = W_2\phi(W_1x + b)$

wobei:

$W_1 \in \mathbb{R}^{M \times d_X}$ : Gewichtsmatrix der ersten Schicht
$W_2 \in \mathbb{R}^{d_Y \times M}$ : Gewichtsmatrix der zweiten Schicht
$b \in \mathbb{R}^M$ : Bias-Parameter
$\phi$ : elementweise nichtlineare Aktivierungsfunktion
$M$ : Breite der verborgenen Schicht

Verlustfunktion

Verwenden Sie mittlere quadratische Fehler mit L2-Regularisierung: $E(W_1,W_2,b) = \|Y - W_2\phi(WX)\|_F^2 + \lambda_1\|W\|_F^2 + \lambda_2\|W_2\|_F^2$

Messung abstrakter Repräsentationen

Verwenden Sie die Parallelitätsbewertung (Parallelism Score, PS) zur Quantifizierung des Abstraktionsgrades der Repräsentation:

Klassenprototyp-Repräsentation: $r^{(y)} = \frac{1}{n}\sum_{i:y^i=y} r^i$
Repräsentationsänderungsrichtung: $\Delta r^{(k;\alpha)} = r^{(y_k=+1,y_{\setminus k}=\alpha)} - r^{(y_k=-1,y_{\setminus k}=\alpha)}$
Parallelitätsbewertung: $PS = \frac{1}{d_Y}\sum_{k=1}^{d_Y} PS_k$

wobei $PS_k$ die Konsistenz der Kodierungsrichtung für das $k$ -te latente Etikett misst. PS = 1 entspricht einer vollständig abstrakten Repräsentation.

Kern des analytischen Rahmenwerks

Mittelfeld-Transformation

Die Schlüsselinnovation besteht darin, das ursprüngliche Optimierungsproblem: $\min_{W_1,W_2,b} E(W_1,W_2,b)$

in eine Optimierung über Präaktivierungsverteilungen umzuwandeln: $\min_{\rho_M} \mathcal{E}[\rho_M]$

wobei $\rho_M = \sum_{k=1}^M \delta_{h_k}$ das empirische Maß der Präaktivierungsmuster ist.

Effektive Energiefunktion

Die Energiefunktion des effektiven Systems ist: $\mathcal{E}[\rho_M] = \lambda_1\int h^T K_X^\dagger h d\rho_M(h) + \text{tr}\left(\frac{\lambda_2}{\lambda_2 + \int\phi(h)\phi(h)^T d\rho_M(h)} K_Y\right)$

wobei:

$K_X = X^TX$ : Eingabe-Kernmatrix
$K_Y = Y^TY$ : Ausgabe-Kernmatrix
$K_X^\dagger$ : Moore-Penrose-Pseudoinverse

KKT-Bedingungen

Die optimale Lösung erfüllt: $\lambda_1 h^T K_X^\dagger h - \lambda_2\phi(h)^T \frac{1}{\lambda_2 + K[\rho^*]} K_Y \frac{1}{\lambda_2 + K[\rho^*]} \phi(h) \geq 0$

Gleichheit gilt genau dann, wenn $h \in \text{supp}(\rho^*)$ .

Experimentelle Einrichtung

Datenkonfiguration

Aufgehellte Eingaben: $X_{\text{data}}^T X_{\text{data}} = I_P$
Zielausgerichtete Eingaben: Eingaben mit teilweise ausgerichteter Geometrie zur Ausgabe
Anisotrope Eingaben: Verschiedene Richtungen mit unterschiedlichen Skalierungsfaktoren

Netzwerkkonfiguration

Aktivierungsfunktionen: ReLU, Hard-Sigmoid, Tanh usw.
Netzwerkbreite: $M \geq 2^{d_Y}$
Regularisierungsparameter: $\lambda_1, \lambda_2$ klein

Bewertungsmetriken

Parallelitätsbewertung (PS)
Trainingsverlust
Vergleich theoretischer vs. tatsächlicher Repräsentations-Kernmatrizen

Experimentelle Ergebnisse

Hauptergebnisse

Optimale Repräsentation für ReLU-Netze

Für aufgehellte Eingaben und Einzelelement-Klassen ( $n=1$ ) ist die optimale verborgene Repräsentations-Kernmatrix: $K[\rho^*] = b^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)$

wobei: $b^* = \sqrt{\frac{\lambda_2}{\lambda_1}\frac{P+1}{P(P+2)}} - \frac{\lambda_2}{P}$

Garantie abstrakter Repräsentationen

Theorem: Wenn $M \geq 2^{d_Y}$ und die Eingaben aufgehellt oder zielausgerichtet sind, entsprechen alle globalen Minima abstrakten Repräsentationen ( $PS = 1$ ).

Neuronale Abstimmungseigenschaften

Die optimalen Präaktivierungsmuster sind: $h = \alpha(\mathbf{1} \pm v_i), \quad \alpha \geq 0, i \in \{1,2,\ldots,d_Y\}$

Dies zeigt, dass verborgene Neuronen in $2^{d_Y}$ Gruppen unterteilt sind, wobei jede Gruppe nur auf ein einzelnes Ausgabeetikett reagiert.

Robustheit der Aktivierungsfunktion

Schwellenwert-Aktivierungsfunktionen

Für Aktivierungsfunktionen der Form $\phi(z) = \phi_+(z) \cdot \mathbf{1}_{z \geq 0}$ behält die optimale Repräsentations-Kernmatrix die gleiche Form bei, wobei sich nur die Koeffizienten ändern.

Ungerade symmetrische Aktivierungsfunktionen

Für ungerade Aktivierungsfunktionen ist die optimale Kernmatrix: $K[\rho^*] = b^* K_Y$

Obwohl der konstante Term fehlt, entspricht dies immer noch einer abstrakten Repräsentation ( $PS = 1$ ).

Erweiterte Ergebnisse

Tiefe Netze

Für L-schichtige tiefe Netze zeigt jede Schicht abstrakte Repräsentationen: $K^{(l)}[\rho_l^*] = b_l^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)$

wobei $b_l^* = (\gamma^*)^{l-1} b_1^*$ .

Rekurrente Netze

Im letzten Zeitschritt entstehen ebenfalls abstrakte Repräsentationen, was die breite Anwendbarkeit des Rahmenwerks bestätigt.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

Theoretische Garantien: Unter geeigneten Bedingungen erzeugt überwachtes Lernen zwangsläufig abstrakte Repräsentationen
Mechanismuserklärung: Die Aufgabenstruktur bestimmt die Repräsentationsgeometrie, die Eingabegeometrie beeinflusst die Lerneffizienz
Universalität: Ergebnisse sind robust gegenüber Aktivierungsfunktionen und Netzwerkarchitekturen

Biologische Bedeutung

Bietet eine rechnerische Erklärung für abstrakte Repräsentationen, die im Gehirn weit verbreitet beobachtet werden
Die "Neukodierung" in Hirnregionen wie dem Hippocampus könnte die Bildung nachgelagerter abstrakter Repräsentationen fördern
Einzelneuronale Nichtlinearität beeinflusst Abstimmungseigenschaften, ändert aber nicht die Gruppen-Geometrie

Einschränkungen

Aufgabenbeschränkungen: Hauptsächlich anwendbar auf kombinatorische Aufgaben mit binären Klassifizierungen
Eingabeannahmen: Erfordert spezifische Eingabegeometrie-Strukturen
Regularisierungsabhängigkeit: Erfordert angemessene L2-Regularisierungsstärke

Zukünftige Richtungen

Kontinuierliche Variablen: Erweiterung auf Repräsentationslernens mit kontinuierlichen latenten Variablen
Lern-Dynamik: Analyse des Bildungsprozesses abstrakter Repräsentationen
Biologische Implementierung: Untersuchung der Repräsentationsentstehung unter biologischen Lernregeln

Tiefgreifende Bewertung

Stärken

Theoretische Strenge: Bietet mathematische Beweise für die Entstehung abstrakter Repräsentationen und füllt eine wichtige theoretische Lücke
Methodische Innovation: Das Mittelfeld-Rahmenwerk bietet neue Werkzeuge zur Analyse endlich breiter Netze
Universelle Anwendbarkeit: Ergebnisse gelten für mehrere Aktivierungsfunktionen und Netzwerkarchitekturen
Interdisziplinärer Wert: Verbindet neurowissenschaftliche Beobachtungen und Maschinenlerntheorie
Umfassende experimentelle Validierung: Theoretische Vorhersagen stimmen stark mit numerischen Experimenten überein

Schwächen

Begrenzte Aufgabenbereiche: Hauptsächlich auf spezifische binäre Etiketten-Kombinationsaufgaben ausgerichtet
Strenge Eingabebedingungen: Erfordert aufgehellte oder zielausgerichtete Eingabegeometrie
Abstand zur praktischen Anwendung: Noch Abstand zu komplexen realen Aufgaben
Rechenkomplexität: Die Lösung von Mittelfeld-Gleichungen kann rechnerisch teuer sein

Einflussfähigkeit

Theoretischer Beitrag: Bietet wichtige mathematische Grundlagen für die Repräsentationslerntheorie
Methodologischer Wert: Das Analyserahmenwerk kann auf andere Netzwerkmodelle angewendet werden
Praktische Anleitung: Bietet Anleitung zur Gestaltung von Netzwerkarchitekturen, die abstrakte Repräsentationen fördern
Bereichsübergreifende Auswirkungen: Könnte die interdisziplinäre Forschung zwischen Neurowissenschaften und maschinellem Lernen beeinflussen

Anwendungsszenarien

Repräsentationslernaufgaben, die hohe Interpretierbarkeit erfordern
Merkmalsent-kopplung beim Mehraufgaben-Lernen
Theoretische Modellierung von Repräsentationsgeometrie in Neurowissenschaften
Anwendungen, die Verallgemeinerung außerhalb der Verteilung erfordern

Technische Innovationspunkte

Zentrale mathematische Werkzeuge

Maßtheoretische Methoden: Umwandlung diskreter Neuronenprobleme in kontinuierliche Maßoptimierung
Konvexe Optimierungstheorie: Nutzung von KKT-Bedingungen zur Analyse globaler Optima
Matrixanalyse: Charakterisierung von Repräsentationsgeometrie durch Kernmatrizen

Analysetechniken

Kopositive Programmierung: Behandlung nicht-konvexer ReLU-Netz-Beschränkungen
Schur-Konvexität: Analyse einheitlicher Eigenschaften verschiedener Aktivierungsfunktionen
Störungsanalyse: Erweiterung von Ergebnissen durch Kontinuitätsargumente

Diese Arbeit bietet eine wichtige theoretische Grundlage zum Verständnis des Repräsentationslernens in neuronalen Netzen. Ihr mathematisches Rahmenwerk und ihre Einsichten haben bedeutenden Wert für Neurowissenschaften und maschinelles Lernen.