2025-11-18T10:52:13.210456

A mathematical theory for understanding when abstract representations emerge in neural networks

Wang, Johnston, Fusi
Recent experiments reveal that task-relevant variables are often encoded in approximately orthogonal subspaces of the neural activity space. These disentangled low-dimensional representations are observed in multiple brain areas and across different species, and are typically the result of a process of abstraction that supports simple forms of out-of-distribution generalization. The mechanisms by which such geometries emerge remain poorly understood, and the mechanisms that have been investigated are typically unsupervised (e.g., based on variational auto-encoders). Here, we show mathematically that abstract representations of latent variables are guaranteed to appear in the last hidden layer of feedforward nonlinear networks when they are trained on tasks that depend directly on these latent variables. These abstract representations reflect the structure of the desired outputs or the semantics of the input stimuli. To investigate the neural representations that emerge in these networks, we develop an analytical framework that maps the optimization over the network weights into a mean-field problem over the distribution of neural preactivations. Applying this framework to a finite-width ReLU network, we find that its hidden layer exhibits an abstract representation at all global minima of the task objective. We further extend these analyses to two broad families of activation functions and deep feedforward architectures, demonstrating that abstract representations naturally arise in all these scenarios. Together, these results provide an explanation for the widely observed abstract representations in both the brain and artificial neural networks, as well as a mathematically tractable toolkit for understanding the emergence of different kinds of representations in task-optimized, feature-learning network models.
academic

ニューラルネットワークにおける抽象表現の出現を理解するための数学理論

基本情報

  • 論文ID: 2510.09816
  • タイトル: A mathematical theory for understanding when abstract representations emerge in neural networks
  • 著者: Bin Wang, W. Jeffrey Johnston, Stefano Fusi
  • 所属機関: Center for Theoretical Neuroscience, Columbia University
  • 分類: q-bio.NC math.OC physics.bio-ph physics.data-an stat.ML
  • 発表日: 2025年10月14日(プレプリント)
  • 論文リンク: https://arxiv.org/abs/2510.09816

要旨

本論文は、ニューラルネットワークにおける抽象表現(abstract representations)の出現に関する数学的メカニズムを研究している。実験的知見から、タスク関連変数は通常、神経活動空間の近似直交部分空間において符号化され、分離された低次元表現を形成することが知られている。この幾何学的構造は単純な分布外汎化を支持するが、その出現メカニズムはいまだ不明である。著者らは、潜在変数に依存するタスクで訓練された前向き非線形ネットワークにおいて、抽象表現が最後の隠れ層に必然的に出現することを数学的に証明している。このため、著者らはネットワーク重み最適化を神経前活性化分布上の平均場問題にマッピングする分析フレームワークを開発した。

研究背景と動機

核心的問題

  1. 抽象表現の普遍性: 神経科学実験は、複数の脳領域および種における神経活動が抽象表現を示すことを示唆しており、タスク関連変数は近似直交部分空間において符号化されている
  2. メカニズム理解の欠落: この幾何学的構造は広く存在するが、その出現のネットワークメカニズムは依然として不明である
  3. 既存方法の限界: 研究されたメカニズムの多くは教師なし方法(変分自己符号化器など)であるが、識別可能性の問題のため、純粋な教師なし学習による分離表現の学習は困難である

研究の重要性

  • 理論的意義: 広く観察される抽象表現現象に対する数学的説明を提供する
  • 実用的価値: 表現学習メカニズムの理解は、より優れたニューラルネットワークアーキテクチャの設計に役立つ
  • 学際的影響: 神経科学と機械学習における表現学習理論を結びつける

核心的貢献

  1. 理論的保証: 多タスク教師あり学習設定において、前向き非線形ネットワークが必然的に抽象表現を生成することを初めて数学的に証明した
  2. 分析フレームワーク: ネットワーク重み最適化を神経前活性化分布平均場問題にマッピングする汎用分析ツールを開発した
  3. 活性化関数の堅牢性: 抽象表現の出現が活性化関数の選択に対して堅牢であることを証明した
  4. アーキテクチャ拡張: 分析を深いネットワークと再帰型ネットワークに拡張した
  5. 神経科学的洞察: 生物学的ニューラルネットワークで観察される抽象表現に対する計算的説明を提供した

方法の詳細

タスク定義

訓練データセット D={(xi,yi)}i=1PD = \{(x^i, y^i)\}_{i=1}^P を考える。ここで:

  • 入力 xi∈RdXx^i \in \mathbb{R}^{d_X} は本質的に非構造化
  • 出力 yi∈{±1}dYy^i \in \{±1\}^{d_Y} は dYd_Y 個の二値ラベルを含み、潜在変数構造を反映
  • すべてのデータは 2dY2^{d_Y} 個の異なるクラスを形成し、各クラスは nn 個のサンプルを含む
  • 総サンプル数 P=n⋅2dYP = n \cdot 2^{d_Y}

ネットワークアーキテクチャ

最も単純な2層ネットワークを研究する: fW1,W2,b(x)=W2ϕ(W1x+b)f_{W_1,W_2,b}(x) = W_2\phi(W_1x + b)

ここで:

  • W1∈RM×dXW_1 \in \mathbb{R}^{M \times d_X}: 第1層の重み行列
  • W2∈RdY×MW_2 \in \mathbb{R}^{d_Y \times M}: 第2層の重み行列
  • b∈RMb \in \mathbb{R}^M: バイアスパラメータ
  • ϕ\phi: 要素ごとの非線形活性化関数
  • MM: 隠れ層の幅

損失関数

L2正則化付き平均二乗誤差を使用: E(W1,W2,b)=∥Y−W2ϕ(WX)∥F2+λ1∥W∥F2+λ2∥W2∥F2E(W_1,W_2,b) = \|Y - W_2\phi(WX)\|_F^2 + \lambda_1\|W\|_F^2 + \lambda_2\|W_2\|_F^2

抽象表現の測定

平行性スコア(Parallelism Score, PS) を用いて表現の抽象度を定量化:

  1. クラスプロトタイプ表現: r(y)=1n∑i:yi=yrir^{(y)} = \frac{1}{n}\sum_{i:y^i=y} r^i
  2. 表現変化方向: Δr(k;α)=r(yk=+1,y∖k=α)−r(yk=−1,y∖k=α)\Delta r^{(k;\alpha)} = r^{(y_k=+1,y_{\setminus k}=\alpha)} - r^{(y_k=-1,y_{\setminus k}=\alpha)}
  3. 平行性スコア: PS=1dY∑k=1dYPSkPS = \frac{1}{d_Y}\sum_{k=1}^{d_Y} PS_k

ここで PSkPS_k は第 kk 潜在ラベル符号化方向の一貫性を測定する。PS = 1 は完全な抽象表現に対応する。

分析フレームワークの核心

平均場変換

重要な革新は、元の最適化問題: min⁡W1,W2,bE(W1,W2,b)\min_{W_1,W_2,b} E(W_1,W_2,b)

を神経前活性化分布上の最適化に変換することである: min⁡ρME[ρM]\min_{\rho_M} \mathcal{E}[\rho_M]

ここで ρM=∑k=1Mδhk\rho_M = \sum_{k=1}^M \delta_{h_k} は前活性化パターンの経験測度である。

有効エネルギー関数

有効システムのエネルギー関数は: E[ρM]=λ1∫hTKX†hdρM(h)+tr(λ2λ2+∫ϕ(h)ϕ(h)TdρM(h)KY)\mathcal{E}[\rho_M] = \lambda_1\int h^T K_X^\dagger h d\rho_M(h) + \text{tr}\left(\frac{\lambda_2}{\lambda_2 + \int\phi(h)\phi(h)^T d\rho_M(h)} K_Y\right)

ここで:

  • KX=XTXK_X = X^TX: 入力カーネル行列
  • KY=YTYK_Y = Y^TY: 出力カーネル行列
  • KX†K_X^\dagger: Moore-Penrose疑似逆行列

KKT条件

最適解は以下を満たす: λ1hTKX†h−λ2ϕ(h)T1λ2+K[ρ∗]KY1λ2+K[ρ∗]ϕ(h)≥0\lambda_1 h^T K_X^\dagger h - \lambda_2\phi(h)^T \frac{1}{\lambda_2 + K[\rho^*]} K_Y \frac{1}{\lambda_2 + K[\rho^*]} \phi(h) \geq 0

等号は h∈supp(ρ∗)h \in \text{supp}(\rho^*) のときのみ成立する。

実験設定

データ構成

  1. 白色化入力: XdataTXdata=IPX_{\text{data}}^T X_{\text{data}} = I_P
  2. 目標整列入力: 入力と出力の幾何学的構造が部分的に整列
  3. 異方性入力: 異なる方向に異なるスケーリング因子を持つ

ネットワーク構成

  • 活性化関数: ReLU、ハードシグモイド、tanhなど
  • ネットワーク幅: M≥2dYM \geq 2^{d_Y}
  • 正則化パラメータ: λ1,λ2\lambda_1, \lambda_2 は小さい値

評価指標

  • 平行性スコア(PS)
  • 訓練損失
  • 表現カーネル行列の理論予測と実際結果の比較

実験結果

主要結果

ReLUネットワークの最適表現

白色化入力と単一要素クラス(n=1n=1)の場合、最適隠れ表現カーネルは: K[ρ∗]=b∗(dY11T+KY)K[\rho^*] = b^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)

ここで: b∗=λ2λ1P+1P(P+2)−λ2Pb^* = \sqrt{\frac{\lambda_2}{\lambda_1}\frac{P+1}{P(P+2)}} - \frac{\lambda_2}{P}

抽象表現の保証

定理: M≥2dYM \geq 2^{d_Y} で入力が白色化または目標整列されている場合、すべての大域最小値は抽象表現(PS=1PS = 1)に対応する。

ニューロン調律特性

最適前活性化パターンは: h=α(1±vi),α≥0,i∈{1,2,…,dY}h = \alpha(\mathbf{1} \pm v_i), \quad \alpha \geq 0, i \in \{1,2,\ldots,d_Y\}

これは隠れ層ニューロンが 2dY2^{d_Y} グループに分割され、各グループが単一の出力ラベルにのみ応答することを示している。

活性化関数の堅牢性

閾値型活性化関数

ϕ(z)=ϕ+(z)⋅1z≥0\phi(z) = \phi_+(z) \cdot \mathbf{1}_{z \geq 0} の形式の活性化関数に対して、最適表現カーネルは同じ形式を保ち、係数のみが変化する。

奇対称活性化関数

奇関数活性化に対して、最適カーネルは: K[ρ∗]=b∗KYK[\rho^*] = b^* K_Y

定数項は欠落しているが、依然として抽象表現(PS=1PS = 1)に対応する。

拡張結果

深いネットワーク

L層の深いネットワークの場合、各層は抽象表現を示す: K(l)[ρl∗]=bl∗(dY11T+KY)K^{(l)}[\rho_l^*] = b_l^*(d_Y \mathbf{1}\mathbf{1}^T + K_Y)

ここで bl∗=(γ∗)l−1b1∗b_l^* = (\gamma^*)^{l-1} b_1^* である。

再帰型ネットワーク

最後の時間ステップでも同様に抽象表現が出現し、フレームワークの広い適用可能性を検証している。

関連研究

神経科学的背景

  • 複数の脳領域(海馬、前頭前皮質など)で抽象表現が観察されている
  • これらの表現は分布外汎化と抽象推論を支持する

機械学習方法

  • 変分自己符号化器: 教師なし分離表現学習の標準的方法
  • 教師あり方法: 多タスク学習を通じた分離表現の獲得
  • ニューラル崩壊: 深いネットワーク訓練後期の表現幾何現象

理論的分析

  • ニューラルタンジェントカーネル: 無限幅ネットワークの理論的分析
  • 平均場理論: 深いネットワークの統計物理的方法
  • 学習動力学: 重み進化の数学的分析

結論と考察

主要な結論

  1. 理論的保証: 適切な条件下で、教師あり学習は必然的に抽象表現を生成する
  2. メカニズム説明: タスク構造は表現幾何を決定し、入力幾何は学習効率に影響する
  3. 普遍性: 結果は活性化関数とネットワークアーキテクチャに対して堅牢である

生物学的意義

  • 脳で広く観察される抽象表現に対する計算的説明を提供する
  • 海馬などの脳領域の「再符号化」は下流の抽象表現形成を促進する可能性がある
  • 単一ニューロン非線形性は調律特性に影響するが、群体幾何は変わらない

限界

  1. タスク制限: 主に二値分類の組み合わせタスクに適用可能
  2. 入力仮定: 特定の入力幾何学的構造が必要
  3. 正則化依存: 適切なL2正則化強度が必要

今後の方向

  1. 連続変数: 連続潜在変数の表現学習への拡張
  2. 学習動力学: 抽象表現形成プロセスの分析
  3. 生物学的実装: 生物学的学習規則下の表現出現の研究

深い評価

利点

  1. 理論的厳密性: 抽象表現出現の数学的証明を提供し、重要な理論的空白を埋める
  2. 方法論的革新性: 平均場フレームワークは有限幅ネットワーク分析の新しいツールを提供する
  3. 普遍的適用可能性: 結果は複数の活性化関数とネットワークアーキテクチャで成立する
  4. 学際的価値: 神経科学的観察と機械学習理論を結びつける
  5. 実験検証の充実: 理論予測と数値実験の高い一致

不足

  1. タスク範囲の制限: 主に特定の二値ラベル組み合わせタスクを対象
  2. 入力条件の厳格性: 白色化または目標整列入力幾何が必要
  3. 実用的応用との距離: 現実世界の複雑なタスクとの距離がある
  4. 計算複雑性: 平均場方程式の求解は計算量が多い可能性がある

影響力

  1. 理論的貢献: 表現学習理論に重要な数学的基礎を提供する
  2. 方法論的価値: 分析フレームワークは他のネットワークモデルに適用可能
  3. 実用的指導: 抽象表現を促進するネットワークアーキテクチャ設計に指導を提供する
  4. 分野横断的影響: 神経科学と機械学習の交差研究に影響を与える可能性がある

適用シーン

  • 解釈可能性の強い表現学習タスク
  • 多タスク学習における特徴分離
  • 神経科学における表現幾何の理論的モデリング
  • 分布外汎化能力が必要なアプリケーション

技術的革新点

核心的数学ツール

  1. 測度論的方法: 離散ニューロン問題を連続測度最適化に変換
  2. 凸最適化理論: KKT条件を利用して大域最適解を分析
  3. 行列分析: カーネル行列を通じて表現幾何構造を刻画

分析技法

  • 共正定計画法: ReLUネットワークの非凸制約を処理
  • Schur凸性: 異なる活性化関数の統一的性質を分析
  • 摂動分析: 連続性論証を通じて結果を拡張

本研究は、ニューラルネットワーク表現学習の理解に重要な理論的基礎を提供しており、その数学的フレームワークと洞察は神経科学と機械学習の両分野に重要な価値を持つ。