2025-11-13T00:34:10.513475

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

Ruffini
In the algorithmic (Kolmogorov) view, agents are programs that track and compress sensory streams using generative programs. We propose a framework where the relevant structural prior is simplicity (Solomonoff) understood as \emph{compositional symmetry}: natural streams are well described by (local) actions of finite-parameter Lie pseudogroups on geometrically and topologically complex low-dimensional configuration manifolds (latent spaces). Modeling the agent as a generic neural dynamical system coupled to such streams, we show that accurate world-tracking imposes (i) \emph{structural constraints} -- equivariance of the agent's constitutive equations and readouts -- and (ii) \emph{dynamical constraints}: under static inputs, symmetry induces conserved quantities (Noether-style labels) in the agent dynamics and confines trajectories to reduced invariant manifolds; under slow drift, these manifolds move but remain low-dimensional. This yields a hierarchy of reduced manifolds aligned with the compositional factorization of the pseudogroup, providing a geometric account of the ``blessing of compositionality'' in deep models. We connect these ideas to the Spencer formalism for Lie pseudogroups and formulate a symmetry-based, self-contained version of predictive coding in which higher layers receive only \emph{coarse-grained residual transformations} (prediction-error coordinates) along symmetry directions unresolved at lower layers.
academic

組成的対称性と圧縮：アルゴリズム的エージェントにおけるLie擬群構造

基本情報

  • 論文ID: 2510.10586
  • タイトル: Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
  • 著者: Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelona, Spain)
  • 分類: cs.LG cs.AI cs.IT math.IT q-bio.NC
  • 発表時期/会議: Under Review - Proceedings Track 2025
  • 論文リンク: https://arxiv.org/abs/2510.10586

要約

本論文は、アルゴリズム情報理論（Kolmogorov理論）の枠組みに基づいて、エージェントが生成プログラムを通じて感覚ストリームを追跡・圧縮するプログラムであることを提案している。著者は、関連する構造的先験を組成的対称性（compositional symmetry）として理解するフレームワークを提案している。すなわち、自然なデータストリームは、有限パラメータのLie擬群が幾何学的および位相的に複雑な低次元配置多様体上で局所的に作用することにより、良好に記述されるというものである。エージェントをこのようなデータストリームと結合された汎用ニューラルダイナミカルシステムとしてモデル化し、本論文は正確な世界追跡に必要な条件を示している：(1) 構造的制約——エージェント本構方程式と読み出しの等変性；(2) 動力学的制約——静的入力下では、対称性がエージェントダイナミクスに保存量を誘導し、軌跡を降次元不変多様体に制限する。これは擬群の組成的分解と整合した降次元多様体の階層構造を生成し、深層モデルにおける「組成性の祝福」に対する幾何学的解釈を提供する。

研究背景と動機

核心的問題

本論文が解決しようとする核心的問題は、アルゴリズム的エージェントに対して、対称性に基づく理論的枠組みをいかに構築し、組成的構造を持つ自然なデータストリームを効果的に圧縮・追跡できるようにするかということである。

研究の重要性

  1. 圧縮と構造発見：Kolmogorov理論の枠組みの下では、エージェントの核心的タスクは環境を理解するための圧縮モデルを構築することであり、対称性は自然な構造化圧縮メカニズムを提供する
  2. 深層学習の理論的基礎：深層モデルが階層化タスクにおいて優れたサンプル複雑度を示す理由に対する数学的理論的説明を提供する
  3. 予測符号化の幾何学的基礎：対称性に基づく幾何学的理論的枠組みを予測符号化に提供する

既存手法の限界

  1. 多様体仮説の不十分性：多様体先験のみでは、追加の幾何学的被覆構造がなければ不十分である
  2. 構造化圧縮理論の欠如：既存の手法は、対称性、圧縮、および階層化学習を統一する理論的枠組みを欠いている
  3. 予測符号化の数学的基礎の欠如：従来の予測符号化は厳密な数学的形式化を欠いている

核心的貢献

  1. Lie擬群に基づく生成モデルフレームワークの提案：生成モデルを有限パラメータのLie擬群が配置多様体上で局所的に作用することとして定義した
  2. 対称性制約を伴う世界追跡ダイナミクス理論の確立：正確な追跡には等変性制約とNoether型保存量が必要であることを証明した
  3. 階層化降次元の幾何学的理論の構築：擬群の組成的分解を通じて、ネストされた不変多様体の階層構造を確立した
  4. 対称性に基づく予測符号化実装の提供：高層が粗粒化された残差変換のみを受け取る階層化予測処理を形式化した
  5. Spencer形式理論との連結：Lie擬群のSpencer複体とエージェントの階層構造を関連付けた

方法論の詳細

タスク定義

本論文が研究する核心的タスクは、組成的対称性を持つ感覚データストリームを追跡・圧縮できるアルゴリズム的エージェントを構築することである。入力はLie擬群によって生成されたデータストリームであり、出力はエージェントの内部状態表現と世界追跡性能である。

理論的枠組み

1. 生成モデルの定義

定義1（生成モデル）：生成モデルはM次元配置多様体Cから観測空間R^Xへの滑らかな写像である：

f: C → R^X, I = f(c)

定義2（Lie生成モデル）：Lie擬群Gが存在し、CとR^Xに作用し、任意のc ∈ Cに対してγ ∈ Gが存在して以下を満たす場合、fはLie生成モデルと呼ばれる：

c = γ·c₀, f(c) = γ·I₀

2. 世界追跡ダイナミクス

エージェントの高次元状態x ∈ R^Xはニューラルネットワーク方程式に従う：

ẋ = F(x; w, I_θ(t))  (2)

世界追跡制約は以下の通りである：

p(x(t)) ≈ I_θ(t)  (3)

3. 等変性要件

有効な追跡には、内部ダイナミクスが同じ群作用を尊重することが必要である：

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

技術的革新点

1. 組成的対称性の再帰的構造

Lie擬群の指数写像を利用して、複雑な変換は以下のように分解できる：

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

これは再帰的な組成的パラメータ化を提供し、構造化圧縮を実現する。

2. Noether型保存量

静的入力下では、等変性は読み出し不変性p(x) = constをもたらし、各読み出しチャネルは保存量を定義し、軌跡は(X-Y)次元相空間葉に制限される。

3. 階層化粗粒化

部分擬群フラグを通じて：

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

ネストされた降次元多様体を構築する：

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. 予測層の実装

各層kはÎₖ = γ̂ₖ·I₀を予測し、残差を計算する：

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

粗粒化演算子を適用する：

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

実験設定

概念実証：Blenderネコモデル

論文は付録に具体的な実装例を提供しており、Blenderソフトウェアのネコキャラクターリグ（rig）をLie擬群階層構造の実際の応用として使用している：

階層構造マッピング

  1. レベル1: カメラとレンズ - SE(3) × R
  2. レベル2: グローバルボディ/ルート - SE(3)
  3. レベル3: 躯幹/脊椎チェーン - R^n_spine
  4. レベル4: 四肢/爪/尾 - R^n_limb
  5. レベル5: 顔面形態 - R^d_face
  6. レベル6: 外観/毛髪/材質 - R^d_mat
  7. レベル7: 照明と環境 - SE(3) × R^d_SH

組成的作用の実装

Product of Exponentials (PoE)モデルを使用する：

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

実験結果

理論的検証

  1. 等変性制約：追跡制約と不変量の適合性が等変性を必要とすることを証明した
  2. 保存則：静的入力下では、各読み出しチャネルが保存量を定義する
  3. 降次元制約：軌跡は低次元不変葉に制限される
  4. 階層的適合性：Spencer複体は階層的制約の可積性を保証する

概念的実装

Blender例は以下を示している：

  • 局所群分解γ = γ^(7)γ^(6)...γ^(1)の実際の実装
  • ネストされた商空間Mₖ = Mₖ₋₁/Hₖの幾何学的意義
  • 商方向上の予測残差の伝播メカニズム

関連研究

対称性と深層学習

  • 群等変ネットワーク：本論文の等変性制約は精神的に群等変CNNと同じである
  • 不変性学習：Miao & Rao (2007)などの視覚不変性のLie群学習
  • 対称性発見：Moskalev et al. (2022)などの対称性推論手法

多様体学習と圧縮

  • 多様体仮説：従来の多様体仮説を幾何学的被覆構造で拡張した
  • 階層化表現：深層モデルの階層化表現学習と関連している
  • アルゴリズム情報理論：Kolmogorov複雑度に基づく圧縮理論

予測符号化

  • 従来の予測符号化：Friston (2018)などの予測処理理論
  • 階層化予測：本論文は対称性に基づく数学的形式化を提供する

結論と考察

主要な結論

  1. 対称性は圧縮である：組成的対称性は自然なデータの構造化圧縮メカニズムを提供する
  2. 等変性の必要性：正確な世界追跡にはエージェントダイナミクスの等変性が必要である
  3. 階層化幾何学：Lie擬群の組成的分解は自然にネストされた降次元多様体をもたらす
  4. 予測符号化の幾何学的基礎：残差変換に基づく厳密な数学的枠組みを予測符号化に提供する

限界

  1. 局所性仮説：すべての構成は局所的であり、グローバルな陳述には追加の適合性条件が必要である
  2. 複雑な潜在空間：生成モデルの潜在空間が非常に複雑な場合、失効する可能性がある
  3. 実装上の課題：理論から実際のニューラルネットワーク実装へのギャップが存在する

今後の方向性

  1. 確率的入力への推広：確率的入力への拡張とロバスト性の分析
  2. Lyapunov演算子の開発：世界追跡問題に対する有効なK演算子の開発
  3. 経験的検証：制御された生成対称性下での等変アーキテクチャのテスト
  4. Spencer精密性：Spencer精密性、モジュライ空間、および実際の学習システムの可積性保証との正式な関連付けの確立

深層的評価

長所

  1. 理論的革新性：Lie擬群理論とアルゴリズム的エージェント理論の革新的な結合
  2. 数学的厳密性：複数の数学領域を連結した厳密な数学的形式化を提供する
  3. 統一性：圧縮、対称性、階層化学習を単一の枠組みで統一する
  4. 実用的指導：等変ネットワーク設計に対する理論的指導を提供する
  5. 学際的価値：数学、機械学習、神経科学など複数の領域を連結する

不足

  1. 実験的検証の不足：主に理論的研究であり、十分な実験的検証を欠いている
  2. 複雑性：数学的形式化がかなり複雑であり、実際の応用を制限する可能性がある
  3. 仮説の制限：データが実際にLie擬群によって生成されるという仮説に依存している
  4. 実装詳細の欠如：理論から実際のアルゴリズム実装への詳細が十分ではない

影響力

  1. 理論的貢献：深層学習の数学的基礎に新しい視点を提供する
  2. 方法論的価値：対称性を認識するニューラルアーキテクチャの設計に指導を提供する
  3. 学際的影響：計算神経科学、ロボット工学など複数の領域に影響を与える可能性がある
  4. 長期的価値：確立された理論的枠組みは長期的な研究価値を持つ

適用可能なシナリオ

  1. 明確な対称性を持つ領域：ロボット工学、コンピュータビジョンにおける幾何学的変換など
  2. 階層化データ：自然な階層構造を持つデータタイプ
  3. 圧縮タスク：構造化圧縮が必要なアプリケーション
  4. 予測符号化システム：理論的基礎が必要な予測符号化実装

参考文献

論文は豊富な関連研究を引用しており、以下を含む：

  • Cover & Thomas (2006): アルゴリズム情報理論の基礎
  • Goldschmidt (1967), Seiler (2010): Lie擬群のSpencer理論
  • Poggio et al. (2016, 2020): 深層学習の組成性理論
  • Friston (2018): 予測符号化理論
  • Lynch & Park (2017): 現代ロボット工学におけるLie群手法

総合評価：これはアルゴリズム的エージェントに対してLie擬群に基づく数学的理論的枠組みを確立しようとする、高度に理論化された研究である。数学的形式化は厳密で革新的であるが、その実際的価値を証明するためにはより多くの実験的検証が必要である。本研究は、深層学習における対称性と階層構造を理解するための新しい数学的ツールを提供し、重要な理論的意義を持つ。