2025-11-13T00:34:10.513475

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

Ruffini
In the algorithmic (Kolmogorov) view, agents are programs that track and compress sensory streams using generative programs. We propose a framework where the relevant structural prior is simplicity (Solomonoff) understood as \emph{compositional symmetry}: natural streams are well described by (local) actions of finite-parameter Lie pseudogroups on geometrically and topologically complex low-dimensional configuration manifolds (latent spaces). Modeling the agent as a generic neural dynamical system coupled to such streams, we show that accurate world-tracking imposes (i) \emph{structural constraints} -- equivariance of the agent's constitutive equations and readouts -- and (ii) \emph{dynamical constraints}: under static inputs, symmetry induces conserved quantities (Noether-style labels) in the agent dynamics and confines trajectories to reduced invariant manifolds; under slow drift, these manifolds move but remain low-dimensional. This yields a hierarchy of reduced manifolds aligned with the compositional factorization of the pseudogroup, providing a geometric account of the ``blessing of compositionality'' in deep models. We connect these ideas to the Spencer formalism for Lie pseudogroups and formulate a symmetry-based, self-contained version of predictive coding in which higher layers receive only \emph{coarse-grained residual transformations} (prediction-error coordinates) along symmetry directions unresolved at lower layers.
academic

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

基本信息

  • 论文ID: 2510.10586
  • 标题: Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
  • 作者: Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelona, Spain)
  • 分类: cs.LG cs.AI cs.IT math.IT q-bio.NC
  • 发表时间/会议: Under Review - Proceedings Track 2025
  • 论文链接: https://arxiv.org/abs/2510.10586

摘要

本文基于算法信息理论（Kolmogorov理论）框架，提出智能体是通过生成程序来跟踪和压缩感官流的程序。作者提出一个框架，将相关的结构先验理解为组合对称性（compositional symmetry）：自然数据流可以通过有限参数Lie伪群在几何和拓扑复杂的低维配置流形上的局部作用来很好地描述。将智能体建模为与此类数据流耦合的通用神经动力系统，论文表明准确的世界跟踪需要：(1) 结构约束——智能体本构方程和读出的等变性；(2) 动力学约束——在静态输入下，对称性在智能体动力学中诱导守恒量并将轨迹限制在降维不变流形上。这产生了与伪群组合分解对齐的降维流形层次结构，为深度模型中的"组合性祝福"提供了几何解释。

研究背景与动机

核心问题

本文要解决的核心问题是：如何为算法智能体构建一个基于对称性的理论框架，使其能够有效地压缩和跟踪具有组合结构的自然数据流？

研究重要性

  1. 压缩与结构发现：在Kolmogorov理论框架下，智能体的核心任务是构建压缩模型来理解环境，而对称性提供了自然的结构化压缩机制
  2. 深度学习的理论基础：为深度模型在层次化任务上的优越样本复杂度提供数学理论解释
  3. 预测编码的几何基础：为预测编码提供基于对称性的几何理论框架

现有方法局限性

  1. 流形假设不足：仅有流形先验而缺乏额外几何覆盖结构是不够的
  2. 缺乏结构化压缩理论：现有方法缺乏将对称性、压缩和层次化学习统一的理论框架
  3. 预测编码缺乏数学基础：传统预测编码缺乏严格的数学形式化

核心贡献

  1. 提出了基于Lie伪群的生成模型框架：将生成模型定义为有限参数Lie伪群在配置流形上的局部作用
  2. 建立了对称性约束的世界跟踪动力学理论：证明了准确跟踪需要等变性约束和Noether式守恒量
  3. 构建了层次化降维的几何理论：通过伪群的组合分解建立嵌套不变流形的层次结构
  4. 提供了基于对称性的预测编码实现：形式化了层次化预测处理，其中高层仅接收粗粒化的残差变换
  5. 连接了Spencer形式化理论：将Lie伪群的Spencer复形与智能体的层次化结构联系起来

方法详解

任务定义

本文研究的核心任务是构建能够跟踪和压缩具有组合对称性的感官数据流的算法智能体。输入是由Lie伪群生成的数据流，输出是智能体的内部状态表示和世界跟踪性能。

理论框架

1. 生成模型定义

定义1（生成模型）：生成模型是从M维配置流形C到观测空间R^X的光滑映射：

f: C → R^X, I = f(c)

定义2（Lie生成模型）：如果存在Lie伪群G作用于C和R^X，使得对于任意c ∈ C，存在γ ∈ G满足：

c = γ·c₀, f(c) = γ·I₀

则称f为Lie生成模型。

2. 世界跟踪动力学

智能体的高维状态x ∈ R^X遵循神经网络方程：

ẋ = F(x; w, I_θ(t))  (2)

世界跟踪约束为：

p(x(t)) ≈ I_θ(t)  (3)

3. 等变性要求

有效跟踪要求内部动力学尊重相同的群作用：

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

技术创新点

1. 组合对称性的递归结构

利用Lie伪群的指数映射，复杂变换可分解为：

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

这提供了递归的组合参数化，实现结构化压缩。

2. Noether式守恒量

在静态输入下，等变性导致读出不变：p(x) = const，每个读出通道定义一个守恒量，轨迹被限制在(X-Y)维相空间叶上。

3. 层次化粗粒化

通过子伪群标志：

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

构建嵌套降维流形：

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. 预测层次实现

每层k预测Îₖ = γ̂ₖ·I₀，计算残差：

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

应用粗粒化算子：

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

实验设置

概念验证：Blender猫模型

论文在附录中提供了一个具体的实现示例，使用Blender软件的猫角色装配（rig）作为Lie伪群层次结构的实际应用：

层次结构映射

  1. Level 1: 相机与镜头 - SE(3) × R
  2. Level 2: 全局身体/根部 - SE(3)
  3. Level 3: 躯干/脊柱链 - R^n_spine
  4. Level 4: 四肢/爪子/尾巴 - R^n_limb
  5. Level 5: 面部形态 - R^d_face
  6. Level 6: 外观/毛发/材质 - R^d_mat
  7. Level 7: 光照与环境 - SE(3) × R^d_SH

组合作用实现

使用产品指数（Product of Exponentials, PoE）模型：

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

实验结果

理论验证

  1. 等变性约束：证明了跟踪约束与不变量的兼容性需要等变性
  2. 守恒定律：在静态输入下，每个读出通道定义守恒量
  3. 降维约束：轨迹被限制在低维不变叶上
  4. 层次兼容性：Spencer复形保证层次约束的可积性

概念实现

Blender示例展示了：

  • 局部群分解γ = γ^(7)γ^(6)...γ^(1)的实际实现
  • 嵌套商空间Mₖ = Mₖ₋₁/Hₖ的几何意义
  • 预测残差在商方向上的传播机制

相关工作

对称性与深度学习

  • 群等变网络：本文的等变性约束与群等变CNN在精神上相同
  • 不变性学习：Miao & Rao (2007)等关于视觉不变性的Lie群学习
  • 对称性发现：Moskalev et al. (2022)等的对称性推断方法

流形学习与压缩

  • 流形假设：扩展了传统流形假设，增加了几何覆盖结构
  • 层次化表示：与深度模型的层次化表示学习相关
  • 算法信息理论：基于Kolmogorov复杂度的压缩理论

预测编码

  • 传统预测编码：Friston (2018)等的预测处理理论
  • 层次化预测：本文提供了基于对称性的数学形式化

结论与讨论

主要结论

  1. 对称性即压缩：组合对称性提供了自然数据的结构化压缩机制
  2. 等变性必要性：准确的世界跟踪需要智能体动力学的等变性
  3. 层次化几何：Lie伪群的组合分解自然导致嵌套的降维流形
  4. 预测编码的几何基础：为预测编码提供了基于残差变换的严格数学框架

局限性

  1. 局部性假设：所有构造都是局部的，全局陈述需要额外的兼容性条件
  2. 复杂潜在空间：当生成模型的潜在空间非常复杂时可能失效
  3. 实际实现挑战：从理论到实际神经网络实现存在gap

未来方向

  1. 随机输入推广：扩展到随机输入并分析鲁棒性
  2. Lyapunov算子开发：开发有效的K算子用于世界跟踪问题
  3. 经验验证：在受控生成对称性下测试等变架构
  4. Spencer精确性：建立与Spencer精确性、模空间和实际学习系统可积性保证的正式联系

深度评价

优点

  1. 理论创新性：将Lie伪群理论与算法智能体理论创新性结合
  2. 数学严谨性：提供了严格的数学形式化，连接了多个数学领域
  3. 统一性：将压缩、对称性、层次化学习统一在单一框架下
  4. 实用指导：为等变网络设计提供了理论指导
  5. 跨学科价值：连接了数学、机器学习、神经科学等多个领域

不足

  1. 实验验证不足：主要是理论工作，缺乏充分的实验验证
  2. 复杂性：数学形式化较为复杂，可能限制实际应用
  3. 假设限制：依赖于数据确实由Lie伪群生成的假设
  4. 实现细节缺失：从理论到实际算法实现的细节不够充分

影响力

  1. 理论贡献：为深度学习的数学基础提供了新视角
  2. 方法论价值：为设计对称性感知的神经架构提供指导
  3. 跨领域影响：可能影响计算神经科学、机器人学等领域
  4. 长期价值：建立的理论框架具有长期研究价值

适用场景

  1. 具有明确对称性的领域：如机器人学、计算机视觉中的几何变换
  2. 层次化数据：具有自然层次结构的数据类型
  3. 压缩任务：需要结构化压缩的应用
  4. 预测编码系统：需要理论基础的预测编码实现

参考文献

论文引用了丰富的相关工作，包括：

  • Cover & Thomas (2006): 算法信息理论基础
  • Goldschmidt (1967), Seiler (2010): Lie伪群的Spencer理论
  • Poggio et al. (2016, 2020): 深度学习的组合性理论
  • Friston (2018): 预测编码理论
  • Lynch & Park (2017): 现代机器人学中的Lie群方法

总体评价：这是一篇高度理论化的工作，尝试为算法智能体建立基于Lie伪群的数学理论框架。虽然数学形式化严谨且具有创新性，但需要更多实验验证来证明其实际价值。该工作为理解深度学习中的对称性和层次结构提供了新的数学工具，具有重要的理论意义。