2025-11-13T00:34:10.513475

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

Ruffini
In the algorithmic (Kolmogorov) view, agents are programs that track and compress sensory streams using generative programs. We propose a framework where the relevant structural prior is simplicity (Solomonoff) understood as \emph{compositional symmetry}: natural streams are well described by (local) actions of finite-parameter Lie pseudogroups on geometrically and topologically complex low-dimensional configuration manifolds (latent spaces). Modeling the agent as a generic neural dynamical system coupled to such streams, we show that accurate world-tracking imposes (i) \emph{structural constraints} -- equivariance of the agent's constitutive equations and readouts -- and (ii) \emph{dynamical constraints}: under static inputs, symmetry induces conserved quantities (Noether-style labels) in the agent dynamics and confines trajectories to reduced invariant manifolds; under slow drift, these manifolds move but remain low-dimensional. This yields a hierarchy of reduced manifolds aligned with the compositional factorization of the pseudogroup, providing a geometric account of the ``blessing of compositionality'' in deep models. We connect these ideas to the Spencer formalism for Lie pseudogroups and formulate a symmetry-based, self-contained version of predictive coding in which higher layers receive only \emph{coarse-grained residual transformations} (prediction-error coordinates) along symmetry directions unresolved at lower layers.
academic

구성적 대칭성을 압축으로: 알고리즘 에이전트의 Lie 의사군 구조

기본 정보

  • 논문 ID: 2510.10586
  • 제목: Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
  • 저자: Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelona, Spain)
  • 분류: cs.LG cs.AI cs.IT math.IT q-bio.NC
  • 발표 시간/학회: Under Review - Proceedings Track 2025
  • 논문 링크: https://arxiv.org/abs/2510.10586

초록

본 논문은 알고리즘 정보 이론(Kolmogorov 이론) 프레임워크를 기반으로, 지능형 에이전트가 감각 흐름을 추적하고 압축하는 생성 프로그램을 통해 작동한다고 제안합니다. 저자는 관련 구조 사전(structural prior)을 구성적 대칭성(compositional symmetry)으로 이해하는 프레임워크를 제시합니다: 자연 데이터 흐름은 유한 매개변수 Lie 의사군이 기하학적으로 복잡한 저차원 배치 다양체(configuration manifold) 위에서 국소적으로 작용함으로써 잘 설명될 수 있습니다. 에이전트를 이러한 데이터 흐름과 결합된 범용 신경 동역학 시스템으로 모델링하면서, 본 논문은 정확한 세계 추적이 다음을 필요로 함을 보여줍니다: (1) 구조 제약 — 에이전트 구성 방정식과 읽기의 등변성(equivariance); (2) 동역학 제약 — 정적 입력 하에서, 대칭성은 에이전트 동역학에서 보존량을 유도하고 궤적을 저차원 불변 다양체로 제한합니다. 이는 의사군 구성적 분해와 정렬된 저차원 다양체의 계층 구조를 생성하며, 심층 모델에서의 "구성성의 축복"에 대한 기하학적 설명을 제공합니다.

연구 배경 및 동기

핵심 문제

본 논문이 해결하려는 핵심 문제는: 구성적 구조를 가진 자연 데이터 흐름을 효과적으로 압축하고 추적할 수 있도록 대칭성 기반의 이론적 프레임워크를 알고리즘 에이전트에 대해 어떻게 구축할 것인가입니다.

연구의 중요성

  1. 압축 및 구조 발견: Kolmogorov 이론 프레임워크 하에서, 에이전트의 핵심 작업은 환경을 이해하기 위한 압축 모델을 구축하는 것이며, 대칭성은 자연스러운 구조화된 압축 메커니즘을 제공합니다.
  2. 심층 학습의 이론적 기초: 계층화된 작업에서 심층 모델의 우수한 표본 복잡도에 대한 수학적 이론적 설명 제공
  3. 예측 부호화의 기하학적 기초: 예측 부호화에 대한 대칭성 기반의 기하학적 이론 프레임워크 제공

기존 방법의 한계

  1. 다양체 가정의 부족: 다양체 사전만으로는 추가적인 기하학적 덮개 구조가 없어 불충분합니다.
  2. 구조화된 압축 이론의 부재: 기존 방법은 대칭성, 압축 및 계층화된 학습을 통합하는 이론적 프레임워크가 부족합니다.
  3. 예측 부호화의 수학적 기초 부족: 전통적인 예측 부호화는 엄격한 수학적 형식화가 부족합니다.

핵심 기여

  1. Lie 의사군 기반 생성 모델 프레임워크 제시: 생성 모델을 배치 다양체 위에서 유한 매개변수 Lie 의사군의 국소 작용으로 정의
  2. 대칭성 제약의 세계 추적 동역학 이론 수립: 정확한 추적이 등변성 제약과 Noether 식 보존량을 필요로 함을 증명
  3. 계층화된 저차원의 기하학적 이론 구축: 의사군의 구성적 분해를 통해 중첩된 불변 다양체의 계층 구조 수립
  4. 대칭성 기반 예측 부호화 구현 제공: 고차 계층이 오직 조잡화된 잔차 변환만 수신하는 계층화된 예측 처리 형식화
  5. Spencer 형식 이론과의 연결: Lie 의사군의 Spencer 복합체를 에이전트의 계층화된 구조와 연결

방법 상세 설명

작업 정의

본 논문이 연구하는 핵심 작업은 구성적 대칭성을 가진 감각 데이터 흐름을 추적하고 압축할 수 있는 알고리즘 에이전트를 구축하는 것입니다. 입력은 Lie 의사군으로 생성된 데이터 흐름이며, 출력은 에이전트의 내부 상태 표현과 세계 추적 성능입니다.

이론적 프레임워크

1. 생성 모델 정의

정의 1 (생성 모델): 생성 모델은 M차원 배치 다양체 C에서 관측 공간 R^X로의 매끄러운 사상입니다:

f: C → R^X, I = f(c)

정의 2 (Lie 생성 모델): 만약 Lie 의사군 G가 C와 R^X에 작용하여, 임의의 c ∈ C에 대해 γ ∈ G가 존재하여 다음을 만족한다면:

c = γ·c₀, f(c) = γ·I₀

f를 Lie 생성 모델이라고 합니다.

2. 세계 추적 동역학

에이전트의 고차원 상태 x ∈ R^X는 신경망 방정식을 따릅니다:

ẋ = F(x; w, I_θ(t))  (2)

세계 추적 제약은:

p(x(t)) ≈ I_θ(t)  (3)

3. 등변성 요구사항

효과적인 추적은 내부 동역학이 동일한 군 작용을 존중할 것을 요구합니다:

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

기술적 혁신점

1. 구성적 대칭성의 재귀적 구조

Lie 의사군의 지수 사상을 이용하여, 복잡한 변환을 다음과 같이 분해할 수 있습니다:

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

이는 재귀적인 구성적 매개변수화를 제공하여 구조화된 압축을 실현합니다.

2. Noether 식 보존량

정적 입력 하에서, 등변성은 읽기 불변성을 초래합니다: p(x) = const, 각 읽기 채널은 보존량을 정의하며, 궤적은 (X-Y)차원 위상 공간 엽으로 제한됩니다.

3. 계층화된 조잡화

부분 의사군 깃발을 통해:

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

중첩된 저차원 다양체를 구축합니다:

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. 예측 계층 구현

각 계층 k는 Îₖ = γ̂ₖ·I₀를 예측하고, 잔차를 계산합니다:

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

조잡화 연산자를 적용합니다:

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

실험 설정

개념 증명: Blender 고양이 모델

논문은 부록에서 Blender 소프트웨어의 고양이 캐릭터 리그(rig)를 Lie 의사군 계층 구조의 실제 응용으로 사용한 구체적인 구현 예시를 제공합니다:

계층 구조 매핑

  1. 레벨 1: 카메라 및 렌즈 - SE(3) × R
  2. 레벨 2: 전역 신체/루트 - SE(3)
  3. 레벨 3: 몸통/척추 체인 - R^n_spine
  4. 레벨 4: 사지/발/꼬리 - R^n_limb
  5. 레벨 5: 얼굴 형태 - R^d_face
  6. 레벨 6: 외관/털/재질 - R^d_mat
  7. 레벨 7: 조명 및 환경 - SE(3) × R^d_SH

구성적 작용 구현

Product of Exponentials (PoE) 모델을 사용합니다:

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

실험 결과

이론적 검증

  1. 등변성 제약: 추적 제약과 불변량의 호환성이 등변성을 필요로 함을 증명
  2. 보존 법칙: 정적 입력 하에서, 각 읽기 채널은 보존량을 정의합니다.
  3. 저차원 제약: 궤적은 저차원 불변 엽으로 제한됩니다.
  4. 계층 호환성: Spencer 복합체는 계층 제약의 적분가능성을 보장합니다.

개념적 구현

Blender 예시는 다음을 보여줍니다:

  • 국소 군 분해 γ = γ^(7)γ^(6)...γ^(1)의 실제 구현
  • 중첩된 몫 공간 Mₖ = Mₖ₋₁/Hₖ의 기하학적 의미
  • 몫 방향에서의 예측 잔차 전파 메커니즘

관련 연구

대칭성과 심층 학습

  • 군 등변 네트워크: 본 논문의 등변성 제약은 정신적으로 군 등변 CNN과 동일합니다.
  • 불변성 학습: Miao & Rao (2007) 등의 시각 불변성에 대한 Lie 군 학습
  • 대칭성 발견: Moskalev et al. (2022) 등의 대칭성 추론 방법

다양체 학습 및 압축

  • 다양체 가정: 기하학적 덮개 구조를 추가하여 전통적인 다양체 가정 확장
  • 계층화된 표현: 심층 모델의 계층화된 표현 학습과 관련
  • 알고리즘 정보 이론: Kolmogorov 복잡도 기반 압축 이론

예측 부호화

  • 전통적 예측 부호화: Friston (2018) 등의 예측 처리 이론
  • 계층화된 예측: 본 논문은 대칭성 기반의 수학적 형식화 제공

결론 및 논의

주요 결론

  1. 대칭성은 압축: 구성적 대칭성은 자연 데이터의 구조화된 압축 메커니즘을 제공합니다.
  2. 등변성의 필요성: 정확한 세계 추적은 에이전트 동역학의 등변성을 필요로 합니다.
  3. 계층화된 기하학: Lie 의사군의 구성적 분해는 자연스럽게 중첩된 저차원 다양체로 이어집니다.
  4. 예측 부호화의 기하학적 기초: 잔차 변환 기반의 예측 부호화에 대한 엄격한 수학적 프레임워크 제공

한계

  1. 국소성 가정: 모든 구성은 국소적이며, 전역 진술은 추가적인 호환성 조건을 필요로 합니다.
  2. 복잡한 잠재 공간: 생성 모델의 잠재 공간이 매우 복잡할 때 실패할 수 있습니다.
  3. 실제 구현 도전: 이론에서 실제 신경망 구현으로의 간격이 존재합니다.

향후 방향

  1. 확률적 입력 일반화: 확률적 입력으로 확장하고 견고성 분석
  2. Lyapunov 연산자 개발: 세계 추적 문제를 위한 효과적인 K 연산자 개발
  3. 경험적 검증: 제어된 생성 대칭성 하에서 등변 아키텍처 테스트
  4. Spencer 정확성: Spencer 정확성, 모듈로 공간 및 실제 학습 시스템의 적분가능성 보장과의 공식적 연결 수립

심층 평가

장점

  1. 이론적 혁신성: Lie 의사군 이론을 알고리즘 에이전트 이론과 혁신적으로 결합
  2. 수학적 엄밀성: 엄격한 수학적 형식화를 제공하며 여러 수학 분야를 연결
  3. 통일성: 압축, 대칭성, 계층화된 학습을 단일 프레임워크로 통합
  4. 실용적 지침: 등변 네트워크 설계에 대한 이론적 지침 제공
  5. 학제간 가치: 수학, 기계 학습, 신경과학 등 여러 분야를 연결

부족한 점

  1. 실험적 검증 부족: 주로 이론적 작업이며 충분한 실험적 검증이 부족합니다.
  2. 복잡성: 수학적 형식화가 상당히 복잡하여 실제 응용을 제한할 수 있습니다.
  3. 가정의 한계: 데이터가 실제로 Lie 의사군으로 생성된다는 가정에 의존
  4. 구현 세부사항 부족: 이론에서 실제 알고리즘 구현으로의 세부사항이 충분하지 않습니다.

영향력

  1. 이론적 기여: 심층 학습의 수학적 기초에 새로운 관점 제공
  2. 방법론적 가치: 대칭성 인식 신경 아키텍처 설계에 지침 제공
  3. 학제간 영향: 계산 신경과학, 로봇 공학 등의 분야에 영향을 미칠 수 있음
  4. 장기적 가치: 수립된 이론적 프레임워크는 장기 연구 가치를 가짐

적용 가능 분야

  1. 명확한 대칭성을 가진 분야: 로봇 공학, 컴퓨터 비전의 기하학적 변환 등
  2. 계층화된 데이터: 자연 계층 구조를 가진 데이터 유형
  3. 압축 작업: 구조화된 압축이 필요한 응용
  4. 예측 부호화 시스템: 이론적 기초가 필요한 예측 부호화 구현

참고문헌

논문은 다양한 관련 연구를 인용하고 있습니다:

  • Cover & Thomas (2006): 알고리즘 정보 이론 기초
  • Goldschmidt (1967), Seiler (2010): Lie 의사군의 Spencer 이론
  • Poggio et al. (2016, 2020): 심층 학습의 구성성 이론
  • Friston (2018): 예측 부호화 이론
  • Lynch & Park (2017): 현대 로봇 공학의 Lie 군 방법

종합 평가: 본 논문은 Lie 의사군 기반의 수학적 이론 프레임워크를 알고리즘 에이전트에 대해 수립하려는 고도로 이론화된 작업입니다. 수학적 형식화는 엄밀하고 혁신적이지만, 실제 가치를 증명하기 위해서는 더 많은 실험적 검증이 필요합니다. 본 작업은 심층 학습에서의 대칭성과 계층 구조를 이해하기 위한 새로운 수학적 도구를 제공하며, 중요한 이론적 의의를 가집니다.