2025-11-13T00:34:10.513475

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

Ruffini
In the algorithmic (Kolmogorov) view, agents are programs that track and compress sensory streams using generative programs. We propose a framework where the relevant structural prior is simplicity (Solomonoff) understood as \emph{compositional symmetry}: natural streams are well described by (local) actions of finite-parameter Lie pseudogroups on geometrically and topologically complex low-dimensional configuration manifolds (latent spaces). Modeling the agent as a generic neural dynamical system coupled to such streams, we show that accurate world-tracking imposes (i) \emph{structural constraints} -- equivariance of the agent's constitutive equations and readouts -- and (ii) \emph{dynamical constraints}: under static inputs, symmetry induces conserved quantities (Noether-style labels) in the agent dynamics and confines trajectories to reduced invariant manifolds; under slow drift, these manifolds move but remain low-dimensional. This yields a hierarchy of reduced manifolds aligned with the compositional factorization of the pseudogroup, providing a geometric account of the ``blessing of compositionality'' in deep models. We connect these ideas to the Spencer formalism for Lie pseudogroups and formulate a symmetry-based, self-contained version of predictive coding in which higher layers receive only \emph{coarse-grained residual transformations} (prediction-error coordinates) along symmetry directions unresolved at lower layers.
academic

Kompositorische Symmetrie als Kompression: Lie-Pseudogruppen-Struktur in algorithmischen Agenten

Grundinformationen

  • Paper-ID: 2510.10586
  • Titel: Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
  • Autor: Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelona, Spanien)
  • Klassifizierung: cs.LG cs.AI cs.IT math.IT q-bio.NC
  • Veröffentlichungszeit/Konferenz: Under Review - Proceedings Track 2025
  • Paper-Link: https://arxiv.org/abs/2510.10586

Zusammenfassung

Basierend auf dem Rahmen der algorithmischen Informationstheorie (Kolmogorov-Theorie) schlägt dieser Artikel vor, dass intelligente Agenten Programme sind, die durch generative Programme sensorische Ströme verfolgen und komprimieren. Der Autor präsentiert einen Rahmen, der relevante Strukturpriorien als kompositorische Symmetrien versteht: natürliche Datenströme können durch die lokale Wirkung endlich-parametrischer Lie-Pseudogruppen auf geometrisch und topologisch komplexen niedrigdimensionalen Konfigurationsmannigfaltigkeiten gut beschrieben werden. Durch die Modellierung von Agenten als universelle neuronale dynamische Systeme, die mit solchen Datenströmen gekoppelt sind, zeigt das Papier, dass genaues Welt-Tracking erfordert: (1) Strukturbeschränkungen – Äquivarianz der Konstitutivgleichungen und Auslesungen des Agenten; (2) Dynamikbeschränkungen – unter statischen Eingaben induzieren Symmetrien Erhaltungsgrößen in der Agenten-Dynamik und beschränken Trajektorien auf reduziert-dimensionale invariante Mannigfaltigkeiten. Dies erzeugt eine Hierarchie reduziert-dimensionaler Mannigfaltigkeiten, die mit der kompositorischen Zerlegung der Pseudogruppe übereinstimmt, und bietet eine geometrische Erklärung für den „Segen der Kompositorität" in tiefen Modellen.

Forschungshintergrund und Motivation

Kernproblem

Das Kernproblem, das dieser Artikel adressiert, ist: Wie kann man einen auf Symmetrie basierenden theoretischen Rahmen für algorithmische intelligente Agenten konstruieren, der es ihnen ermöglicht, natürliche Datenströme mit kompositorischer Struktur effektiv zu komprimieren und zu verfolgen?

Forschungsbedeutung

  1. Kompression und Strukturentdeckung: Im Rahmen der Kolmogorov-Theorie besteht die Kernaufgabe eines Agenten darin, Kompressionsmodelle zur Umweltverständigung zu konstruieren, während Symmetrie einen natürlichen strukturierten Kompressionsmechanismus bietet
  2. Theoretische Grundlagen des Deep Learning: Bietet mathematische theoretische Erklärungen für die überlegene Stichprobenkomplexität tiefer Modelle bei hierarchischen Aufgaben
  3. Geometrische Grundlagen der Vorhersagekodierung: Bietet einen auf Symmetrie basierenden geometrischen theoretischen Rahmen für die Vorhersagekodierung

Einschränkungen bestehender Methoden

  1. Unzureichende Mannigfaltigkeitsannahme: Nur eine Mannigfaltigkeitsprior ohne zusätzliche geometrische Überdeckungsstruktur ist unzureichend
  2. Fehlende strukturierte Kompressionstheorie: Bestehende Methoden fehlt ein einheitlicher theoretischer Rahmen, der Symmetrie, Kompression und hierarchisches Lernen verbindet
  3. Mangelnde mathematische Grundlagen der Vorhersagekodierung: Traditionelle Vorhersagekodierung fehlt eine strenge mathematische Formalisierung

Kernbeiträge

  1. Vorschlag eines generativen Modellrahmens basierend auf Lie-Pseudogruppen: Definiert generative Modelle als lokale Wirkungen endlich-parametrischer Lie-Pseudogruppen auf Konfigurationsmannigfaltigkeiten
  2. Etablierung einer Welt-Tracking-Dynamiktheorie mit Symmetriebeschränkungen: Beweist, dass genaues Tracking Äquivarianz-Beschränkungen und Noether-ähnliche Erhaltungsgrößen erfordert
  3. Konstruktion einer geometrischen Theorie hierarchischer Dimensionsreduktion: Etabliert durch kompositorische Zerlegung der Pseudogruppe eine Hierarchie verschachtelter invarianter Mannigfaltigkeiten
  4. Bereitstellung einer symmetrie-basierten Vorhersagekodierungs-Implementierung: Formalisiert hierarchische Vorhersageverarbeitung, bei der höhere Ebenen nur vergröberte Residualtransformationen erhalten
  5. Verbindung mit Spencer-Formalisierungstheorie: Verbindet den Spencer-Komplex von Lie-Pseudogruppen mit der hierarchischen Struktur von Agenten

Methodische Erläuterung

Aufgabendefinition

Die Kernaufgabe dieser Forschung ist die Konstruktion algorithmischer intelligenter Agenten, die sensorische Datenströme mit kompositorischer Symmetrie verfolgen und komprimieren können. Die Eingabe ist ein Datenstrom, der von einer Lie-Pseudogruppe erzeugt wird, die Ausgabe ist die interne Zustandsdarstellung des Agenten und die Welt-Tracking-Leistung.

Theoretischer Rahmen

1. Generative Modelldefinition

Definition 1 (Generatives Modell): Ein generatives Modell ist eine glatte Abbildung von einer M-dimensionalen Konfigurationsmannigfaltigkeit C in den Beobachtungsraum R^X:

f: C → R^X, I = f(c)

Definition 2 (Lie-generatives Modell): Wenn eine Lie-Pseudogruppe G existiert, die auf C und R^X wirkt, so dass für beliebiges c ∈ C ein γ ∈ G existiert mit:

c = γ·c₀, f(c) = γ·I₀

wird f als Lie-generatives Modell bezeichnet.

2. Welt-Tracking-Dynamik

Der hochdimensionale Zustand x ∈ R^X des Agenten folgt der neuronalen Netzwerk-Gleichung:

ẋ = F(x; w, I_θ(t))  (2)

Die Welt-Tracking-Beschränkung ist:

p(x(t)) ≈ I_θ(t)  (3)

3. Äquivarianz-Anforderungen

Effektives Tracking erfordert, dass die interne Dynamik die gleiche Gruppenwirkung respektiert:

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

Technische Innovationspunkte

1. Rekursive Struktur kompositorischer Symmetrie

Unter Verwendung der Exponentialabbildung von Lie-Pseudogruppen können komplexe Transformationen zerlegt werden als:

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

Dies bietet eine rekursive kompositorische Parametrisierung, die strukturierte Kompression ermöglicht.

2. Noether-ähnliche Erhaltungsgrößen

Unter statischen Eingaben führt Äquivarianz zu invarianter Auslesung: p(x) = const, wobei jeder Auslesungskanal eine Erhaltungsgröße definiert und Trajektorien auf (X-Y)-dimensionalen Phasenraum-Blättern begrenzt werden.

3. Hierarchische Vergröberung

Durch Pseudogruppen-Flaggen:

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

werden verschachtelte reduziert-dimensionale Mannigfaltigkeiten konstruiert:

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. Implementierung der Vorhersage-Hierarchie

Jede Ebene k sagt Îₖ = γ̂ₖ·I₀ voraus und berechnet das Residuum:

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

Anwendung des Vergröberungsoperators:

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

Experimentelle Einrichtung

Konzeptnachweis: Blender-Katzen-Modell

Das Papier bietet in den Anhängen ein konkretes Implementierungsbeispiel unter Verwendung des Katzen-Charakters-Rigs (Skelett) der Blender-Software als praktische Anwendung der Lie-Pseudogruppen-Hierarchiestruktur:

Hierarchie-Mapping

  1. Ebene 1: Kamera und Objektiv – SE(3) × R
  2. Ebene 2: Globaler Körper/Wurzel – SE(3)
  3. Ebene 3: Rumpf/Wirbelsäulenkette – R^n_spine
  4. Ebene 4: Gliedmaßen/Krallen/Schwanz – R^n_limb
  5. Ebene 5: Gesichtsmorphologie – R^d_face
  6. Ebene 6: Erscheinungsbild/Fell/Material – R^d_mat
  7. Ebene 7: Beleuchtung und Umgebung – SE(3) × R^d_SH

Kompositorische Wirkungsimplementierung

Verwendung des Product of Exponentials (PoE) Modells:

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

Experimentelle Ergebnisse

Theoretische Verifikation

  1. Äquivarianz-Beschränkungen: Beweist, dass die Kompatibilität von Tracking-Beschränkungen und Invarianten Äquivarianz erfordert
  2. Erhaltungsgesetze: Unter statischen Eingaben definiert jeder Auslesungskanal eine Erhaltungsgröße
  3. Dimensionsreduktions-Beschränkungen: Trajektorien werden auf niedrigdimensionalen invarianten Blättern begrenzt
  4. Hierarchie-Kompatibilität: Der Spencer-Komplex garantiert die Integrabilität von Hierarchie-Beschränkungen

Konzeptuelle Implementierung

Das Blender-Beispiel demonstriert:

  • Die praktische Implementierung der lokalen Gruppenzerlegung γ = γ^(7)γ^(6)...γ^(1)
  • Die geometrische Bedeutung verschachtelter Quotientenräume Mₖ = Mₖ₋₁/Hₖ
  • Den Ausbreitungsmechanismus von Vorhersage-Residuen in Quotientenrichtungen

Verwandte Arbeiten

Symmetrie und Deep Learning

  • Gruppen-äquivariante Netzwerke: Die Äquivarianz-Beschränkungen dieses Artikels sind im Geiste ähnlich zu gruppen-äquivarianten CNNs
  • Invarianz-Lernen: Lie-Gruppen-Lernen zur visuellen Invarianz von Miao & Rao (2007) und anderen
  • Symmetrie-Entdeckung: Symmetrie-Inferenzmethoden von Moskalev et al. (2022) und anderen

Mannigfaltigkeits-Lernen und Kompression

  • Mannigfaltigkeits-Hypothese: Erweitert die traditionelle Mannigfaltigkeits-Hypothese mit geometrischen Überdeckungsstrukturen
  • Hierarchische Darstellung: Bezieht sich auf hierarchisches Darstellungslernen tiefer Modelle
  • Algorithmische Informationstheorie: Kompressions-Theorie basierend auf Kolmogorov-Komplexität

Vorhersagekodierung

  • Traditionelle Vorhersagekodierung: Vorhersage-Verarbeitungstheorie von Friston (2018) und anderen
  • Hierarchische Vorhersage: Dieser Artikel bietet eine auf Symmetrie basierende mathematische Formalisierung

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Symmetrie als Kompression: Kompositorische Symmetrie bietet einen strukturierten Kompressionsmechanismus für natürliche Daten
  2. Notwendigkeit der Äquivarianz: Genaues Welt-Tracking erfordert Äquivarianz der Agenten-Dynamik
  3. Hierarchische Geometrie: Die kompositorische Zerlegung von Lie-Pseudogruppen führt natürlich zu verschachtelten reduziert-dimensionalen Mannigfaltigkeiten
  4. Geometrische Grundlagen der Vorhersagekodierung: Bietet einen strengen mathematischen Rahmen für Vorhersagekodierung basierend auf Residualtransformationen

Einschränkungen

  1. Lokalitätsannahme: Alle Konstruktionen sind lokal, globale Aussagen erfordern zusätzliche Kompatibilitätsbedingungen
  2. Komplexe latente Räume: Kann fehlschlagen, wenn der latente Raum des generativen Modells sehr komplex ist
  3. Praktische Implementierungsherausforderungen: Es existiert eine Lücke zwischen Theorie und praktischer neuronaler Netzwerk-Implementierung

Zukünftige Richtungen

  1. Verallgemeinerung auf stochastische Eingaben: Erweiterung auf stochastische Eingaben und Robustheitsanalyse
  2. Entwicklung von Lyapunov-Operatoren: Entwicklung effektiver K-Operatoren für Welt-Tracking-Probleme
  3. Empirische Verifikation: Testen äquivarianter Architekturen unter kontrollierter generierter Symmetrie
  4. Spencer-Exaktheit: Etablierung formaler Verbindungen zu Spencer-Exaktheit, Modulräumen und Integrabilitätsgarantien praktischer Lernsysteme

Tiefgreifende Bewertung

Stärken

  1. Theoretische Innovativität: Innovative Kombination von Lie-Pseudogruppen-Theorie mit algorithmischer Agenten-Theorie
  2. Mathematische Strenge: Bietet strenge mathematische Formalisierung mit Verbindungen zu mehreren mathematischen Bereichen
  3. Einheitlichkeit: Vereinigt Kompression, Symmetrie und hierarchisches Lernen in einem einzigen Rahmen
  4. Praktische Orientierung: Bietet theoretische Orientierung für das Design äquivarianter Netzwerke
  5. Interdisziplinärer Wert: Verbindet Mathematik, maschinelles Lernen, Neurowissenschaften und andere Bereiche

Mängel

  1. Unzureichende experimentelle Verifikation: Hauptsächlich theoretische Arbeit mit mangelnder experimenteller Verifikation
  2. Komplexität: Die mathematische Formalisierung ist relativ komplex und könnte praktische Anwendungen einschränken
  3. Annahme-Einschränkungen: Beruht auf der Annahme, dass Daten tatsächlich von Lie-Pseudogruppen erzeugt werden
  4. Fehlende Implementierungsdetails: Unzureichende Details beim Übergang von Theorie zu praktischen Algorithmen

Einflussfähigkeit

  1. Theoretischer Beitrag: Bietet neue Perspektiven auf die mathematischen Grundlagen des Deep Learning
  2. Methodologischer Wert: Bietet Orientierung für das Design symmetrie-bewusster neuronaler Architekturen
  3. Bereichsübergreifender Einfluss: Könnte Bereiche wie Computerneurowissenschaften und Robotik beeinflussen
  4. Langfristige Bedeutung: Der etablierte theoretische Rahmen hat langfristigen Forschungswert

Anwendungsszenarien

  1. Bereiche mit expliziter Symmetrie: Wie Robotik und geometrische Transformationen in Computer Vision
  2. Hierarchische Daten: Datentypen mit natürlicher hierarchischer Struktur
  3. Kompressions-Aufgaben: Anwendungen, die strukturierte Kompression erfordern
  4. Vorhersagekodierungs-Systeme: Vorhersagekodierungs-Implementierungen, die theoretische Grundlagen benötigen

Literaturverzeichnis

Das Papier zitiert umfangreiche verwandte Arbeiten, einschließlich:

  • Cover & Thomas (2006): Grundlagen der algorithmischen Informationstheorie
  • Goldschmidt (1967), Seiler (2010): Spencer-Theorie von Lie-Pseudogruppen
  • Poggio et al. (2016, 2020): Kompositorische Theorie des Deep Learning
  • Friston (2018): Vorhersagekodierungs-Theorie
  • Lynch & Park (2017): Lie-Gruppen-Methoden in moderner Robotik

Gesamtbewertung: Dies ist eine hochgradig theoretische Arbeit, die versucht, einen mathematischen theoretischen Rahmen basierend auf Lie-Pseudogruppen für algorithmische intelligente Agenten zu etablieren. Während die mathematische Formalisierung streng und innovativ ist, erfordert sie mehr experimentelle Verifikation, um ihren praktischen Wert zu demonstrieren. Diese Arbeit bietet neue mathematische Werkzeuge zum Verständnis von Symmetrie und hierarchischer Struktur im Deep Learning und hat wichtige theoretische Bedeutung.