Symétrie Compositionnelle comme Compression : Structure de Pseudogroupe de Lie dans les Agents Algorithmiques

Informations Fondamentales

• ID de l'article : 2510.10586
• Titre : Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
• Auteur : Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelone, Espagne)
• Classification : cs.LG cs.AI cs.IT math.IT q-bio.NC
• Date de publication/Conférence : En révision - Proceedings Track 2025
• Lien de l'article : https://arxiv.org/abs/2510.10586

Résumé

Cet article, basé sur le cadre de la théorie algorithmique de l'information (théorie de Kolmogorov), propose que les agents intelligents sont des programmes qui suivent et compressent les flux sensoriels en générant des programmes. L'auteur propose un cadre dans lequel les priors structurels pertinents sont compris comme des symétries compositionnelles : les flux de données naturels peuvent être bien décrits par l'action locale de pseudogroupes de Lie à paramètres finis sur des variétés de configuration de faible dimension géométriquement et topologiquement complexes. En modélisant les agents comme des systèmes dynamiques neuraux génériques couplés à de tels flux de données, l'article démontre que le suivi précis du monde nécessite : (1) des contraintes structurelles — l'équivariance des équations constitutives de l'agent et des lectures ; (2) des contraintes dynamiques — sous entrée statique, la symétrie induit des quantités conservées dans la dynamique de l'agent et restreint les trajectoires à des variétés invariantes de dimension réduite. Cela produit une hiérarchie de variétés de dimension réduite alignée avec la décomposition compositionnelle du pseudogroupe, fournissant une explication géométrique de la « bénédiction de la compositionnalité » dans les modèles profonds.

Contexte et Motivation de la Recherche

Problème Central

Le problème central que cet article vise à résoudre est : comment construire un cadre théorique basé sur la symétrie pour les agents algorithmiques intelligents, leur permettant de compresser et suivre efficacement les flux de données naturels possédant une structure compositionnelle ?

Importance de la Recherche

1. Compression et Découverte de Structure : Dans le cadre de la théorie de Kolmogorov, la tâche centrale des agents est de construire des modèles compressés pour comprendre l'environnement, tandis que la symétrie fournit un mécanisme de compression structuré naturel
2. Fondements Théoriques de l'Apprentissage Profond : Fournir une explication théorique mathématique pour la complexité d'échantillonnage supérieure des modèles profonds sur les tâches hiérarchisées
3. Fondements Géométriques du Codage Prédictif : Fournir un cadre théorique géométrique basé sur la symétrie pour le codage prédictif

Limitations des Approches Existantes

1. Hypothèse de Variété Insuffisante : Un prior de variété seul sans structure géométrique de couverture supplémentaire est insuffisant
2. Absence de Théorie de Compression Structurée : Les méthodes existantes manquent d'un cadre théorique unifié intégrant la symétrie, la compression et l'apprentissage hiérarchisé
3. Fondements Mathématiques Manquants du Codage Prédictif : Le codage prédictif traditionnel manque de formalisation mathématique rigoureuse

Contributions Principales

1. Proposition d'un cadre de modèle génératif basé sur les pseudogroupes de Lie : Définition des modèles génératifs comme l'action locale de pseudogroupes de Lie à paramètres finis sur des variétés de configuration
2. Établissement d'une théorie dynamique du suivi du monde avec contraintes de symétrie : Démonstration que le suivi précis nécessite des contraintes d'équivariance et des quantités conservées de type Noether
3. Construction d'une théorie géométrique de la réduction dimensionnelle hiérarchisée : Établissement d'une hiérarchie de variétés invariantes imbriquées par décomposition compositionnelle du pseudogroupe
4. Fourniture d'une implémentation du codage prédictif basée sur la symétrie : Formalisation du traitement prédictif hiérarchisé, où les niveaux supérieurs ne reçoivent que les transformations résiduelles grossières
5. Connexion avec la théorie formelle de Spencer : Liaison du complexe de Spencer des pseudogroupes de Lie avec la structure hiérarchisée des agents

Explication Détaillée de la Méthode

Définition de la Tâche

La tâche centrale étudiée dans cet article est la construction d'agents algorithmiques capables de suivre et compresser les flux de données sensoriels possédant une symétrie compositionnelle. L'entrée est un flux de données généré par un pseudogroupe de Lie, et la sortie est la représentation d'état interne de l'agent et sa performance de suivi du monde.

Cadre Théorique

1. Définition du Modèle Génératif

Définition 1 (Modèle Génératif) : Un modèle génératif est une application lisse d'une variété de configuration M-dimensionnelle C vers l'espace d'observation R^X :

f: C → R^X, I = f(c)

Définition 2 (Modèle Génératif de Lie) : f est appelé modèle génératif de Lie s'il existe un pseudogroupe de Lie G agissant sur C et R^X tel que pour tout c ∈ C, il existe γ ∈ G satisfaisant :

c = γ·c₀, f(c) = γ·I₀

2. Dynamique du Suivi du Monde

L'état de haute dimension x ∈ R^X de l'agent obéit à l'équation du réseau neuronal :

ẋ = F(x; w, I_θ(t))  (2)

La contrainte de suivi du monde est :

p(x(t)) ≈ I_θ(t)  (3)

3. Exigences d'Équivariance

Le suivi efficace nécessite que la dynamique interne respecte la même action de groupe :

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

Points d'Innovation Technique

1. Structure Récursive de la Symétrie Compositionnelle

Utilisant l'application exponentielle du pseudogroupe de Lie, les transformations complexes peuvent être décomposées en :

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

Cela fournit une paramétrisation compositionnelle récursive, réalisant une compression structurée.

2. Quantités Conservées de Type Noether

Sous entrée statique, l'équivariance entraîne l'invariance de la lecture : p(x) = const, chaque canal de lecture définissant une quantité conservée, les trajectoires étant restreintes aux feuilles de l'espace des phases (X-Y)-dimensionnel.

3. Grossissement Hiérarchisé

Par drapeau de sous-pseudogroupe :

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

Construction de variétés imbriquées de dimension réduite :

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. Implémentation de Couches Prédictives

Chaque couche k prédit Îₖ = γ̂ₖ·I₀, calculant le résidu :

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

Application de l'opérateur de grossissement :

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

Configuration Expérimentale

Preuve de Concept : Modèle de Chat Blender

L'article fournit un exemple d'implémentation concret en annexe, utilisant le rigging du personnage chat du logiciel Blender comme application pratique de la hiérarchie de structure du pseudogroupe de Lie :

Cartographie de la Hiérarchie

1. Niveau 1 : Caméra et lentille - SE(3) × R
2. Niveau 2 : Corps global/racine - SE(3)
3. Niveau 3 : Chaîne tronc/colonne vertébrale - R^n_spine
4. Niveau 4 : Membres/griffes/queue - R^n_limb
5. Niveau 5 : Morphologie faciale - R^d_face
6. Niveau 6 : Apparence/fourrure/matériaux - R^d_mat
7. Niveau 7 : Éclairage et environnement - SE(3) × R^d_SH

Implémentation de l'Action Compositionnelle

Utilisation du modèle Product of Exponentials (PoE) :

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

Résultats Expérimentaux

Vérification Théorique

1. Contraintes d'Équivariance : Démonstration que la compatibilité entre contraintes de suivi et invariants nécessite l'équivariance
2. Lois de Conservation : Sous entrée statique, chaque canal de lecture définit une quantité conservée
3. Contraintes de Réduction Dimensionnelle : Les trajectoires sont restreintes à des feuilles invariantes de faible dimension
4. Compatibilité Hiérarchique : Le complexe de Spencer garantit l'intégrabilité des contraintes hiérarchiques

Implémentation Conceptuelle

L'exemple Blender démontre :

• L'implémentation pratique de la décomposition de groupe local γ = γ^(7)γ^(6)...γ^(1)
• La signification géométrique des espaces quotients imbriqués Mₖ = Mₖ₋₁/Hₖ
• Le mécanisme de propagation des résidus prédictifs dans les directions quotients

Travaux Connexes

Symétrie et Apprentissage Profond

• Réseaux Équivariants de Groupe : Les contraintes d'équivariance de cet article sont spirituellement similaires aux CNN équivariants de groupe
• Apprentissage d'Invariants : Apprentissage de groupes de Lie pour l'invariance visuelle par Miao & Rao (2007) et autres
• Découverte de Symétrie : Méthodes d'inférence de symétrie par Moskalev et al. (2022) et autres

Apprentissage de Variétés et Compression

• Hypothèse de Variété : Extension de l'hypothèse de variété traditionnelle avec structure géométrique de couverture
• Représentation Hiérarchisée : Connexion avec l'apprentissage de représentation hiérarchisée des modèles profonds
• Théorie Algorithmique de l'Information : Théorie de compression basée sur la complexité de Kolmogorov

Codage Prédictif

• Codage Prédictif Traditionnel : Théorie du traitement prédictif par Friston (2018) et autres
• Codage Prédictif Hiérarchisé : Cet article fournit une formalisation mathématique basée sur la symétrie

Conclusion et Discussion

Conclusions Principales

1. La Symétrie est Compression : La symétrie compositionnelle fournit un mécanisme de compression structuré naturel pour les données
2. Nécessité de l'Équivariance : Le suivi précis du monde nécessite l'équivariance de la dynamique de l'agent
3. Géométrie Hiérarchisée : La décomposition compositionnelle du pseudogroupe de Lie conduit naturellement à des variétés imbriquées de dimension réduite
4. Fondements Géométriques du Codage Prédictif : Fournit un cadre mathématique rigoureux basé sur les transformations résiduelles pour le codage prédictif

Limitations

1. Hypothèse de Localité : Toutes les constructions sont locales, les énoncés globaux nécessitant des conditions de compatibilité supplémentaires
2. Espace Latent Complexe : Peut échouer lorsque l'espace latent du modèle génératif est très complexe
3. Défis d'Implémentation Pratique : Existence d'un écart entre la théorie et l'implémentation pratique en réseaux de neurones

Directions Futures

1. Généralisation aux Entrées Stochastiques : Extension aux entrées stochastiques et analyse de la robustesse
2. Développement d'Opérateurs de Lyapunov : Développement d'opérateurs K efficaces pour les problèmes de suivi du monde
3. Vérification Empirique : Test d'architectures équivariantes sous symétries génératrices contrôlées
4. Exactitude de Spencer : Établissement de connexions formelles avec l'exactitude de Spencer, les espaces de modules et les garanties d'intégrabilité des systèmes d'apprentissage pratiques

Évaluation Approfondie

Points Forts

1. Innovation Théorique : Combinaison innovante de la théorie des pseudogroupes de Lie avec la théorie des agents algorithmiques
2. Rigueur Mathématique : Formalisation mathématique rigoureuse connectant plusieurs domaines mathématiques
3. Unification : Unification de la compression, de la symétrie et de l'apprentissage hiérarchisé dans un cadre unique
4. Orientation Pratique : Fournit des orientations théoriques pour la conception de réseaux équivariants
5. Valeur Interdisciplinaire : Connexion entre mathématiques, apprentissage automatique, neurosciences computationnelles et autres domaines

Insuffisances

1. Vérification Expérimentale Insuffisante : Principalement un travail théorique, manquant de vérification expérimentale adéquate
2. Complexité : La formalisation mathématique est plutôt complexe, pouvant limiter les applications pratiques
3. Limitations des Hypothèses : Dépend de l'hypothèse que les données sont effectivement générées par des pseudogroupes de Lie
4. Détails d'Implémentation Manquants : Les détails de la transition de la théorie à l'algorithme pratique ne sont pas suffisamment développés

Impact Potentiel

1. Contribution Théorique : Fournit une nouvelle perspective sur les fondements mathématiques de l'apprentissage profond
2. Valeur Méthodologique : Fournit des orientations pour la conception d'architectures neurales sensibles à la symétrie
3. Impact Interdisciplinaire : Peut influencer les domaines de la neuroscience computationnelle, de la robotique et autres
4. Valeur à Long Terme : Le cadre théorique établi possède une valeur de recherche à long terme

Scénarios d'Application

1. Domaines avec Symétries Explicites : Tels que la robotique et les transformations géométriques en vision par ordinateur
2. Données Hiérarchisées : Types de données possédant une structure hiérarchique naturelle
3. Tâches de Compression : Applications nécessitant une compression structurée
4. Systèmes de Codage Prédictif : Implémentations de codage prédictif nécessitant des fondements théoriques

Références

L'article cite des travaux connexes abondants, incluant :

• Cover & Thomas (2006) : Fondements de la théorie algorithmique de l'information
• Goldschmidt (1967), Seiler (2010) : Théorie de Spencer des pseudogroupes de Lie
• Poggio et al. (2016, 2020) : Théorie de la compositionnalité de l'apprentissage profond
• Friston (2018) : Théorie du codage prédictif
• Lynch & Park (2017) : Méthodes de groupes de Lie en robotique moderne

Évaluation Globale : Ceci est un travail hautement théorisé tentant d'établir un cadre mathématique basé sur les pseudogroupes de Lie pour les agents algorithmiques intelligents. Bien que la formalisation mathématique soit rigoureuse et innovante, elle nécessite davantage de vérification expérimentale pour démontrer sa valeur pratique. Ce travail fournit de nouveaux outils mathématiques pour comprendre la symétrie et la structure hiérarchique dans l'apprentissage profond, possédant une importance théorique significative.