2025-11-13T00:34:10.513475

Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents

Ruffini
In the algorithmic (Kolmogorov) view, agents are programs that track and compress sensory streams using generative programs. We propose a framework where the relevant structural prior is simplicity (Solomonoff) understood as \emph{compositional symmetry}: natural streams are well described by (local) actions of finite-parameter Lie pseudogroups on geometrically and topologically complex low-dimensional configuration manifolds (latent spaces). Modeling the agent as a generic neural dynamical system coupled to such streams, we show that accurate world-tracking imposes (i) \emph{structural constraints} -- equivariance of the agent's constitutive equations and readouts -- and (ii) \emph{dynamical constraints}: under static inputs, symmetry induces conserved quantities (Noether-style labels) in the agent dynamics and confines trajectories to reduced invariant manifolds; under slow drift, these manifolds move but remain low-dimensional. This yields a hierarchy of reduced manifolds aligned with the compositional factorization of the pseudogroup, providing a geometric account of the ``blessing of compositionality'' in deep models. We connect these ideas to the Spencer formalism for Lie pseudogroups and formulate a symmetry-based, self-contained version of predictive coding in which higher layers receive only \emph{coarse-grained residual transformations} (prediction-error coordinates) along symmetry directions unresolved at lower layers.
academic

संरचनात्मक सममिति संपीड़न के रूप में: एल्गोरिथमिक एजेंटों में लाई स्यूडोग्रुप संरचना

मूल जानकारी

  • पेपर ID: 2510.10586
  • शीर्षक: Compositional Symmetry as Compression: Lie Pseudogroup Structure in Algorithmic Agents
  • लेखक: Giulio Ruffini (Neuroelectrics, Starlab, BCOM, Barcelona, Spain)
  • वर्गीकरण: cs.LG cs.AI cs.IT math.IT q-bio.NC
  • प्रकाशन समय/सम्मेलन: समीक्षाधीन - Proceedings Track 2025
  • पेपर लिंक: https://arxiv.org/abs/2510.10586

सारांश

यह पेपर एल्गोरिथमिक सूचना सिद्धांत (कोलमोगोरोव सिद्धांत) के ढांचे पर आधारित है, जो प्रस्तावित करता है कि एजेंट ऐसे प्रोग्राम हैं जो संवेदी प्रवाह को ट्रैक और संपीड़ित करने के लिए जनरेटिव प्रोग्राम के माध्यम से कार्य करते हैं। लेखक एक ढांचा प्रस्तावित करता है जो प्रासंगिक संरचनात्मक पूर्वधारणाओं को संरचनात्मक सममिति (compositional symmetry) के रूप में समझता है: प्राकृतिक डेटा प्रवाह को परिमित पैरामीटर लाई स्यूडोग्रुप द्वारा ज्यामितीय और स्थलीय रूप से जटिल निम्न-आयामी विन्यास मैनिफोल्ड पर स्थानीय क्रिया के माध्यम से अच्छी तरह से वर्णित किया जा सकता है। एजेंट को ऐसे डेटा प्रवाह के साथ युग्मित सार्वभौमिक तंत्रिका गतिशील प्रणाली के रूप में मॉडलिंग करते हुए, पेपर दर्शाता है कि सटीक विश्व ट्रैकिंग के लिए आवश्यक है: (1) संरचनात्मक बाधाएं — एजेंट संवैधानिक समीकरणों और पठन की समरूपता; (2) गतिशील बाधाएं — स्थिर इनपुट के तहत, सममिति एजेंट गतिशीलता में संरक्षण मात्रा को प्रेरित करती है और प्रक्षेपवक्र को कम आयामी अपरिवर्तनीय मैनिफोल्ड तक सीमित करती है। यह स्यूडोग्रुप संरचनात्मक अपघटन के साथ संरेखित कम आयामी मैनिफोल्ड की एक पदानुक्रमित संरचना उत्पन्न करता है, जो गहन मॉडल में "संरचनात्मकता का आशीर्वाद" के लिए एक ज्यामितीय व्याख्या प्रदान करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

यह पेपर जो मूल समस्या हल करता है वह है: एल्गोरिथमिक एजेंटों के लिए सममिति-आधारित सैद्धांतिक ढांचा कैसे बनाया जाए ताकि वे संरचनात्मक संरचना वाले प्राकृतिक डेटा प्रवाह को प्रभावी ढंग से संपीड़ित और ट्रैक कर सकें?

अनुसंधान की महत्ता

  1. संपीड़न और संरचना खोज: कोलमोगोरोव सिद्धांत के ढांचे में, एजेंट का मूल कार्य पर्यावरण को समझने के लिए संपीड़न मॉडल बनाना है, जबकि सममिति प्राकृतिक संरचनात्मक संपीड़न तंत्र प्रदान करती है
  2. गहन शिक्षा का सैद्धांतिक आधार: गहन मॉडल के पदानुक्रमित कार्यों पर उच्च नमूना जटिलता के लिए गणितीय सैद्धांतिक व्याख्या प्रदान करना
  3. भविष्यसूचक कोडिंग का ज्यामितीय आधार: भविष्यसूचक कोडिंग के लिए सममिति-आधारित ज्यामितीय सैद्धांतिक ढांचा प्रदान करना

मौजूदा विधियों की सीमाएं

  1. अपर्याप्त मैनिफोल्ड धारणा: केवल मैनिफोल्ड पूर्वधारणा अतिरिक्त ज्यामितीय कवरिंग संरचना के बिना अपर्याप्त है
  2. संरचनात्मक संपीड़न सिद्धांत की कमी: मौजूदा विधियों में सममिति, संपीड़न और पदानुक्रमित शिक्षा को एकीकृत करने वाला सैद्धांतिक ढांचा नहीं है
  3. भविष्यसूचक कोडिंग में गणितीय आधार की कमी: पारंपरिक भविष्यसूचक कोडिंग में कठोर गणितीय औपचारिकता नहीं है

मूल योगदान

  1. लाई स्यूडोग्रुप-आधारित जनरेटिव मॉडल ढांचा प्रस्तावित किया: जनरेटिव मॉडल को विन्यास मैनिफोल्ड पर परिमित पैरामीटर लाई स्यूडोग्रुप की स्थानीय क्रिया के रूप में परिभाषित किया
  2. सममिति बाधा के विश्व ट्रैकिंग गतिशीलता सिद्धांत स्थापित किया: सिद्ध किया कि सटीक ट्रैकिंग के लिए समरूपता बाधा और नोएथर-शैली संरक्षण मात्रा की आवश्यकता है
  3. पदानुक्रमित कम आयामी का ज्यामितीय सिद्धांत बनाया: स्यूडोग्रुप के संरचनात्मक अपघटन के माध्यम से नेस्टेड अपरिवर्तनीय मैनिफोल्ड की पदानुक्रमित संरचना स्थापित की
  4. सममिति-आधारित भविष्यसूचक कोडिंग कार्यान्वयन प्रदान किया: पदानुक्रमित भविष्यसूचक प्रसंस्करण को औपचारिक बनाया, जहां उच्च स्तर केवल दानेदार अवशेष परिवर्तन प्राप्त करते हैं
  5. स्पेंसर औपचारिकता सिद्धांत से जुड़ा: लाई स्यूडोग्रुप के स्पेंसर कॉम्प्लेक्स को एजेंट की पदानुक्रमित संरचना से जोड़ा

विधि विवरण

कार्य परिभाषा

इस पेपर में अध्ययन किया गया मूल कार्य संरचनात्मक सममिति वाले संवेदी डेटा प्रवाह को ट्रैक और संपीड़ित करने में सक्षम एल्गोरिथमिक एजेंट बनाना है। इनपुट लाई स्यूडोग्रुप द्वारा उत्पन्न डेटा प्रवाह है, आउटपुट एजेंट का आंतरिक स्थिति प्रतिनिधित्व और विश्व ट्रैकिंग प्रदर्शन है।

सैद्धांतिक ढांचा

1. जनरेटिव मॉडल परिभाषा

परिभाषा 1 (जनरेटिव मॉडल): जनरेटिव मॉडल M-आयामी विन्यास मैनिफोल्ड C से अवलोकन स्पेस R^X तक एक चिकना मानचित्र है:

f: C → R^X, I = f(c)

परिभाषा 2 (लाई जनरेटिव मॉडल): यदि लाई स्यूडोग्रुप G मौजूद है जो C और R^X पर कार्य करता है, ऐसा कि किसी भी c ∈ C के लिए, γ ∈ G मौजूद है जो संतुष्ट करता है:

c = γ·c₀, f(c) = γ·I₀

तो f को लाई जनरेटिव मॉडल कहा जाता है।

2. विश्व ट्रैकिंग गतिशीलता

एजेंट की उच्च-आयामी स्थिति x ∈ R^X तंत्रिका नेटवर्क समीकरण का पालन करती है:

ẋ = F(x; w, I_θ(t))  (2)

विश्व ट्रैकिंग बाधा है:

p(x(t)) ≈ I_θ(t)  (3)

3. समरूपता आवश्यकता

प्रभावी ट्रैकिंग के लिए आंतरिक गतिशीलता को समान समूह क्रिया का सम्मान करना आवश्यक है:

∀γ ∈ G: f(γ·x; w, γ·I_θ) = γ·f(x; w, I_θ)
p(γ·x) = γ·p(x)  (4)

तकनीकी नवाचार बिंदु

1. संरचनात्मक सममिति की पुनरावर्ती संरचना

लाई स्यूडोग्रुप के घातीय मानचित्र का उपयोग करते हुए, जटिल परिवर्तन को विभाजित किया जा सकता है:

γ = exp(∑ᵣₖ₌₁ θₖTᵏ)

यह पुनरावर्ती संरचनात्मक पैरामीटरकरण प्रदान करता है, संरचनात्मक संपीड़न को लागू करता है।

2. नोएथर-शैली संरक्षण मात्रा

स्थिर इनपुट के तहत, समरूपता पठन अपरिवर्तनीयता को प्रेरित करती है: p(x) = const, प्रत्येक पठन चैनल एक संरक्षण मात्रा को परिभाषित करता है, प्रक्षेपवक्र (X-Y)-आयामी चरण स्पेस पत्ती तक सीमित है।

3. पदानुक्रमित दानेदारीकरण

उप-स्यूडोग्रुप ध्वज के माध्यम से:

G = H₀ ⊃ H₁ ⊃ ... ⊃ H_L

नेस्टेड कम आयामी मैनिफोल्ड का निर्माण:

M₀ ⊃ M₁ := M₀/H₁ ⊃ ... ⊃ M_L

4. भविष्यसूचक परत कार्यान्वयन

प्रत्येक परत k, Îₖ = γ̂ₖ·I₀ की भविष्यसूचना करता है, अवशेष की गणना करता है:

rₖ := γ̂ₖ⁻¹·I_θ(t) - I₀  (8)

दानेदारीकरण ऑपरेटर लागू करता है:

mₖ→ₖ₊₁ := Cₖ→ₖ₊₁(rₖ)  (9)

प्रायोगिक सेटअप

अवधारणा सत्यापन: Blender बिल्ली मॉडल

पेपर परिशिष्ट में एक ठोस कार्यान्वयन उदाहरण प्रदान करता है, जो लाई स्यूडोग्रुप पदानुक्रमित संरचना के व्यावहारिक अनुप्रयोग के रूप में Blender सॉफ्टवेयर की बिल्ली चरित्र असेंबली (rig) का उपयोग करता है:

पदानुक्रमित संरचना मानचित्रण

  1. स्तर 1: कैमरा और लेंस - SE(3) × R
  2. स्तर 2: वैश्विक शरीर/मूल - SE(3)
  3. स्तर 3: धड़/रीढ़ की हड्डी श्रृंखला - R^n_spine
  4. स्तर 4: अंग/पंजे/पूंछ - R^n_limb
  5. स्तर 5: चेहरे की आकृति विज्ञान - R^d_face
  6. स्तर 6: उपस्थिति/बाल/सामग्री - R^d_mat
  7. स्तर 7: प्रकाश और पर्यावरण - SE(3) × R^d_SH

संरचनात्मक क्रिया कार्यान्वयन

उत्पाद घातीय (Product of Exponentials, PoE) मॉडल का उपयोग:

T(θ) = (∏ₙ∈chain e^[Sₙ]θₙ) M

प्रायोगिक परिणाम

सैद्धांतिक सत्यापन

  1. समरूपता बाधाएं: ट्रैकिंग बाधा और अपरिवर्तनीयता की संगतता के लिए समरूपता की आवश्यकता को सिद्ध किया
  2. संरक्षण नियम: स्थिर इनपुट के तहत, प्रत्येक पठन चैनल संरक्षण मात्रा को परिभाषित करता है
  3. कम आयामी बाधाएं: प्रक्षेपवक्र निम्न-आयामी अपरिवर्तनीय पत्ती तक सीमित है
  4. पदानुक्रमित संगतता: स्पेंसर कॉम्प्लेक्स पदानुक्रमित बाधा की एकीकृतता को सुनिश्चित करता है

अवधारणा कार्यान्वयन

Blender उदाहरण प्रदर्शित करता है:

  • स्थानीय समूह अपघटन γ = γ^(7)γ^(6)...γ^(1) का व्यावहारिक कार्यान्वयन
  • नेस्टेड भागफल स्पेस Mₖ = Mₖ₋₁/Hₖ की ज्यामितीय व्याख्या
  • भागफल दिशा पर भविष्यसूचक अवशेष प्रसार तंत्र

संबंधित कार्य

सममिति और गहन शिक्षा

  • समूह समरूपता नेटवर्क: इस पेपर की समरूपता बाधा समूह समरूपता CNN के साथ आत्मा में समान है
  • अपरिवर्तनीयता शिक्षा: Miao & Rao (2007) आदि दृष्टि अपरिवर्तनीयता की लाई समूह शिक्षा पर
  • सममिति खोज: Moskalev et al. (2022) आदि सममिति अनुमान विधियां

मैनिफोल्ड शिक्षा और संपीड़न

  • मैनिफोल्ड धारणा: पारंपरिक मैनिफोल्ड धारणा को ज्यामितीय कवरिंग संरचना के साथ विस्तारित किया
  • पदानुक्रमित प्रतिनिधित्व: गहन मॉडल की पदानुक्रमित प्रतिनिधित्व शिक्षा से संबंधित
  • एल्गोरिथमिक सूचना सिद्धांत: कोलमोगोरोव जटिलता पर आधारित संपीड़न सिद्धांत

भविष्यसूचक कोडिंग

  • पारंपरिक भविष्यसूचक कोडिंग: Friston (2018) आदि भविष्यसूचक प्रसंस्करण सिद्धांत
  • पदानुक्रमित भविष्यसूचना: यह पेपर सममिति-आधारित गणितीय औपचारिकता प्रदान करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. सममिति ही संपीड़न है: संरचनात्मक सममिति प्राकृतिक डेटा के लिए संरचनात्मक संपीड़न तंत्र प्रदान करती है
  2. समरूपता की आवश्यकता: सटीक विश्व ट्रैकिंग के लिए एजेंट गतिशीलता की समरूपता आवश्यक है
  3. पदानुक्रमित ज्यामिति: लाई स्यूडोग्रुप का संरचनात्मक अपघटन स्वाभाविक रूप से नेस्टेड कम आयामी मैनिफोल्ड की ओर ले जाता है
  4. भविष्यसूचक कोडिंग का ज्यामितीय आधार: अवशेष परिवर्तन पर आधारित भविष्यसूचक कोडिंग के लिए कठोर गणितीय ढांचा प्रदान करता है

सीमाएं

  1. स्थानीयता धारणा: सभी निर्माण स्थानीय हैं, वैश्विक कथन के लिए अतिरिक्त संगतता शर्तें आवश्यक हैं
  2. जटिल अव्यक्त स्पेस: जब जनरेटिव मॉडल का अव्यक्त स्पेस बहुत जटिल हो तो विफल हो सकता है
  3. व्यावहारिक कार्यान्वयन चुनौतियां: सिद्धांत से वास्तविक तंत्रिका नेटवर्क कार्यान्वयन में अंतराल

भविष्य की दिशाएं

  1. यादृच्छिक इनपुट सामान्यीकरण: यादृच्छिक इनपुट तक विस्तार और मजबूती विश्लेषण
  2. Lyapunov ऑपरेटर विकास: विश्व ट्रैकिंग समस्याओं के लिए प्रभावी K ऑपरेटर विकास
  3. अनुभवजन्य सत्यापन: नियंत्रित जनरेटिव सममिति के तहत समरूपता आर्किटेक्चर का परीक्षण
  4. स्पेंसर सटीकता: स्पेंसर सटीकता, मॉड्यूल स्पेस और वास्तविक शिक्षा प्रणाली की एकीकृतता गारंटी के साथ औपचारिक संबंध स्थापित करना

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक नवाचार: लाई स्यूडोग्रुप सिद्धांत को एल्गोरिथमिक एजेंट सिद्धांत के साथ नवीन तरीके से जोड़ता है
  2. गणितीय कठोरता: कठोर गणितीय औपचारिकता प्रदान करता है, कई गणितीय क्षेत्रों को जोड़ता है
  3. एकीकृतता: संपीड़न, सममिति, पदानुक्रमित शिक्षा को एकल ढांचे में एकीकृत करता है
  4. व्यावहारिक मार्गदर्शन: समरूपता नेटवर्क डिजाइन के लिए सैद्धांतिक मार्गदर्शन प्रदान करता है
  5. अंतः-अनुशासनात्मक मूल्य: गणित, मशीन लर्निंग, तंत्रिका विज्ञान आदि कई क्षेत्रों को जोड़ता है

कमियां

  1. अपर्याप्त प्रायोगिक सत्यापन: मुख्य रूप से सैद्धांतिक कार्य, पर्याप्त प्रायोगिक सत्यापन की कमी
  2. जटिलता: गणितीय औपचारिकता काफी जटिल है, व्यावहारिक अनुप्रयोग को सीमित कर सकता है
  3. धारणा सीमाएं: डेटा वास्तव में लाई स्यूडोग्रुप द्वारा उत्पन्न होने की धारणा पर निर्भर है
  4. कार्यान्वयन विवरण की कमी: सिद्धांत से वास्तविक एल्गोरिथम कार्यान्वयन के विवरण अपर्याप्त हैं

प्रभाव

  1. सैद्धांतिक योगदान: गहन शिक्षा के गणितीय आधार के लिए नया दृष्टिकोण प्रदान करता है
  2. पद्धति मूल्य: सममिति-जागरूक तंत्रिका आर्किटेक्चर डिजाइन के लिए मार्गदर्शन प्रदान करता है
  3. अंतः-क्षेत्रीय प्रभाव: कम्प्यूटेशनल तंत्रिका विज्ञान, रोबोटिक्स आदि क्षेत्रों को प्रभावित कर सकता है
  4. दीर्घकालीन मूल्य: स्थापित सैद्धांतिक ढांचा दीर्घकालीन अनुसंधान मूल्य रखता है

लागू परिदृश्य

  1. स्पष्ट सममिति वाले क्षेत्र: जैसे रोबोटिक्स, कंप्यूटर दृष्टि में ज्यामितीय परिवर्तन
  2. पदानुक्रमित डेटा: प्राकृतिक पदानुक्रमित संरचना वाले डेटा प्रकार
  3. संपीड़न कार्य: संरचनात्मक संपीड़न की आवश्यकता वाले अनुप्रयोग
  4. भविष्यसूचक कोडिंग प्रणाली: सैद्धांतिक आधार की आवश्यकता वाली भविष्यसूचक कोडिंग कार्यान्वयन

संदर्भ

पेपर संबंधित कार्यों के समृद्ध संदर्भ उद्धृत करता है, जिनमें शामिल हैं:

  • Cover & Thomas (2006): एल्गोरिथमिक सूचना सिद्धांत आधार
  • Goldschmidt (1967), Seiler (2010): लाई स्यूडोग्रुप का स्पेंसर सिद्धांत
  • Poggio et al. (2016, 2020): गहन शिक्षा की संरचनात्मकता सिद्धांत
  • Friston (2018): भविष्यसूचक कोडिंग सिद्धांत
  • Lynch & Park (2017): आधुनिक रोबोटिक्स में लाई समूह विधियां

समग्र मूल्यांकन: यह एक अत्यधिक सैद्धांतिक कार्य है जो एल्गोरिथमिक एजेंटों के लिए लाई स्यूडोग्रुप पर आधारित गणितीय सैद्धांतिक ढांचा स्थापित करने का प्रयास करता है। हालांकि गणितीय औपचारिकता कठोर और नवीन है, लेकिन इसके व्यावहारिक मूल्य को साबित करने के लिए अधिक प्रायोगिक सत्यापन की आवश्यकता है। यह कार्य गहन शिक्षा में सममिति और पदानुक्रमित संरचना को समझने के लिए नए गणितीय उपकरण प्रदान करता है, जिसका महत्वपूर्ण सैद्धांतिक महत्व है।