सामान्य क्रिया स्थानों में熵 नियमितकृत MDPs के लिए actor-critic का अभिसरण

मूल जानकारी

• पेपर ID: 2510.14898
• शीर्षक: सामान्य क्रिया स्थानों में熵 नियमितकृत MDPs के लिए actor-critic का अभिसरण
• लेखक: Denis Zorba, David Šiška, Lukasz Szpruch
• वर्गीकरण: math.OC (अनुकूलन और नियंत्रण)
• प्रकाशन समय: 16 अक्टूबर 2025 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2510.14898

सारांश

यह पेपर सिद्ध करता है कि निरंतर अवस्था और क्रिया स्थानों में, रैखिक फ़ंक्शन सन्निकटन और Q-फ़ंक्शन प्राप्यता शर्तों के साथ, अनंत क्षितिज熵 नियमितकृत मार्कोव निर्णय प्रक्रियाओं (MDPs) के युग्मित actor-critic ग्रेडिएंट प्रवाह की स्थिरता और वैश्विक अभिसरण। अनुसंधान एक actor-critic ग्रेडिएंट प्रवाह वेरिएंट पर विचार करता है, जहां आलोचक (critic) अस्थायी अंतर (TD) सीखने का उपयोग करके अपडेट करता है, जबकि नीति विभिन्न समय पैमानों पर नीति दर्पण वंश विधि का उपयोग करके अपडेट करती है। पेपर actor-critic प्रवाह की स्थिरता और इष्टतम नीति के लिए घातीय अभिसरण को सिद्ध करता है, और समय पैमाने पृथक्करण और熵 नियमितीकरण के बीच परस्पर क्रिया का विश्लेषण करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस पेपर द्वारा हल की जाने वाली मूल समस्या सामान्य क्रिया स्थानों (निरंतर या अनंत) में熵 नियमितकृत MDP में actor-critic विधि की स्थिरता और अभिसरण विश्लेषण है। विशेष रूप से:

1. स्थिरता समस्या: निरंतर समय गतिशीलता के तहत, actor और critic के युग्मित अपडेट क्या सिस्टम अस्थिरता का कारण बनते हैं
2. अभिसरण समस्या: क्या सिस्टम इष्टतम नीति में अभिसरित होता है, अभिसरण की गति क्या है
3. समय पैमाने पृथक्करण: विभिन्न अपडेट गति सिस्टम प्रदर्शन को कैसे प्रभावित करती है

अनुसंधान का महत्व

1. सैद्धांतिक आधार: व्यावहारिक अनुप्रयोगों में व्यापक रूप से उपयोग की जाने वाली actor-critic एल्गोरिदम के लिए कठोर सैद्धांतिक गारंटी प्रदान करता है
2. सामान्य विस्तार: मौजूदा परिमित क्रिया स्थान परिणामों को निरंतर/अनंत क्रिया स्थानों तक विस्तारित करता है
3. 熵 नियमितीकरण: अन्वेषण को बढ़ावा देने और अभिसरण को तेज करने में熵 नियमितीकरण की भूमिका का विश्लेषण करता है

मौजूदा विधियों की सीमाएं

1. क्रिया स्थान प्रतिबंध: मौजूदा熵 नियमितकृत MDP के अभिसरण परिणाम मुख्य रूप से परिमित क्रिया स्थानों तक सीमित हैं
2. फ़ंक्शन सन्निकटन चुनौती: सामान्य अवस्था और क्रिया स्थानों में फ़ंक्शन सन्निकटन के पूर्व सीमा का अभाव
3. युग्मित विश्लेषण जटिलता: यूक्लिडियन स्थान और माप स्थान पर उत्तल विश्लेषण उपकरणों को संयोजित करने की आवश्यकता

मुख्य योगदान

1. स्थिरता ढांचा: Lyapunov-आधारित स्थिरता ढांचा विकसित किया जो熵 नियमितीकरण और समय पैमाने पृथक्करण के बीच परस्पर क्रिया को पकड़ता है
2. अभिसरण प्रमाण: अनंत क्रिया स्थान के熵 नियमितकृत MDP में actor-critic गतिशीलता के अभिसरण को सिद्ध किया
3. घातीय अभिसरण दर: इष्टतम नीति के लिए घातीय अभिसरण दर स्थापित की
4. निरंतर समय विश्लेषण: निरंतर समय सीमा में युग्मित अपडेट का विश्लेषण, आलोचक के अर्ध-ग्रेडिएंट प्रवाह और actor के अनुमानित Fisher-Rao ग्रेडिएंट प्रवाह का निर्माण

विधि विवरण

कार्य परिभाषा

अनंत क्षितिज MDP $(S,A,P,c,γ)$ पर विचार करें, जहां:

• $S$, $A$: पोलिश स्थान (अवस्था और क्रिया स्थान)
• $P \in P(S|S \times A)$: अवस्था संक्रमण कर्नेल
• $c$: परिबद्ध लागत फ़ंक्शन
• $γ \in (0,1)$: छूट कारक
• $τ > 0$: नियमितीकरण पैरामीटर

熵 नियमितकृत मूल्य फ़ंक्शन को परिभाषित किया जाता है: $V^π_τ(s) = E^π_s\left[\sum_{n=0}^∞ γ^n(c(s_n,a_n) + τ \text{KL}(π(·|s_n)|μ))\right]$

मॉडल आर्किटेक्चर

1. नीति पैरामीटराइजेशन

नीति स्वीकार्य नीति वर्ग $Π_μ$ से संबंधित है: $π(da|s) = \frac{\exp(f(s,a))}{\int_A \exp(f(s,a))μ(da)}μ(da)$

2. Q-फ़ंक्शन रैखिक सन्निकटन

फीचर मैपिंग $φ: S \times A → R^N$ का उपयोग करें: $Q(s,a;θ) = ⟨θ, φ(s,a)⟩$

3. युग्मित गतिशील प्रणाली

निरंतर समय actor-critic प्रवाह: $\frac{dθ_t}{dt} = -η_t g(θ_t, π_t)$$∂_t π_t(da|s) = -A_t(s,a)π_t(da|s)$

जहां:

• $g(θ,π)$: माध्य वर्ग Bellman त्रुटि (MSBE) का अर्ध-ग्रेडिएंट
• $A_t(s,a)$: अनुमानित नरम लाभ फ़ंक्शन
• $η_t$: समय पैमाने पृथक्करण पैरामीटर

तकनीकी नवाचार

1. Fisher-Rao ग्रेडिएंट प्रवाह

नीति अपडेट को संभाव्यता माप स्थान पर Fisher-Rao ग्रेडिएंट प्रवाह के रूप में मॉडल करें: $∂_t \ln\frac{dπ_t}{dμ}(s,a) = -A^{π_t}_τ(s,a)$

2. दो समय पैमाने विश्लेषण

• Critic तेज समय पैमाने पर अपडेट करता है (TD सीखना)
• Actor धीमे समय पैमाने पर अपडेट करता है (नीति दर्पण वंश)

3. Lyapunov स्थिरता विश्लेषण

Lyapunov फ़ंक्शन का निर्माण करें सिस्टम स्थिरता का विश्लेषण करने के लिए, संयोजित करें:

• यूक्लिडियन स्थान का उत्तल विश्लेषण
• माप स्थान का उत्तल विश्लेषण

सैद्धांतिक विश्लेषण

मुख्य मान्यताएं

मान्यता 4.1 (Q^π_τ-प्राप्यता): सभी $π ∈ Π_μ$ और $(s,a) ∈ S × A$ के लिए, $θ^π ∈ R^N$ मौजूद है जैसे: $Q^π(s,a) = ⟨θ^π, φ(s,a)⟩$

मान्यता 4.2: $|φ(s,a)| ≤ 1$ सभी $(s,a) ∈ S × A$ के लिए

मान्यता 4.3: मैट्रिक्स $\int_{S×A} φ(s,a)φ(s,a)^⊤ β(ds,da)$ का न्यूनतम eigenvalue $λ_β > 0$

मुख्य सैद्धांतिक परिणाम

स्थिरता प्रमेय (Theorem 5.1)

मान लीजिए $η_0 > \frac{τ}{Γ}$, जहां $Γ = λ_β(1-γ)(1-\sqrt{γ})$, तो स्थिरांक $a_1, a_2 > 0$ मौजूद हैं जैसे: $K_t^2 ≤ a_1 + a_2 \int_0^t e^{-τ(t-r)} K_r^2 dr$

जहां $K_t = \sup_{s∈S} \text{KL}(π_t(·|s)|μ)$।

अभिसरण प्रमेय (Theorem 6.1)

सभी $t > 0$ के लिए: $\min_{r∈[0,t]} V^{π_r}_τ(ρ) - V^{π^*}_τ(ρ) ≤ \frac{τ}{2(1-γ)(1-e^{-\frac{τ}{2}t})}\left(e^{-\frac{τ}{2}t}\int_S \text{KL}(π^*(·|s)|π_0(·|s))d^{π^*}_ρ(ds) + \frac{1}{2τ}\int_0^t e^{-\frac{τ}{2}(t-r)}|θ_r - θ^{π_r}|^2 dr\right)$

घातीय अभिसरण (Theorem 6.3)

उपयुक्त शर्तों के तहत, $η_t = η_0 e^{k_1 t}$ और स्थिरांक $k_2 > 0$ मौजूद हैं जैसे: $\min_{r∈[0,t]} V^{π_r}_τ(ρ) - V^{π^*}_τ(ρ) ≤ \frac{τe^{-\frac{τ}{2}t}}{2(1-γ)(1-e^{-\frac{τ}{2}t})}\left(\int_S \text{KL}(π^*(·|s)|π_0(·|s))d^{π^*}_ρ(ds) + \frac{k_2}{2τ}\right)$

मुख्य तकनीकी उपकरण

1. प्रदर्शन अंतर लेम्मा (Performance Difference Lemma)

$V^π_τ(ρ) - V^{π'}_τ(ρ) = \frac{1}{1-γ}\int_S \left[\int_A (Q^{π'}_τ(s,a) + τ\ln\frac{dπ'}{dμ}(a,s))(π-π')(da|s) + τ\text{KL}(π(·|s)|π'(·|s))\right] d^π_ρ(ds)$

2. Gronwall असमानता अनुप्रयोग

KL विचलन और पैरामीटर मानदंड की वृद्धि को नियंत्रित करने के लिए उपयोग किया जाता है।

3. अवस्था-क्रिया व्यस्ততता माप गुण

लेम्मा 5.1: $d^π_{Jπβ}(E) = J_π d^π_β(E)$$d^π_β(E) - γd^π_{J_π β}(E) = (1-γ)β(E)$

संबंधित कार्य

बिना नियमितीकरण सेटिंग

• Borkar & Konda (1997): दोहरे समय पैमाने स्टोकेस्टिक सन्निकटन
• Bhandari et al. (2021): रैखिक फ़ंक्शन सन्निकटन का परिमित समय विश्लेषण
• Zhang et al. (2021): Wasserstein प्रवाह और प्रतिनिधित्व सीखना

熵 नियमितीकरण सेटिंग

• Cayci et al. (2024): परिमित क्रिया स्थान का प्राकृतिक नीति ग्रेडिएंट
• यह पेपर सामान्य क्रिया स्थान तक विस्तारित करता है

तकनीकी योगदान तुलना

मौजूदा कार्य की तुलना में इस पेपर के लाभ:

1. निरंतर/अनंत क्रिया स्थान को संभालता है
2. कठोर स्थिरता और अभिसरण प्रमाण 3.熵 नियमितीकरण और समय पैमाने पृथक्करण के बीच परस्पर क्रिया का विश्लेषण

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. स्थिरता गारंटी: उपयुक्त समय पैमाने पृथक्करण शर्तों के तहत, सिस्टम स्थिर रहता है
2. घातीय अभिसरण: इष्टतम नीति के लिए घातीय अभिसरण दर
3. 熵 नियमितीकरण प्रभाव: 熵 नियमितीकरण अद्वितीय इष्टतम नीति सुनिश्चित करता है और अभिसरण को तेज करता है

सीमाएं

1. निरंतर समय मान्यता: केवल निरंतर समय गतिशीलता का विश्लेषण, असतत समय अधिक व्यावहारिक है
2. रैखिक फ़ंक्शन सन्निकटन: व्यावहारिक रूप से अक्सर गैर-रैखिक तंत्रिका नेटवर्क का उपयोग किया जाता है
3. सटीक एकीकरण मान्यता: व्यावहारिक रूप से नमूनाकरण अनुमान की आवश्यकता होती है, Monte Carlo त्रुटि का परिचय देता है
4. Q-फ़ंक्शन प्राप्यता: मजबूत मान्यता, व्यावहारिक रूप से संतुष्ट नहीं हो सकती

भविष्य की दिशाएं

1. असतत समय एल्गोरिदम का कठोर विश्लेषण
2. गैर-रैखिक फ़ंक्शन सन्निकटन का विस्तार
3. नमूनाकरण त्रुटि का उपचार
4. कमजोर प्राप्यता शर्तें

गहन मूल्यांकन

लाभ

1. सैद्धांतिक कठोरता: पूर्ण स्थिरता और अभिसरण प्रमाण प्रदान करता है
2. तकनीकी नवाचार: Fisher-Rao ज्यामिति को Lyapunov विश्लेषण के साथ चतुराई से संयोजित करता है
3. सामान्यता: निरंतर क्रिया स्थान तक विस्तारित करता है, सैद्धांतिक अंतराल भरता है
4. स्पष्ट प्रस्तुति: विस्तृत गणितीय व्युत्पत्ति, तार्किक स्पष्टता

कमियां

1. व्यावहारिक सीमाएं: मजबूत मान्यता शर्तें व्यावहारिक रूप से संतुष्ट करना कठिन है
2. प्रायोगिक सत्यापन की कमी: शुद्ध सैद्धांतिक कार्य, संख्यात्मक सत्यापन की कमी
3. कम्प्यूटेशनल जटिलता: एल्गोरिदम की कम्प्यूटेशनल जटिलता पर चर्चा नहीं
4. सीमित प्रयोज्यता: निरंतर समय मान्यता व्यावहारिक अनुप्रयोग को सीमित करती है

प्रभाव

1. सैद्धांतिक योगदान: 熵 नियमितकृत MDP के लिए महत्वपूर्ण सैद्धांतिक आधार प्रदान करता है
2. पद्धति मूल्य: विश्लेषण तकनीकें अन्य सुदृढ़ीकरण सीखने एल्गोरिदम पर लागू हो सकती हैं
3. अनुवर्ती अनुसंधान: असतत समय और अधिक सामान्य सेटिंग के अनुसंधान के लिए आधार तैयार करता है

प्रयोज्य परिदृश्य

1. सैद्धांतिक अनुसंधान: अन्य अनुसंधान के लिए सैद्धांतिक उपकरण और अंतर्दृष्टि प्रदान करता है
2. एल्गोरिदम डिजाइन: व्यावहारिक एल्गोरिदम के पैरामीटर चयन और अभिसरण विश्लेषण का मार्गदर्शन करता है
3. निरंतर नियंत्रण: निरंतर अवस्था-क्रिया स्थान नियंत्रण समस्याएं

संदर्भ

पेपर 25 महत्वपूर्ण संदर्भों का हवाला देता है, जिसमें शामिल हैं:

• Actor-critic विधि का शास्त्रीय कार्य (Konda & Tsitsiklis, 1999)
• 熵 नियमितकृत MDP (Kerimkulov et al., 2024)
• नीति ग्रेडिएंट विधि (Schulman et al., 2015, 2017)
• फ़ंक्शन सन्निकटन सिद्धांत (Bhandari et al., 2021)

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला सैद्धांतिक पेपर है जो熵 नियमितकृत MDP में actor-critic विधि के लिए कठोर गणितीय विश्लेषण प्रदान करता है। हालांकि व्यावहारिक अनुप्रयोग के संदर्भ में सीमाएं हैं, इसके सैद्धांतिक योगदान और पद्धति मूल्य महत्वपूर्ण हैं, जो इस क्षेत्र के आगे के विकास के लिए एक महत्वपूर्ण आधार तैयार करते हैं।