2025-11-11T07:19:09.204233

Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm

Cichocki
IIn this paper we propose and investigate a new class of Generalized Exponentiated Gradient (GEG) algorithms using Mirror Descent (MD) updates, and applying the Bregman divergence with a two--parameter deformation of the logarithm as a link function. This link function (referred here to as the Euler logarithm) is associated with a relatively wide class of trace--form entropies. In order to derive novel GEG/MD updates, we estimate a deformed exponential function, which closely approximates the inverse of the Euler two--parameter deformed logarithm. The characteristic shape and properties of the Euler logarithm and its inverse--deformed exponential functions, are tuned by two hyperparameters. By learning these hyperparameters, we can adapt to the distribution of training data and adjust them to achieve desired properties of gradient descent algorithms. In the literature, there exist nowadays more than fifty mathematically well-established entropic functionals and associated deformed logarithms, so it is impossible to investigate all of them in one research paper. Therefore, we focus here on a class of trace-form entropies and the associated deformed two--parameters logarithms.
academic

यूलर दो-पैरामीटर लॉगरिदम का उपयोग करते हुए सामान्यीकृत घातीय ग्रेडिएंट एल्गोरिदम

मूल जानकारी

  • पेपर ID: 2502.17500
  • शीर्षक: Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm
  • लेखक: Andrzej Cichocki (पोलिश एकेडमी ऑफ साइंस, UMK Torun पोलैंड, टोक्यो यूनिवर्सिटी ऑफ एग्रीकल्चर एंड टेक्नोलॉजी, Riken AIP)
  • वर्गीकरण: cs.LG cs.AI
  • प्रकाशन समय: arXiv प्रीप्रिंट (फरवरी 2025)
  • पेपर लिंक: https://arxiv.org/abs/2502.17500

सारांश

यह पेपर सामान्यीकृत घातीय ग्रेडिएंट (GEG) एल्गोरिदम की एक नई श्रेणी प्रस्तावित और अध्ययन करता है, जो मिरर डिसेंट (MD) अपडेट का उपयोग करता है और दो-पैरामीटर लॉगरिदम विरूपण के साथ ब्रेगमैन विचलन को लिंक फंक्शन के रूप में लागू करता है। यह लिंक फंक्शन (यूलर लॉगरिदम कहा जाता है) ट्रेस-फॉर्म एंट्रॉपी की एक व्यापक श्रेणी से संबंधित है। नए GEG/MD अपडेट प्राप्त करने के लिए, लेखकों ने एक विरूपित घातीय फंक्शन का अनुमान लगाया है, जो यूलर दो-पैरामीटर विरूपित लॉगरिदम के व्युत्क्रम फंक्शन को कसकर अनुमानित करता है। इन हाइपरपैरामीटर को सीखने के माध्यम से, एल्गोरिदम प्रशिक्षण डेटा के वितरण के अनुकूल हो सकता है और ग्रेडिएंट डिसेंट एल्गोरिदम के वांछित गुणों को प्राप्त करने के लिए समायोजित कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मौजूदा ग्रेडिएंट डिसेंट विधियों में निम्नलिखित सीमाएं हैं:

  1. मानक योगात्मक ग्रेडिएंट डिसेंट उन मामलों में लागू नहीं है जहां सभी वजन गैर-नकारात्मक होने चाहिए
  2. ग्रेडिएंट लुप्त होना और विस्फोट समस्या सटीक सीखने की दर समायोजन की आवश्यकता है
  3. अनुकूलन की कमी: मौजूदा EG अपडेट विभिन्न वितरण के डेटा के अनुकूल नहीं हो सकते, अभिसरण प्रदर्शन को नियंत्रित करने के लिए हाइपरपैरामीटर की कमी है

अनुसंधान प्रेरणा

  1. जैविक तर्कसंगतता: हाल के न्यूरॉन सिनेप्टिक अनुसंधान से पता चलता है कि EG अपडेट योगात्मक GD की तुलना में जैविक सीखने की प्रक्रिया के अनुरूप अधिक हैं
  2. ज्यामितीय अनुकूलन: उपयुक्त लिंक फंक्शन का चयन करके, मिरर डिसेंट अनुकूलन समस्या की ज्यामितीय संरचना के अनुकूल हो सकता है
  3. सैद्धांतिक समृद्धि: साहित्य में 50 से अधिक गणितीय रूप से परिपक्व एंट्रॉपी फंक्शन और संबंधित विरूपित लॉगरिदम मौजूद हैं, जो एल्गोरिदम डिजाइन के लिए समृद्ध सैद्धांतिक आधार प्रदान करते हैं

मुख्य योगदान

  1. यूलर दो-पैरामीटर लॉगरिदम पर आधारित सामान्यीकृत EG एल्गोरिदम प्रस्तावित किया: पहली बार यूलर (a,b)-लॉगरिदम को मिरर डिसेंट और घातीय ग्रेडिएंट अपडेट में लागू किया
  2. विरूपित घातीय फंक्शन के सन्निकटन सिद्धांत की स्थापना की: लैग्रेंज इनवर्जन प्रमेय और लैम्बर्ट-त्सल्लिस W फंक्शन के माध्यम से दो समाधान विधियां प्रदान कीं
  3. कई ज्ञात एल्गोरिदम को एकीकृत किया: साबित किया कि कई मौजूदा एल्गोरिदम (त्सल्लिस, कनियाडाकिस, अमारी आदि) इस ढांचे के विशेष मामले हैं
  4. द्विध्रुवीय वजन तक विस्तारित किया: द्विध्रुवीय वजन वेक्टर को संभालने के लिए सामान्यीकृत MD/GEG एल्गोरिदम प्रस्तावित किया
  5. पूर्ण गणितीय सैद्धांतिक आधार प्रदान किया: फंक्शन गुणों, अभिसरण विश्लेषण और कम्प्यूटेशनल स्थिरता विचार सहित

विधि विवरण

कार्य परिभाषा

अनुकूलन समस्या को इस प्रकार परिभाषित किया गया है: wt+1=arg⁡min⁡w∈R+N{L(wt)+⟨∇L(wt),w−wt⟩+1ηDF(w∣∣wt)}w_{t+1} = \arg\min_{w \in \mathbb{R}_+^N} \left\{ L(w_t) + \langle\nabla L(w_t), w - w_t\rangle + \frac{1}{\eta} D_F(w||w_t) \right\}

जहां DF(w∣∣wt)D_F(w||w_t) ब्रेगमैन विचलन है, L(w)L(w) अवकलनीय हानि फंक्शन है।

मुख्य गणितीय ढांचा

यूलर (a,b)-लॉगरिदम

log⁡a,bE(x)=xa−xba−b,x>0,a≠b\log^E_{a,b}(x) = \frac{x^a - x^b}{a - b}, \quad x > 0, a \neq b

पैरामीटर बाधा: a<0,0<b<1a < 0, 0 < b < 1 या b<0,0<a<1b < 0, 0 < a < 1

विरूपित घातीय फंक्शन

लैग्रेंज इनवर्जन प्रमेय द्वारा प्राप्त शक्ति श्रृंखला सन्निकटन: exp⁡a,b(x)≈exp⁡(x)−12(a+b)x2−16(3a+3b−2a2−5ab−2b2)x3+O(x4)\exp_{a,b}(x) \approx \exp(x) - \frac{1}{2}(a+b)x^2 - \frac{1}{6}(3a+3b-2a^2-5ab-2b^2)x^3 + O(x^4)

एल्गोरिदम आर्किटेक्चर

गैर-सामान्यीकृत GEG अपडेट

wt+1=exp⁡a,b[log⁡a,b(wt)−ηt∇L(wt)]=wt⊗a,bexp⁡a,b[−ηt∇L(wt)]w_{t+1} = \exp_{a,b}[\log_{a,b}(w_t) - \eta_t \nabla L(w_t)] = w_t \otimes_{a,b} \exp_{a,b}[-\eta_t \nabla L(w_t)]

जहां ⊗a,b\otimes_{a,b} विरूपित गुणन ऑपरेशन है।

सामान्यीकृत GEG अपडेट

यूनिट सिम्प्लेक्स बाधा के लिए: w~t+1=wt⊗a,bexp⁡a,b(−ηt∇L^(wt))\tilde{w}_{t+1} = w_t \otimes_{a,b} \exp_{a,b}(-\eta_t \nabla \hat{L}(w_t))wt+1=w~t+1∣∣w~t+1∣∣1w_{t+1} = \frac{\tilde{w}_{t+1}}{||\tilde{w}_{t+1}||_1}

जहां L^(w)=L(w/∣∣w∣∣1)\hat{L}(w) = L(w/||w||_1) सामान्यीकृत हानि फंक्शन है।

तकनीकी नवाचार बिंदु

  1. दो-पैरामीटर लचीलापन: (a,b) पैरामीटर के माध्यम से विभिन्न डेटा वितरण के अनुकूल एल्गोरिदम समायोजन
  2. एकीकृत ढांचा: कई ज्ञात एल्गोरिदम को एकीकृत गणितीय ढांचे में शामिल करना
  3. संख्यात्मक स्थिरता: कम्प्यूटेशनल रूप से स्थिर कार्यान्वयन विधियां प्रदान करना
  4. सैद्धांतिक पूर्णता: फंक्शन गुणों और अभिसरण विश्लेषण सहित पूर्ण गणितीय सिद्धांत स्थापित करना

प्रयोगात्मक सेटअप

सैद्धांतिक सत्यापन

पेपर मुख्य रूप से सैद्धांतिक विश्लेषण और गणितीय व्युत्पत्ति करता है, जिसमें शामिल हैं:

  1. फंक्शन गुणों का सत्यापन: एकरसता, अवतलता, सामान्यीकरण आदि मूल गुण
  2. विशेष मामलों का सत्यापन: विशेष मामलों के रूप में ज्ञात एल्गोरिदम की सटीकता सत्यापित करना
  3. संख्यात्मक स्थिरता विश्लेषण: पैरामीटर संवेदनशीलता और कम्प्यूटेशनल स्थिरता का विश्लेषण

पैरामीटर श्रेणी विश्लेषण

  • प्रभावी पैरामीटर डोमेन: a<0,0<b<1a < 0, 0 < b < 1 या b<0,0<a<1b < 0, 0 < a < 1
  • संख्यात्मक स्थिर क्षेत्र: x→1x \to 1 पर सबसे स्थिर, 1 से दूर होने पर विशेष उपचार की आवश्यकता
  • अभिसरण गुण: विलक्षण मामलों को संभालने के लिए L'Hospital नियम का उपयोग करने की आवश्यकता

प्रयोगात्मक परिणाम

सैद्धांतिक परिणाम

फंक्शन गुणों का सत्यापन

  • परिभाषा का डोमेन: log⁡a,b(x):R+→R\log_{a,b}(x): \mathbb{R}_+ \to \mathbb{R}
  • एकरसता: dlog⁡a,b(x)dx>0\frac{d\log_{a,b}(x)}{dx} > 0
  • अवतलता: d2log⁡a,b(x)dx2<0\frac{d^2\log_{a,b}(x)}{dx^2} < 0 (निर्दिष्ट पैरामीटर श्रेणी में)
  • सामान्यीकरण: log⁡a,b(1)=0\log_{a,b}(1) = 0, dlog⁡a,b(x)dx∣x=1=1\frac{d\log_{a,b}(x)}{dx}|_{x=1} = 1

विशेष मामलों की पुनः प्राप्ति

निम्नलिखित विशेष मामलों को सफलतापूर्वक सत्यापित किया:

  • a=b=0a = b = 0: मानक प्राकृतिक लॉगरिदम ln⁡(x)\ln(x)
  • a=0,b=−αa = 0, b = -\alpha: अमारी α-लॉगरिदम
  • a=1−q,b=0a = 1-q, b = 0: त्सल्लिस q-लॉगरिदम
  • a=κ,b=−κa = \kappa, b = -\kappa: कनियाडाकिस κ-लॉगरिदम

संख्यात्मक विश्लेषण परिणाम

कम्प्यूटेशनल स्थिरता

  1. पैरामीटर संवेदनशीलता: छोटे xx मान पैरामीटर परिवर्तन के प्रति अधिक संवेदनशील हैं
  2. संख्यात्मक स्थिरता: x→1x \to 1 पर एल्गोरिदम सबसे स्थिर है
  3. अभिसरण गुण: सीमा व्यवहार को विशेष कम्प्यूटेशनल उपचार की आवश्यकता है

शक्ति श्रृंखला सन्निकटन सटीकता

सटीक समाधान के साथ तुलना के माध्यम से, सत्यापित किया गया कि शक्ति श्रृंखला सन्निकटन उचित पैरामीटर श्रेणी में अच्छी सटीकता रखता है।

संबंधित कार्य

अनुकूलन एल्गोरिदम विकास

  1. शास्त्रीय विधियां: योगात्मक ग्रेडिएंट डिसेंट (GD), स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD)
  2. गुणात्मक अपडेट: घातीय ग्रेडिएंट (EG) डिसेंट, मिरर डिसेंट (MD)
  3. सूचना ज्यामिति विधियां: अमारी की प्राकृतिक ग्रेडिएंट, α-विचलन

विरूपित लॉगरिदम अनुसंधान

  1. भौतिकी अनुप्रयोग: त्सल्लिस एंट्रॉपी, कनियाडाकिस एंट्रॉपी सांख्यिकीय भौतिकी में अनुप्रयोग
  2. सूचना सिद्धांत विकास: शर्मा-तनेजा-मित्तल एंट्रॉपी, सामान्यीकृत सूचना उपाय
  3. गणितीय सिद्धांत: एबेल घातीय, टेम्पेस्टा बहु-पैरामीटर लॉगरिदम

यह पेपर स्थिति

यह पेपर पहली बार यूलर दो-पैरामीटर लॉगरिदम को मशीन लर्निंग अनुकूलन में लागू करता है, इस क्षेत्र में सैद्धांतिक रिक्तता को भरता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. सैद्धांतिक पूर्णता: यूलर लॉगरिदम पर आधारित पूर्ण GEG सैद्धांतिक ढांचा स्थापित किया
  2. एल्गोरिदम लचीलापन: दो-पैरामीटर डिजाइन विभिन्न डेटा वितरण के अनुकूल होने की क्षमता प्रदान करता है
  3. एकता: कई ज्ञात एल्गोरिदम इस ढांचे के विशेष मामले बन गए
  4. व्यावहारिकता: संख्यात्मक रूप से स्थिर कार्यान्वयन विधियां प्रदान करता है

सीमाएं

  1. पैरामीटर चयन: हाइपरपैरामीटर अनुकूलन की व्यवस्थित विधि की कमी
  2. अभिसरण विश्लेषण: विभिन्न पैरामीटर डोमेन में अभिसरण सिद्धांत को आगे स्थापित करने की आवश्यकता
  3. व्यावहारिक अनुप्रयोग सत्यापन: पेपर मुख्य रूप से सैद्धांतिक कार्य है, विशिष्ट अनुप्रयोग परिदृश्यों में प्रयोगात्मक सत्यापन की कमी
  4. कम्प्यूटेशनल जटिलता: विरूपित फंक्शन की गणना मानक फंक्शन की तुलना में अधिक जटिल है

भविष्य की दिशाएं

  1. हाइपरपैरामीटर सीखना: पैरामीटर अनुकूलन की व्यवस्थित विधियां विकसित करना
  2. अभिसरण सिद्धांत: पूर्ण अभिसरण विश्लेषण स्थापित करना
  3. अनुप्रयोग सत्यापन: गहन शिक्षा, पोर्टफोलियो चयन आदि विशिष्ट कार्यों में प्रभाव सत्यापित करना
  4. कम्प्यूटेशनल अनुकूलन: अधिक कुशल संख्यात्मक कार्यान्वयन विधियां विकसित करना

गहन मूल्यांकन

लाभ

सैद्धांतिक नवाचार

  1. गणितीय कठोरता: पूर्ण गणितीय व्युत्पत्ति और सैद्धांतिक विश्लेषण प्रदान करता है
  2. एकीकृत ढांचा: कई असंबंधित दिखने वाले एल्गोरिदम को एक सैद्धांतिक ढांचे में एकीकृत करता है
  3. ऐतिहासिक संबंध: यूलर के 1779 के गणितीय कार्य को आधुनिक मशीन लर्निंग से जोड़ता है

विधि पूर्णता

  1. कई कार्यान्वयन मार्ग: लैम्बर्ट-त्सल्लिस फंक्शन और शक्ति श्रृंखला दोनों समाधान विधियां प्रदान करता है
  2. विस्तार क्षमता: द्विध्रुवीय वजन और कई बाधाओं का समर्थन करता है
  3. संख्यात्मक विचार: कम्प्यूटेशनल स्थिरता समस्याओं पर पूर्ण विचार करता है

कमियां

प्रयोगात्मक सत्यापन की कमी

  1. व्यावहारिक अनुप्रयोग की कमी: पेपर मुख्य रूप से सैद्धांतिक कार्य है, वास्तविक समस्याओं पर सत्यापन की कमी
  2. प्रदर्शन तुलना की कमी: मौजूदा विधियों के साथ प्रदर्शन तुलना नहीं है
  3. पैरामीटर संवेदनशीलता: पैरामीटर चयन के लिए व्यवस्थित मार्गदर्शन की कमी

सैद्धांतिक सीमाएं

  1. अभिसरण विश्लेषण अधूरा: अधिक कठोर अभिसरण प्रमाण की आवश्यकता है
  2. लागू शर्तें सीमित: पैरामीटर बाधा शर्तें काफी सख्त हैं
  3. कम्प्यूटेशनल जटिलता: मानक विधियों की तुलना में अधिक कम्प्यूटेशनल ओवरहेड

प्रभाव

शैक्षणिक मूल्य

  1. सैद्धांतिक योगदान: अनुकूलन एल्गोरिदम सिद्धांत के लिए नए गणितीय उपकरण प्रदान करता है
  2. अंतः-विषयक संबंध: सांख्यिकीय भौतिकी, सूचना ज्यामिति और मशीन लर्निंग को जोड़ता है
  3. प्रेरणादायक: बाद के अनुसंधान के लिए समृद्ध सैद्धांतिक आधार प्रदान करता है

व्यावहारिक संभावना

  1. अनुकूली अनुकूलन: विभिन्न डेटा वितरण के अनुकूल होने की आवश्यकता वाले परिदृश्यों में संभावित मूल्य
  2. विरल शिक्षा: विरल प्रतिनिधित्व शिक्षा में लाभ हो सकता है
  3. जैविक प्रेरणा: तंत्रिका विज्ञान खोजों द्वारा पाई गई जैविक तर्कसंगतता के अनुरूप

लागू परिदृश्य

  1. गैर-नकारात्मक बाधा अनुकूलन: वजन गैर-नकारात्मक होने चाहिए ऐसी अनुकूलन समस्याएं
  2. विरल शिक्षा: विरल समाधान की आवश्यकता वाले मशीन लर्निंग कार्य
  3. संभाव्यता वितरण अनुकूलन: ऑनलाइन पोर्टफोलियो चयन आदि संभाव्यता सिम्प्लेक्स पर अनुकूलन
  4. गहन शिक्षा: कुछ तंत्रिका नेटवर्क प्रशिक्षण में संभावित लाभ

संदर्भ

पेपर समृद्ध संबंधित साहित्य का हवाला देता है, जिसमें शामिल हैं:

  • अनुकूलन सिद्धांत शास्त्रीय साहित्य: Nemirovsky & Yudin (1983), Beck & Teboulle (2003)
  • सूचना ज्यामिति आधार: Amari & Nagaoka (2000), Bregman (1967)
  • विरूपित लॉगरिदम सिद्धांत: Tsallis (1988), Kaniadakis (2002), Tempesta (2015)
  • मशीन लर्निंग अनुप्रयोग: Kivinen & Warmuth (1997), Cichocki et al. (2009)

समग्र मूल्यांकन: यह एक सैद्धांतिक रूप से मजबूत पेपर है जो अनुकूलन एल्गोरिदम के लिए नया गणितीय ढांचा प्रदान करता है। हालांकि व्यावहारिक अनुप्रयोग सत्यापन की कमी है, लेकिन इसके सैद्धांतिक योगदान और एकता इसे शैक्षणिक रूप से महत्वपूर्ण बनाती है। पेपर का मुख्य मूल्य ऐतिहासिक गणितीय सिद्धांत और आधुनिक मशीन लर्निंग के बीच पुल स्थापित करने में है, जो बाद के अनुसंधान के लिए समृद्ध सैद्धांतिक उपकरण प्रदान करता है।