LLM स्व-सुधार प्रशिक्षण गतिविज्ञान का सॉल्वर-वेरिफायर गैप के माध्यम से सैद्धांतिक मॉडलिंग

मूल जानकारी

• पेपर ID: 2507.00075
• शीर्षक: Theoretical Modeling of LLM Self-Improvement Training Dynamics Through Solver-Verifier Gap
• लेखक: Yifan Sun*, Yushan Liang*, Zhen Zhang, Jiaye Teng (शंघाई वित्त विश्वविद्यालय, सांख्यिकी और डेटा विज्ञान संस्थान)
• वर्गीकरण: cs.LG cs.AI
• प्रकाशन तिथि: arXiv:2507.00075v3 cs.LG 10 अक्टूबर 2025
• पेपर लिंक: https://arxiv.org/abs/2507.00075v3

सारांश

बड़े भाषा मॉडल का स्व-सुधार वर्तमान समय की सबसे महत्वपूर्ण तकनीकों में से एक है, जिसका उद्देश्य बाहरी डेटा पर निर्भर किए बिना LLM के प्रदर्शन को बेहतर बनाना है। इसके महत्व के बावजूद, स्व-सुधार प्रक्रिया में LLM के प्रदर्शन विकास की व्यवस्था अभी तक पूरी तरह से अन्वेषित नहीं हुई है। यह पेपर सॉल्वर-वेरिफायर गैप (solver-verifier gap) की अवधारणा के माध्यम से स्व-सुधार के प्रशिक्षण गतिविज्ञान का सैद्धांतिक मॉडलिंग प्रस्तुत करता है। यह अनुसंधान एक परिकल्पना पर आधारित है: स्व-सुधार का प्रदर्शन सुधार LLM सॉल्वर क्षमता और वेरिफायर क्षमता के बीच के अंतर से उत्पन्न होता है। सैद्धांतिक ढांचे के आधार पर, लेखकों ने दिखाया है कि संपूर्ण प्रशिक्षण प्रक्षेपवक्र को कैसे मॉडल किया जाए, और सैद्धांतिक मॉडल को प्रायोगिक परिणामों के साथ फिट करके स्व-सुधार की क्षमता सीमा को परिमाणित किया जाए। लेखकों ने कई LLM और डेटासेट पर सैद्धांतिक ढांचे की वैधता की पुष्टि की है, और विश्लेषण को विस्तारित करके दिखाया है कि बाहरी डेटा इन गतिविज्ञान प्रक्रियाओं को कैसे प्रभावित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

1. मूल समस्या: LLM स्व-सुधार प्रक्रिया में प्रदर्शन विकास की सैद्धांतिक समझ की कमी, विशेषकर प्रशिक्षण गतिविज्ञान की गणितीय मॉडलिंग
2. महत्व:
   • डेटा बाधा: बड़े पैमाने पर डेटा संग्रह चुनौतीपूर्ण है, भविष्य में डेटा की कमी का सामना हो सकता है
   • स्वायत्त शिक्षा की आवश्यकता: मॉडल को स्वायत्त रूप से अनुकूल और विकसित होने की क्षमता की आवश्यकता है
   • सैद्धांतिक रिक्तता: मौजूदा कार्य मुख्य रूप से विधि प्रभावशीलता पर केंद्रित है, तंत्र की गहन समझ की कमी है

मौजूदा विधियों की सीमाएं

1. सैद्धांतिक अपर्याप्तता: स्व-सुधार गतिविज्ञान के सैद्धांतिक मॉडल की कमी
2. तंत्र अस्पष्टता: प्रदर्शन सुधार के चालक कारकों की सीमित समझ
3. कमजोर पूर्वानुमान क्षमता: प्रशिक्षण प्रक्षेपवक्र और प्रदर्शन सीमा की भविष्यवाणी नहीं कर सकते

अनुसंधान प्रेरणा

Song et al. (2025) और Huang et al. (2025) के कार्य के आधार पर, लेखकों ने प्रस्तावित किया कि सॉल्वर-वेरिफायर गैप स्व-सुधार का मुख्य चालक है, और इस प्रक्रिया का वर्णन करने के लिए एक गणितीय ढांचा स्थापित किया है।

मुख्य योगदान

1. सैद्धांतिक ढांचा: सॉल्वर-वेरिफायर क्षमता अंतर के आधार पर स्व-सुधार गतिविज्ञान का सैद्धांतिक मॉडल प्रस्तावित करता है, जो घातीय अभिसरण नियम प्राप्त करता है
2. गणितीय मॉडलिंग: प्रशिक्षण गतिविज्ञान का वर्णन करने के लिए युग्मित अवकल समीकरणों की प्रणाली स्थापित करता है और विश्लेषणात्मक समाधान प्राप्त करता है
3. प्रायोगिक सत्यापन: कई मॉडल (Phi श्रृंखला, Llama श्रृंखला) और डेटासेट (Math, GSM8k) पर सैद्धांतिक भविष्यवाणियों की पुष्टि करता है
4. क्रॉस-सुधार विश्लेषण: ढांचे को विस्तारित करके बाहरी डेटा के प्रभाव का विश्लेषण करता है, पाता है कि सीमित बाहरी डेटा की स्थिति में, उपयोग का समय अंतिम प्रदर्शन को प्रभावित नहीं करता है

विधि विवरण

कार्य परिभाषा

सॉल्वर (Solver): मॉडल द्वारा सीधे प्रतिक्रिया उत्पन्न करने की क्षमता, अनिश्चितता द्वारा मापी जाती है: $U_s(t) = -\frac{1}{n}\sum_{i=1}^n \log \pi_f(\hat{y}_i(t)|x_i)$

वेरिफायर (Verifier): मॉडल द्वारा सर्वोत्तम प्रतिक्रिया का मूल्यांकन और चयन करने की क्षमता, Best-of-N रणनीति पर आधारित: $\hat{y}_i^{BoN} = \arg\min_{\{\hat{y}_{i,j}: s(\hat{y}_{i,j}) \geq \sigma\}} \frac{1}{L(\hat{y}_{i,j})} U_f(\hat{y}_{i,j}|x_i)$

वेरिफायर अनिश्चितता: $U_v(t) = -\frac{1}{n}\sum_{i=1}^n \log \pi_f(\hat{y}_i^{BoN}(t)|x_i)$

सैद्धांतिक ढांचा

1. क्षमता अंतर परिभाषा

$G(t) = U_s(t) - U_v(t) = -\frac{1}{n}\sum_{i=1}^n \log \frac{\pi_f(\hat{y}_i(t)|x_i)}{\pi_f(\hat{y}_i^{BoN}(t)|x_i)}$

2. गतिविज्ञान समीकरण

भौतिकी में संभावित ऊर्जा की अवधारणा से प्रेरित, युग्मित अवकल समीकरण स्थापित करता है: $\frac{dU_s(t)}{dt} = -\alpha E(t), \quad \frac{dU_v(t)}{dt} = -\beta E(t)$

जहां $E(t)$ "अंतर संभावित ऊर्जा" है, $\alpha > \beta > 0$ गुणांक हैं।

3. रैखिक सन्निकटन

संभावित ऊर्जा फलन पर प्रथम-क्रम टेलर विस्तार: $E(t) \approx kG(t) - b$

4. विश्लेषणात्मक समाधान

प्रस्ताव 3.1: $k(\alpha-\beta) > 0$ शर्त के तहत, क्षमता गतिविज्ञान घातीय क्षय का पालन करता है:

$U_s(t) \approx \alpha' e^{-k(\alpha-\beta)t} + U_{s,\infty}$$U_v(t) \approx \beta' e^{-k(\alpha-\beta)t} + U_{v,\infty}$$G(t) \approx \delta e^{-k(\alpha-\beta)t} + G_\infty$

जहां:

• $\alpha' = \frac{\alpha\delta}{\alpha-\beta}$, $\beta' = \frac{\beta\delta}{\alpha-\beta}$
• $\delta = U_{s,0} - U_{v,0} - \frac{b}{k}$
• $U_{s,\infty} = U_{s,0} - \alpha'$, $U_{v,\infty} = U_{v,0} - \beta'$

क्रॉस-सुधार मॉडलिंग

सीमित बाहरी डेटा $M$ के लिए, $t$ वें दौर में उपयोग अनुपात $\eta_t$ ($\sum_{t=1}^T \eta_t = 1$ को संतुष्ट करते हुए):

वेरिफायर क्षमता बाहरी डेटा से प्रभावित: $U_v^c(t) = (1 + \gamma\eta_t)^{-1}U_v(t-1)$

प्रस्ताव 5.1: अंतिम अनिश्चितता केवल $\sum_{t=1}^T \eta_t$ पर निर्भर करती है, विशिष्ट $\eta_t$ वितरण पर नहीं।

प्रायोगिक सेटअप

डेटासेट

• Math: गणितीय समस्या समाधान डेटासेट
• GSM8k: प्राथमिक गणित अनुप्रयोग समस्या डेटासेट
• ProntoQA: प्रश्नोत्तर डेटासेट

मॉडल

• Phi श्रृंखला: Phi-4-mini, Phi-3.5-mini, Phi-3-mini
• Llama श्रृंखला: Llama-3.2-3B, Llama-3.1-8B

सत्यापन विधि

1. TrueFalse (TF): द्विआधारी सही/गलत स्कोरिंग
2. Quality Evaluation (QE): सतत गुणवत्ता स्कोरिंग 0,1

प्रायोगिक पैरामीटर

• शिक्षण दर: 1e-5
• नमूना संख्या N: 16
• LoRA rank: 16
• प्रशिक्षण दौर: 10

प्रायोगिक परिणाम

मुख्य परिणाम

1. घातीय अभिसरण सत्यापन

प्रायोगिक परिणाम सैद्धांतिक भविष्यवाणी के घातीय अभिसरण नियम को दृढ़ता से समर्थन करते हैं:

• फिटिंग गुणवत्ता: R² > 0.9, जो दर्शाता है कि घातीय मॉडल अनिश्चितता विकास का अच्छी तरह वर्णन करता है
• सामंजस्य: सभी मॉडल-डेटासेट संयोजनों पर घातीय प्रवृत्ति देखी गई है

2. सॉल्वर-वेरिफायर गैप सत्यापन

• सार्वभौमिकता: वेरिफायर हमेशा सॉल्वर से बेहतर है, अंतर 0.067-0.284 के बीच है
• स्थिरता: अंतर विभिन्न नमूना संख्या N और क्रॉस-मूल्यांकन परिदृश्यों में सुसंगत रहता है
• रैखिक संबंध: अंतर G और इसकी परिवर्तन दर dG/dt मजबूत रैखिक संबंध दिखाते हैं (R² > 0.8)

3. प्रदर्शन सुधार

सभी मॉडल स्व-सुधार के बाद महत्वपूर्ण सुधार दिखाते हैं:

• Phi-4-mini: Math सटीकता 30.31% से 45.08% तक बढ़ी, GSM8k 73.42% से 88.53% तक
• समान सुधार: अन्य मॉडल भी 15-25% का प्रदर्शन सुधार दिखाते हैं

क्रॉस-सुधार प्रयोग

बाहरी डेटा आवंटन रणनीति

तीन रणनीतियों का परीक्षण: Early (पहले दौर में पूरी तरह उपयोग), Uniform (समान वितरण), Late (अंतिम दौर में उपयोग)

मुख्य निष्कर्ष:

• रणनीतियों के बीच प्रदर्शन अंतर न्यूनतम (<2.17%)
• सैद्धांतिक भविष्यवाणी की पुष्टि: आवंटन समय अंतिम प्रदर्शन को प्रभावित नहीं करता है
• बाहरी डेटा गुणवत्ता उपयोग समय से अधिक महत्वपूर्ण है

संख्यात्मक परिणाम

Phi-4-mini के उदाहरण के रूप में:

• Math डेटासेट: तीन रणनीतियों में औसत 1.16% सुधार
• GSM8k डेटासेट: तीन रणनीतियों में औसत 0.10% सुधार

विलोपन प्रयोग

Pass@K विश्लेषण

• विविधता में कमी: बड़े K मान पर Pass@K में कमी, जो उत्पन्न विविधता में कमी दर्शाता है
• गुणवत्ता सुधार: छोटे K मान पर Pass@K में सुधार, स्व-सुधार प्रभावशीलता की पुष्टि करता है
• अभिसरण व्याख्या: विविधता में कमी प्रदर्शन संतृप्ति का संभावित कारण हो सकता है

संबंधित कार्य

स्व-सुधार अनुसंधान

1. विधि श्रेणी:
   • आउटपुट फाइन-ट्यूनिंग: LLM द्वारा उत्पन्न डेटा पर आधारित प्रशिक्षण
   • स्व-आसवन: बड़े मॉडल से छोटे मॉडल में ज्ञान स्थानांतरण
   • स्व-सुधार: मॉडल त्रुटियों की पहचान और सुधार
2. सैद्धांतिक अनुसंधान:
   • रैखिक मॉडल के अभिसरण दर विश्लेषण
   • तंत्रिका नेटवर्क के स्व-आसवन सिद्धांत
   • सुदृढ़ शिक्षा ढांचे के तहत स्व-सुधार

क्रॉस-सुधार अनुसंधान

1. मानव-लेबल डेटा: उच्च लागत लेकिन विश्वसनीय गुणवत्ता
2. शक्तिशाली मॉडल डेटा: सीमित पहुंच लेकिन महत्वपूर्ण प्रभाव
3. सीमित डेटा उपयोग: इस पेपर की केंद्रीय समस्या

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. सैद्धांतिक सत्यापन: सॉल्वर-वेरिफायर गैप वास्तव में स्व-सुधार को चलाता है, गतिविज्ञान घातीय अभिसरण नियम का पालन करता है
2. पूर्वानुमान क्षमता: ढांचा प्रशिक्षण प्रक्षेपवक्र और प्रदर्शन सीमा की भविष्यवाणी कर सकता है
3. व्यावहारिक मार्गदर्शन: बाहरी डेटा उपयोग समय लचीला है, डेटा गुणवत्ता पर ध्यान केंद्रित करें

सीमाएं

1. घटना विज्ञान मॉडलिंग: घटना विज्ञान विधि अपनाता है, प्रथम सिद्धांत से व्युत्पत्ति की कमी
2. रैखिक सन्निकटन: संभावित ऊर्जा फलन का रैखिक सन्निकटन लागू सीमा को सीमित कर सकता है
3. समय-अपरिवर्तनीय धारणा: क्रॉस-सुधार में प्रभाव पैरामीटर γ समय-अपरिवर्तनीय मानता है
4. डेटासेट सीमा: मुख्य रूप से गणितीय तर्क कार्यों पर सत्यापित

भविष्य की दिशा

1. तंत्र अन्वेषण: घातीय गतिविज्ञान के तंत्रिका नेटवर्क स्तर के तंत्र का गहन अध्ययन
2. पैरामीटर संबंध: α, β और मॉडल आर्किटेक्चर के बीच संबंध का अनुसंधान
3. विस्तारित अनुप्रयोग: अधिक कार्यों और क्षेत्रों पर ढांचे की लागू क्षमता का सत्यापन
4. समय-परिवर्तनीय मॉडलिंग: समय-अपरिवर्तनीय धारणा को छोड़ें, अधिक सटीक गतिशील मॉडल स्थापित करें

गहन मूल्यांकन

शक्तियां

1. सैद्धांतिक नवाचार: स्व-सुधार के लिए पहला गणितीय सैद्धांतिक ढांचा, महत्वपूर्ण रिक्तता को भरता है
2. पर्याप्त प्रयोग: कई मॉडल, कई डेटासेट का व्यापक सत्यापन, परिणाम सामंजस्य मजबूत है
3. व्यावहारिक मूल्य: प्रदर्शन पूर्वानुमान और प्रशिक्षण मार्गदर्शन के लिए व्यावहारिक उपकरण प्रदान करता है
4. स्पष्ट लेखन: गणितीय व्युत्पत्ति कठोर, प्रायोगिक डिजाइन तर्कसंगत

कमियां

1. सैद्धांतिक गहराई: घटना विज्ञान मॉडलिंग गहरे तंत्र व्याख्या की कमी
2. लागू सीमा: मुख्य रूप से गणितीय तर्क पर सत्यापित, अन्य कार्यों की लागू क्षमता प्रतीक्षा में है
3. धारणा सीमा: कई सरलीकृत धारणाएं मॉडल सटीकता को प्रभावित कर सकती हैं
4. कम्प्यूटेशनल दक्षता: Best-of-N रणनीति की कम्प्यूटेशनल लागत पर पर्याप्त चर्चा नहीं

प्रभाव

1. शैक्षणिक योगदान: स्व-सुधार अनुसंधान के लिए महत्वपूर्ण सैद्धांतिक आधार प्रदान करता है
2. व्यावहारिक मार्गदर्शन: LLM प्रशिक्षण रणनीति अनुकूलन के लिए मात्रात्मक उपकरण प्रदान करता है
3. अनुवर्ती अनुसंधान: अधिक सैद्धांतिक मॉडलिंग कार्य को प्रेरित कर सकता है

लागू परिदृश्य

1. LLM प्रशिक्षण: स्व-सुधार रणनीति डिजाइन को मार्गदर्शन देता है
2. प्रदर्शन पूर्वानुमान: प्रशिक्षण प्रक्षेपवक्र और अभिसरण बिंदु का अनुमान लगाता है
3. संसाधन आवंटन: बाहरी डेटा उपयोग रणनीति को अनुकूलित करता है
4. सैद्धांतिक अनुसंधान: आगे के तंत्र अन्वेषण के लिए आधार प्रदान करता है

संदर्भ

मुख्य संदर्भ साहित्य में शामिल हैं:

1. Song et al. (2025): उत्पादन-सत्यापन अंतर अवधारणा प्रस्तावित करता है
2. Huang et al. (2025): तीक्ष्णता तंत्र सिद्धांत
3. Zelikman et al. (2022): STaR स्व-सुधार विधि
4. Wang et al. (2023): Self-Instruct विधि

समग्र मूल्यांकन: यह LLM स्व-सुधार के इस महत्वपूर्ण क्षेत्र में पहला व्यवस्थित गणितीय सैद्धांतिक ढांचा प्रदान करने वाला एक उच्च-गुणवत्ता वाला सैद्धांतिक अनुसंधान पेपर है। हालांकि सैद्धांतिक गहराई और लागू सीमा में कुछ सीमाएं हैं, लेकिन इसकी नवाचार, प्रायोगिक सत्यापन की पर्याप्तता और व्यावहारिक मूल्य सभी बहुत उत्कृष्ट हैं, जो इस क्षेत्र के सैद्धांतिक विकास को आगे बढ़ाने में महत्वपूर्ण महत्व रखता है।