2025-11-22T01:34:16.289617

Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training

Xiong, Ye, Liao et al.

Reinforcement learning applied to large language models (LLMs) for reasoning tasks is often bottlenecked by unstable gradient estimates due to fixed and uniform sampling of responses across prompts. Prior work such as GVM-RAFT addresses this by dynamically allocating inference budget per prompt to minimize stochastic gradient variance under a budget constraint. Inspired by this insight, we propose Reinforce-Ada, an adaptive sampling framework for online RL post-training of LLMs that continuously reallocates sampling effort to the prompts with the greatest uncertainty or learning potential. Unlike conventional two-stage allocation methods, Reinforce-Ada interleaves estimation and sampling in an online successive elimination process, and automatically stops sampling for a prompt once sufficient signal is collected. To stabilize updates, we form fixed-size groups with enforced reward diversity and compute advantage baselines using global statistics aggregated over the adaptive sampling phase. Empirical results across multiple model architectures and reasoning benchmarks show that Reinforce-Ada accelerates convergence and improves final performance compared to GRPO, especially when using the balanced sampling variant. Our work highlights the central role of variance-aware, adaptive data curation in enabling efficient and reliable reinforcement learning for reasoning-capable LLMs. Code is available at https://github.com/RLHFlow/Reinforce-Ada.

academic

Reinforce-Ada: Reinforce-शैली LLM प्रशिक्षण के लिए एक अनुकूली नमूनाकरण ढांचा

मूल जानकारी

पेपर ID: 2510.04996
शीर्षक: Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training
लेखक: Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang
वर्गीकरण: cs.LG cs.AI cs.CL stat.ML
प्रकाशन समय: अक्टूबर 2025 (arXiv v2)
पेपर लिंक: https://arxiv.org/abs/2510.04996
कोड लिंक: https://github.com/RLHFlow/Reinforce-Ada

सारांश

जब बड़े भाषा मॉडल (LLMs) के तर्क कार्यों पर सुदृढीकरण सीखना लागू किया जाता है, तो अक्सर निश्चित और समान प्रतिक्रिया नमूनाकरण रणनीति के कारण ढाल अनुमान अस्थिर हो जाता है। यह पेपर Reinforce-Ada प्रस्तावित करता है, जो LLMs के ऑनलाइन सुदृढीकरण सीखने के बाद-प्रशिक्षण के लिए एक अनुकूली नमूनाकरण ढांचा है, जो लगातार नमूनाकरण प्रयास को सबसे अधिक अनिश्चितता या सीखने की क्षमता वाले संकेतों को पुनः आवंटित कर सकता है। पारंपरिक दो-चरणीय आवंटन विधियों के विपरीत, Reinforce-Ada अनुमान और नमूनाकरण को एक ऑनलाइन क्रमिक उन्मूलन प्रक्रिया में एकीकृत करता है, और पर्याप्त संकेत एकत्र करने के बाद संकेतों के नमूनाकरण को स्वचालित रूप से रोक देता है। अद्यतन को स्थिर करने के लिए, यह विधि निश्चित आकार के समूह बनाती है और पुरस्कार विविधता को लागू करती है, अनुकूली नमूनाकरण चरण द्वारा एकत्र किए गए वैश्विक सांख्यिकीय जानकारी का उपयोग करके लाभ आधारभूत की गणना करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

ढाल अनुमान अस्थिरता: पारंपरिक सुदृढीकरण सीखने की विधियां LLMs को प्रशिक्षित करते समय नमूनाकरण के लिए निश्चित छोटे नमूने (n) का उपयोग करती हैं, जिससे ढाल अनुमान विचरण बहुत अधिक हो जाता है, और प्रशिक्षण अस्थिर हो जाता है।
संकेत पतन समस्या: जब एक संकेत के सभी n प्रतिक्रियाएं समान पुरस्कार प्राप्त करती हैं (पूरी तरह सही या पूरी तरह गलत), तो GRPO में लाभ गणना शून्य ढाल उत्पन्न करती है, जिससे प्रशिक्षण संकेत खो जाता है।
नमूनाकरण दक्षता में कमी: समान नमूनाकरण रणनीति संकेत की कठिनाई और सीखने के मूल्य के अनुसार गतिशील रूप से कम्प्यूटेशनल संसाधनों को आवंटित नहीं कर सकती है।

समस्या की महत्ता

गणितीय तर्क जैसे कार्यों में, 50% से अधिक संकेत "शून्य ढाल" स्थिति में फंस जाते हैं
नमूनाकरण संख्या में सरल वृद्धि समस्या को कम कर सकती है, लेकिन कम्प्यूटेशनल लागत बहुत अधिक है (जैसे n=512 पर लागत में वृद्धि)
मौजूदा निष्क्रिय फ़िल्टरिंग विधियां बड़ी संख्या में उत्पन्न प्रतिक्रियाओं को त्याग देती हैं, जिससे संसाधन बर्बाद होते हैं

मौजूदा विधियों की सीमाएं

GRPO की निश्चित नमूनाकरण: विभिन्न संकेतों की कठिनाई में अंतर के अनुकूल नहीं हो सकती है
निष्क्रिय फ़िल्टरिंग विधियां: बड़ी संख्या में बेकार प्रतिक्रियाएं उत्पन्न करने के बाद उन्हें त्याग देती हैं, दक्षता कम है
दो-चरणीय बजट आवंटन: GVM-RAFT जैसी विधियां अनुमान और नमूनाकरण को अलग करती हैं, दक्षता कम है और ऑनलाइन कार्यान्वयन मुश्किल है

मुख्य योगदान

Reinforce-Ada अनुकूली नमूनाकरण ढांचा प्रस्तावित करना: अनुमान और नमूनाकरण को एक ऑनलाइन क्रमिक उन्मूलन प्रक्रिया में एकीकृत करना, तर्क बजट को गतिशील रूप से आवंटित करना
दो प्रकार की निकास शर्तें डिजाइन करना:
- Reinforce-Ada-pos: सकारात्मक नमूने संग्रह पर ध्यान केंद्रित करना
- Reinforce-Ada-balance: सकारात्मक और नकारात्मक नमूनों को संतुलित करना, अन्वेषण को बनाए रखना
वैश्विक सांख्यिकीय सामान्यीकरण का परिचय: पूरी नमूनाकरण प्रक्रिया की सांख्यिकीय जानकारी का उपयोग करके लाभ की गणना करना, अनुमान स्थिरता में सुधार करना
प्लग-एंड-प्ले प्रतिस्थापन को लागू करना: मौजूदा RL पाइपलाइन में जनरेशन चरण को सीधे प्रतिस्थापित कर सकता है, आर्किटेक्चर संशोधन की आवश्यकता नहीं है
कई मॉडल और बेंचमार्क पर प्रभावशीलता को सत्यापित करना: गणितीय तर्क कार्यों पर अभिसरण गति और अंतिम प्रदर्शन में लगातार सुधार

विधि विवरण

कार्य परिभाषा

संकेत वितरण d₀ दिया गया है, नीति πθ प्रतिक्रिया a～πθ(·|x) उत्पन्न करती है, सत्यापनकर्ता पुरस्कार r⋆(x,a)∈{0,1} देता है। लक्ष्य अपेक्षित पुरस्कार को अधिकतम करना है:

J(θ) = E_{x∼d₀,a∼πθ(·|x)}r⋆(x,a)

मुख्य एल्गोरिथ्म आर्किटेक्चर

1. अनुकूली नमूनाकरण प्रक्रिया

एल्गोरिथ्म प्रवाह:
1. आरंभीकरण: सभी संकेतों को सक्रिय स्थिति में चिह्नित करना
2. बहु-दौर नमूनाकरण:
   - प्रत्येक सक्रिय संकेत के लिए M प्रतिक्रियाएं नमूना करना
   - निकास शर्तों का मूल्यांकन करना
   - शर्तों को पूरा करने वाले संकेतों को निष्क्रिय चिह्नित करना
3. दोहराना जब तक सभी संकेत निकास न हों या अधिकतम दौर N तक पहुंच जाएं

2. निकास शर्तें डिजाइन

Reinforce-Ada-pos: कम से कम एक सही प्रतिक्रिया एकत्र करने पर निकास
Reinforce-Ada-balance: कम से कम n/2 सही और n/2 गलत प्रतिक्रियाएं एकत्र करने पर निकास

3. प्रशिक्षण बैच निर्माण

प्रत्येक संकेत की प्रतिक्रिया पूल से निश्चित आकार n तक डाउन-सैंपल करना
सकारात्मक और नकारात्मक नमूनों को संतुलित रखने को प्राथमिकता देना (प्रत्येक n/2)
वैश्विक सांख्यिकी का उपयोग करके लाभ की गणना करना: A(x,aᵢ) = rᵢ - r̄

4. उद्देश्य फ़ंक्शन

महत्व नमूनाकरण सुधार और PPO-शैली ढाल क्लिपिंग का उपयोग करना:

L(θ) = 1/|B| ∑{(x,aᵢ)∈B} ∑^{|aᵢ|} min(ρᵢ,t·A(x,aᵢ), clip(ρᵢ,t, 1-ε_, 1+ε_)·A(x,aᵢ))

तकनीकी नवाचार बिंदु

ऑनलाइन एकीकृत प्रक्रिया: पारंपरिक दो-चरणीय विधि के अनुमान और निर्णय को एक एकल ऑनलाइन प्रक्रिया में मिलाना
क्रमिक उन्मूलन तंत्र: बहु-भुजा डाकू समस्या के विचार को उधार लेना, गतिशील रूप से उन संकेतों को रोकना जिन्हें अधिक नमूनाकरण की आवश्यकता नहीं है
वैश्विक सामान्यीकरण रणनीति: अंतिम चयनित उप-समूह के बजाय पूर्ण नमूनाकरण पूल की सांख्यिकीय जानकारी का उपयोग करना, अनुमान मजबूती में सुधार करना
संतुलित नमूनाकरण गारंटी: यह सुनिश्चित करना कि प्रत्येक प्रशिक्षण समूह में गैर-शून्य विचरण हो, ढाल लुप्त होने से बचना

प्रयोगात्मक सेटअप

डेटासेट

प्रशिक्षण डेटा: OpenR1-Math-220k डेटासेट का डिफ़ॉल्ट उप-समूह
पूर्व-प्रसंस्करण: डुप्लिकेट हटाना, सत्यापन फ़िल्टरिंग, मध्यम कठिनाई फ़िल्टरिंग (16 नमूनों में कम से कम 1 सही)

मॉडल

Qwen2.5-Math-7B/1.5B
Qwen3-4B-it
Llama-3.2-3B-it

मूल्यांकन मेट्रिक्स

प्रशिक्षण मेट्रिक्स: पुरस्कार वक्र, एंट्रॉपी परिवर्तन
परीक्षण बेंचमार्क: MATH500, Minerva Math, OlympiadBench, AIME-like
मूल्यांकन विधि: Ave@32 (तापमान 1.0, अधिकतम 4096 टोकन)

कार्यान्वयन विवरण

बैच आकार: 512 संकेत
प्रभावी समूह आकार: n=4
अधिकतम नमूनाकरण: 32 प्रतिक्रियाएं/संकेत
सीखने की दर: 1×10⁻⁶ (AdamW)
एंट्रॉपी नियमितकरण: 1×10⁻⁴
प्रशिक्षण चरण: 600 चरण

प्रयोगात्मक परिणाम

मुख्य परिणाम

प्रशिक्षण दक्षता में सुधार

अभिसरण गति: Reinforce-Ada पहले 50-150 चरणों में स्पष्ट लाभ दिखाता है
अंतिम प्रदर्शन: सभी परीक्षण मॉडल पर उच्च पुरस्कार सीमा तक पहुंचता है
स्थिरता: Reinforce-Ada-balance सबसे स्थिर प्रदर्शन करता है

परीक्षण बेंचमार्क प्रदर्शन

मॉडल	विधि	Math500	Minerva	Olympiad	AIME-like	भारित औसत
Qwen2.5-Math-1.5B	GRPO	74.2	34.4	38.4	16.2	45.3
	Reinforce-Ada-balance	77.4	36.5	40.5	17.5	47.6 (+2.3)
Qwen2.5-Math-7B	GRPO	82.2	44.7	45.6	23.2	53.3
	Reinforce-Ada-balance	84.0	45.2	47.1	23.7	54.6 (+1.3)

विलोपन प्रयोग

संतुलित नमूनाकरण की महत्ता

Reinforce-Ada-balance लगातार Reinforce-Ada-pos से बेहतर प्रदर्शन करता है
प्रशिक्षण के बाद के चरणों में, संतुलित नमूनाकरण अन्वेषण को बनाए रखता है, एंट्रॉपी पतन से बचता है

कम्प्यूटेशनल ओवरहेड विश्लेषण

मॉडल	विधि	औसत चरण समय (सेकंड)	सापेक्ष लागत
Qwen2.5-Math-1.5B	GRPO	102	1.0×
	Reinforce-Ada-balance	290	2.8×
Qwen2.5-Math-7B	GRPO	236	1.0×
	Reinforce-Ada-balance	375	1.59×

संकेत कठिनाई प्रभाव

कठिन संकेत समूह पर, Reinforce-Ada का लाभ अधिक स्पष्ट है
सरल संकेत समूह पर लाभ अपेक्षाकृत छोटा है, क्योंकि अधिकांश संकेत पहले दो दौरों में निकास शर्तों को पूरा करते हैं

नमूनाकरण गतिशीलता विश्लेषण

प्रारंभिक प्रशिक्षण: मुख्य बाधा सकारात्मक नमूनों की कमी है, Reinforce-Ada-pos और balance दोनों प्रभावी हैं
बाद का प्रशिक्षण: बाधा नकारात्मक नमूनों की कमी में बदल जाती है, balance संस्करण लाभ दिखाता है
अनुकूली आवंटन: कठिन संकेत अधिक नमूनाकरण बजट प्राप्त करते हैं, सरल संकेत जल्दी निकास करते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

अनुकूली नमूनाकरण प्रभावी: निश्चित नमूनाकरण रणनीति की तुलना में, प्रशिक्षण दक्षता और अंतिम प्रदर्शन में महत्वपूर्ण सुधार
संतुलित नमूनाकरण महत्वपूर्ण: सकारात्मक और नकारात्मक नमूनों को संतुलित रखना अन्वेषण को बनाए रखने और अति-फिटिंग से बचने के लिए महत्वपूर्ण है
प्लग-एंड-प्ले व्यावहारिक: मौजूदा RL प्रशिक्षण ढांचे में सीधे एकीकृत किया जा सकता है

सीमाएं

कम्प्यूटेशनल ओवरहेड: GRPO की तुलना में 1.5-2.8 गुना कम्प्यूटेशनल लागत में वृद्धि
डोमेन सीमा: प्रयोग मुख्य रूप से गणितीय तर्क डोमेन पर केंद्रित हैं
संकेत कठिनाई निर्भरता: सरल संकेत प्रभावी डेटासेट पर लाभ सीमित है
हाइपरपैरामीटर संवेदनशीलता: अधिकतम दौर N और प्रति दौर नमूनाकरण M को उचित रूप से सेट करने की आवश्यकता है

भविष्य की दिशाएं

पूर्ण प्रवाह डेटा प्रबंधन: पाठ्यक्रम सीखना आदि मैक्रो रणनीतियों के साथ संयोजन करना
बहु-डोमेन सत्यापन: कोड जनरेशन, संवाद आदि अन्य कार्यों तक विस्तार करना
सैद्धांतिक विश्लेषण: अभिसरण और नमूना जटिलता के लिए सैद्धांतिक गारंटी प्रदान करना
दक्षता अनुकूलन: अधिक कुशल निकास शर्तें और नमूनाकरण रणनीतियों का अनुसंधान करना

गहन मूल्यांकन

लाभ

समस्या की सटीक पहचान: GRPO में संकेत पतन के मूल कारण को स्पष्ट रूप से पहचानना
विधि डिजाइन चतुर: बहु-भुजा डाकू विचार को LLM प्रशिक्षण में रचनात्मक रूप से लागू करना
पर्याप्त प्रयोग: कई मॉडल, कई बेंचमार्क का व्यापक सत्यापन
इंजीनियरिंग अनुकूल: प्लग-एंड-प्ले कार्यान्वयन प्रदान करना, व्यावहारिक अनुप्रयोग को सुविधाजनक बनाना
गहन विश्लेषण: विस्तृत गतिशीलता विश्लेषण और विलोपन प्रयोग

कमियां

कमजोर सैद्धांतिक आधार: अभिसरण आदि सैद्धांतिक विश्लेषण की कमी
लागत-लाभ व्यापार: कम्प्यूटेशनल ओवरहेड में वृद्धि के लायक है या नहीं, इसके लिए अधिक विश्लेषण की आवश्यकता है
सीमित लागू सीमा: मुख्य रूप से गणितीय तर्क पर सत्यापित, सामान्यीकरण क्षमता अनिश्चित है
जटिल पैरामीटर ट्यूनिंग: अतिरिक्त हाइपरपैरामीटर पेश किए गए हैं जिन्हें समायोजित करने की आवश्यकता है

प्रभाव

शैक्षणिक मूल्य: LLM सुदृढीकरण सीखने के लिए डेटा नमूनाकरण का एक नया दृष्टिकोण प्रदान करना
व्यावहारिक मूल्य: मौजूदा प्रशिक्षण प्रवाह में सीधे लागू किया जा सकता है
प्रेरणा मूल्य: RL में अनुकूली डेटा प्रबंधन के अनुप्रयोग को आगे बढ़ाना

लागू परिदृश्य

उच्च गुणवत्ता आवश्यकताएं: मॉडल प्रदर्शन के लिए उच्च आवश्यकताओं वाले अनुप्रयोग
पर्याप्त कम्प्यूटेशनल संसाधन: अतिरिक्त कम्प्यूटेशनल लागत को सहन कर सकने वाले परिदृश्य
तर्क कार्य: विशेष रूप से गणितीय तर्क, कोड जनरेशन आदि बहु-चरणीय तर्क की आवश्यकता वाले कार्यों के लिए उपयुक्त
ऑनलाइन प्रशिक्षण: प्रशिक्षण रणनीति को गतिशील रूप से समायोजित करने की आवश्यकता वाले परिदृश्य

संदर्भ

Shao et al. (2024). DeepSeekMath: Pushing the limits of mathematical reasoning in open language models.
Yao et al. (2025). Optimizing chain-of-thought reasoners via gradient variance minimization in rejection sampling and rl.
Yu et al. (2025). Dapo: An open-source llm reinforcement learning system at scale.
Slivkins et al. (2019). Introduction to multi-armed bandits.
Dong et al. (2023). RAFT: Reward ranked finetuning for generative foundation model alignment.

सारांश: Reinforce-Ada ने एक नवीन अनुकूली नमूनाकरण ढांचा प्रस्तावित किया है जो LLM सुदृढीकरण सीखने में संकेत पतन समस्या को प्रभावी ढंग से हल करता है। हालांकि यह कम्प्यूटेशनल लागत बढ़ाता है, लेकिन प्रशिक्षण दक्षता और अंतिम प्रदर्शन दोनों में महत्वपूर्ण सुधार प्रदान करता है, LLM के सुदृढीकरण सीखने के प्रशिक्षण के लिए मूल्यवान नए विचार प्रदान करता है।