विसरण भाषा मॉडल की क्षमता को टेम्पलेट इनफिलिंग के माध्यम से अनलॉक करना

मूल जानकारी

• पेपर ID: 2510.13870
• शीर्षक: Unlocking the Potential of Diffusion Language Models through Template Infilling
• लेखक: जुनहू ली (सियोल नेशनल विश्वविद्यालय), सेउंग्योन किम (सुंगक्यूनक्वान विश्वविद्यालय), नोजुन क्वाक (सियोल नेशनल विश्वविद्यालय)
• वर्गीकरण: cs.CL cs.AI
• प्रकाशन समय: 13 अक्टूबर 2025 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2510.13870

सारांश

विसरण भाषा मॉडल (DLMs) स्वसंचालित भाषा मॉडल के आशाजनक विकल्प के रूप में उभरे हैं, लेकिन उनकी अनुमान रणनीति अभी भी स्वसंचालित प्रतिमान से विरासत में मिली उपसर्ग-आधारित संकेतन तक सीमित है। यह पेपर टेम्पलेट इनफिलिंग (TI) प्रस्तावित करता है, जो DLMs की पीढ़ी प्रक्रिया के लिए एक अनुकूलित शर्त विधि है। पारंपरिक उपसर्ग संकेतन के विपरीत, TI पहले लक्ष्य प्रतिक्रिया के लिए एक संरचनात्मक टेम्पलेट उत्पन्न करता है, फिर मुखौटा किए गए खंडों को भरता है। इस संरचनात्मक नियंत्रण की लचीलापन बढ़ाने के लिए, लेखकों ने गतिशील खंड आवंटन (DSA) पेश किया, जो पीढ़ी आत्मविश्वास के आधार पर खंड की लंबाई को अनुकूलित करता है। गणितीय तर्क और कोड पीढ़ी बेंचमार्क में, यह विधि आधार रेखा की तुलना में 17.01% की सामंजस्य सुधार प्राप्त करती है। इसके अलावा, TI बहु-टोकन पीढ़ी सेटिंग में अतिरिक्त लाभ प्रदान करता है, पीढ़ी गुणवत्ता को बनाए रखते हुए प्रभावी त्वरण प्राप्त करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

विसरण भाषा मॉडल (DLMs) पुनरावृत्तीय विनोइसिंग प्रक्रिया के माध्यम से पाठ उत्पन्न करते हैं, जो स्वसंचालित भाषा मॉडल (ALMs) के बाएं-से-दाएं पीढ़ी प्रतिमान से मौलिक रूप से भिन्न है। DLMs किसी भी स्थिति के समुच्चय के लिए द्विदिशात्मक संदर्भ मॉडलिंग क्षमता के साथ शर्त पीढ़ी में सक्षम हैं।

मौजूदा विधियों की सीमाएं

1. अनुमान रणनीति सीमित: मौजूदा DLM अनुसंधान मुख्य रूप से स्वसंचालित मॉडल से विरासत में मिली उपसर्ग-आधारित संकेतन विधि का पालन करता है
2. क्षमता अधूरी तरह से उपयोग की गई: अधिकांश अनुसंधान केवल अनुमान लागत को कम करने के लिए DLMs की बहु-टोकन समानांतर पीढ़ी क्षमता का उपयोग करने पर केंद्रित है
3. शर्त रणनीति बेमेल: DLMs की द्विदिशात्मक पीढ़ी क्षमता के लिए डिज़ाइन की गई शर्त विधि की कमी है

अनुसंधान प्रेरणा

DLMs की द्विदिशात्मक शर्त पीढ़ी क्षमता पाठ पीढ़ी के लिए नई संभावनाएं प्रदान करती है, लेकिन मौजूदा मूल्यांकन और अनुप्रयोग विधियां इस लाभ का पूरी तरह से उपयोग नहीं करती हैं। लेखकों का मानना है कि DLMs की विशेषताओं के लिए विशेष रूप से डिज़ाइन की गई नई शर्त विधियों की आवश्यकता है।

मुख्य योगदान

1. टेम्पलेट इनफिलिंग (TI) फ्रेमवर्क प्रस्तावित करना: DLMs की द्विदिशात्मक पीढ़ी क्षमता का उपयोग करने वाली एक शर्त पीढ़ी विधि
2. गतिशील खंड आवंटन (DSA) एल्गोरिथम डिजाइन करना: आत्मविश्वास-आधारित अनुकूलित खंड लंबाई समायोजन तंत्र
3. प्रायोगिक सत्यापन प्रभावकारिता: गणितीय तर्क और कोड पीढ़ी कार्यों पर औसत 17.01% प्रदर्शन सुधार
4. बहु-टोकन पीढ़ी लाभ: TI को साबित करना कि समानांतर पीढ़ी कई टोकन के समय प्रदर्शन स्थिरता बनाए रखता है
5. नया प्रतिमान स्थापित करना: DLMs के लिए शर्त रणनीति डिजाइन के लिए अनुसंधान के नए क्षेत्र को खोलना

विधि विवरण

कार्य परिभाषा

दिए गए इनपुट संदर्भ को देखते हुए, DLMs की द्विदिशात्मक शर्त पीढ़ी क्षमता का उपयोग करके, संरचनात्मक टेम्पलेट के माध्यम से पीढ़ी प्रक्रिया को निर्देशित करते हुए, उच्च गुणवत्ता की लक्ष्य प्रतिक्रिया का उत्पादन करना।

मॉडल आर्किटेक्चर

3.1 मूल सिद्धांत

स्वसंचालित भाषा मॉडल:

p(xt|x<t) = p(xt|x1, ..., xt-1)

विसरण भाषा मॉडल:

p(x(t-1)|x(t))

जहां DLMs की मुख्य विशेषता किसी भी स्थिति के समुच्चय के लिए शर्त पीढ़ी में सक्षम होना है:

p(xM|xO)

जहां O अवलोकन स्थिति है, M मुखौटा स्थिति है, और O∩M = ∅, O∪M = {1,...,N}

3.2 टेम्पलेट इनफिलिंग (TI)

TI पारंपरिक उपसर्ग शर्त को टेम्पलेट भरने के लिए सामान्यीकृत करता है। पहले लक्ष्य प्रतिक्रिया संरचना कंकाल को निर्दिष्ट करने वाला एक टेम्पलेट τ बनाया जाता है:

τ = [t1, M1, t2, M2, ..., tk, Mk]

जहां:

• ti: टेम्पलेट एंकर पॉइंट (पूर्वनिर्धारित संरचनात्मक तत्व)
• Mi: भरने के लिए मुखौटा खंड

3.3 गतिशील खंड आवंटन (DSA)

निश्चित टेम्पलेट स्थिति की सीमा को हल करने के लिए, DSA आत्मविश्वास के आधार पर खंड लंबाई को गतिशील रूप से समायोजित करता है।

आत्मविश्वास परिभाषा:

ci = max p(xi = v|xO, xM\{i})
    v∈V

खंड विस्तार तंत्र: जब खंड Mi का औसत आत्मविश्वास सीमा τ से नीचे हो, तो अतिरिक्त मुखौटा टोकन डालकर विस्तार किया जाता है:

M(k+1)_i = M(k)_i ∪ |Δ|

तकनीकी नवाचार बिंदु

1. संरचनात्मक शर्त पीढ़ी: टेम्पलेट एंकर पॉइंट के माध्यम से स्पष्ट संरचनात्मक पूर्वधारणा प्रदान करना, न कि निहित उपसर्ग मार्गदर्शन
2. वैश्विक सामंजस्य: DLMs की सभी खंडों को एक साथ विचार करने की क्षमता का उपयोग करके, वैश्विक रूप से सुसंगत प्रतिक्रिया उत्पन्न करना
3. अनुकूलित लंबाई समायोजन: आत्मविश्वास-आधारित गतिशील आवंटन तंत्र, निश्चित लंबाई सीमा समस्या को हल करना
4. द्विदिशात्मक संदर्भ उपयोग: DLMs की द्विदिशात्मक मॉडलिंग आर्किटेक्चर लाभ का पूरी तरह से उपयोग करना

प्रायोगिक सेटअप

डेटासेट

• गणितीय तर्क: GSM8K - प्राथमिक गणित शब्द समस्या डेटासेट
• कोड पीढ़ी: HumanEval - प्रोग्राम संश्लेषण क्षमता मूल्यांकन डेटासेट

मूल्यांकन मेट्रिक्स

• GSM8K: सटीकता (Accuracy)
• HumanEval: pass@1 मेट्रिक (एकल प्रयास की सही प्रतिक्रिया)

तुलना विधियां

• निश्चित-लंबाई विनोइसिंग: विभिन्न निश्चित लंबाई (64, 128, 256, 512) की आधार रेखा विधि
• उपसर्ग-आधारित टेम्पलेट: पारंपरिक उपसर्ग संकेतन विधि

कार्यान्वयन विवरण

• आधार मॉडल: LLaDA (Nie et al., 2025)
• हार्डवेयर: एकल NVIDIA RTX Pro 6000 GPU
• आत्मविश्वास सीमा: 0.1
• मूल्यांकन सेटिंग: शून्य-शॉट शिक्षण, भाषा मॉडल मूल्यांकन हार्नेस का उपयोग करके
• पीढ़ी विधि: पूर्ण समानांतर अपडेट (ब्लॉक पीढ़ी का उपयोग नहीं)

प्रायोगिक परिणाम

मुख्य परिणाम

मुख्य निष्कर्ष:

• TI आधार रेखा की तुलना में औसत 17.01% सुधार
• TI+DSA आगे सुधार, सर्वोत्तम प्रदर्शन तक पहुंचता है
• विभिन्न कार्य प्रकारों पर सामंजस्यपूर्ण सुधार प्राप्त करता है

विलोपन अध्ययन

उपसर्ग संकेतन बनाम टेम्पलेट इनफिलिंग तुलना

TI उपसर्ग विधि की तुलना में औसत 8.89% सुधार, संरचनात्मक शर्त के लाभ को साबित करता है।

बहु-टोकन पीढ़ी विश्लेषण

मुख्य निष्कर्ष: आधार रेखा विधि बहु-टोकन पीढ़ी में तेजी से प्रदर्शन में गिरावट दिखाती है, जबकि TI अपेक्षाकृत स्थिर रहता है, संरचनात्मक मार्गदर्शन के लाभ को प्रदर्शित करता है।

प्रायोगिक निष्कर्ष

1. कार्य स्वतंत्रता: TI गणितीय तर्क और कोड पीढ़ी दोनों अलग-अलग क्षेत्रों में सुधार प्राप्त करता है
2. संरचनात्मक लाभ: टेम्पलेट भरना पारंपरिक उपसर्ग संकेतन से स्पष्ट रूप से बेहतर है
3. समानांतर पीढ़ी स्थिरता: TI बहु-टोकन समानांतर पीढ़ी में प्रदर्शन स्थिरता बनाए रखता है
4. आत्मविश्वास मार्गदर्शन प्रभावी: DSA का अनुकूलित तंत्र प्रदर्शन को आगे बढ़ाता है

संबंधित कार्य

विसरण भाषा मॉडल विकास

• प्रारंभिक कार्य: D3PM ने असतत विसरण की नींव स्थापित की, SEDD ने स्कोर एंट्रॉपी के माध्यम से मॉडलिंग में सुधार किया
• स्केलिंग अनुसंधान: LLaDA ने 8B स्केल पर DLMs की स्केलेबिलिटी प्रदर्शित की
• दक्षता अनुकूलन: मौजूदा अनुसंधान मुख्य रूप से कैशिंग तंत्र और बहु-टोकन पीढ़ी के माध्यम से कम्प्यूटेशनल लागत को कम करने पर केंद्रित है

भाषा मॉडल संकेतन तकनीक

• स्वसंचालित मॉडल: GPT-3 की कम-शॉट शिक्षा, Chain-of-Thought की तर्क मार्गदर्शन
• भरने की विधि: मौजूदा भरने की तकनीकें अभी भी एकदिशात्मक बाधा से प्रभावित हैं
• इस पेपर का योगदान: पहली बार DLMs के लिए विशेष द्विदिशात्मक शर्त रणनीति डिजाइन करना

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. टेम्पलेट इनफिलिंग DLMs की द्विदिशात्मक पीढ़ी क्षमता का सफलतापूर्वक उपयोग करता है, महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है
2. गतिशील खंड आवंटन लचीली संरचनात्मक नियंत्रण तंत्र प्रदान करता है
3. TI बहु-टोकन समानांतर पीढ़ी परिदृश्य में अद्वितीय लाभ प्रदर्शित करता है
4. यह विधि DLMs के अनुप्रयोग के लिए अनुसंधान के नए क्षेत्र को खोलता है

सीमाएं

1. प्रशिक्षण प्रतिमान सीमा: मौजूदा निर्देश सूक्ष्म-ट्यूनिंग मॉडल अभी भी पारंपरिक संकेतन-तर्क प्रतिमान पर आधारित हैं, TI के लिए अनुकूलित नहीं हैं
2. टेम्पलेट डिजाइन निर्भरता: उपयुक्त टेम्पलेट संरचना के मानव डिजाइन की आवश्यकता है
3. मूल्यांकन सीमा: केवल गणितीय तर्क और कोड पीढ़ी कार्यों पर सत्यापित, व्यापक कार्य मूल्यांकन की आवश्यकता है

भविष्य की दिशा

1. प्रशिक्षण एकीकरण: TI को निर्देश सूक्ष्म-ट्यूनिंग प्रक्रिया में शामिल करना, प्रशिक्षण चरण से टेम्पलेट शर्त क्षमता को अनुकूलित करना
2. स्वचालित टेम्पलेट पीढ़ी: कार्य-विशिष्ट टेम्पलेट स्वचालित रूप से उत्पन्न करने की विधि का अनुसंधान करना
3. अधिक कार्य सत्यापन: व्यापक NLP कार्यों पर TI की प्रभावकारिता को सत्यापित करना

गहन मूल्यांकन

शक्तियां

1. मजबूत नवाचार: पहली बार DLMs की द्विदिशात्मक पीढ़ी विशेषता के लिए विशेष शर्त विधि डिजाइन करना, पारंपरिक उपसर्ग संकेतन की सीमा को तोड़ना
2. विधि तर्कसंगत: TI और DSA का डिजाइन DLMs की आर्किटेक्चर लाभ का पूरी तरह से उपयोग करता है, सिद्धांत आधार ठोस है
3. पर्याप्त प्रयोग: कई तुलना प्रयोगों और विलोपन अध्ययनों के माध्यम से विधि की प्रभावकारिता को सत्यापित करना
4. व्यावहारिक मूल्य: बहु-टोकन पीढ़ी परिदृश्य में स्थिरता व्यावहारिक अनुप्रयोग के लिए मूल्य प्रदान करती है
5. स्पष्ट लेखन: पेपर संरचना स्पष्ट है, विधि विवरण विस्तृत है, समझने और पुनरुत्पादन में आसान है

कमियां

1. सीमित मूल्यांकन सीमा: केवल दो कार्य प्रकारों पर सत्यापित, व्यापक कार्य मूल्यांकन की कमी है
2. टेम्पलेट निर्भरता: टेम्पलेट संरचना के मानव डिजाइन की आवश्यकता, विधि की सामान्यता को सीमित कर सकता है
3. अपर्याप्त सैद्धांतिक विश्लेषण: TI प्रदर्शन सुधार क्यों कर सकता है इसका गहन सैद्धांतिक विश्लेषण की कमी है
4. कम्प्यूटेशनल लागत विश्लेषण: आधार रेखा विधि की तुलना में TI की कम्प्यूटेशनल लागत का विस्तृत विश्लेषण नहीं किया गया है
5. सांख्यिकीय महत्व: सांख्यिकीय महत्व परीक्षण रिपोर्ट की कमी है

प्रभाव

1. शैक्षणिक योगदान: DLMs अनुसंधान के लिए नई दिशा खोलता है, दक्षता अनुकूलन से क्षमता पूर्ण उपयोग की ओर
2. व्यावहारिक मूल्य: तुरंत लागू प्रदर्शन सुधार विधि प्रदान करता है, अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है
3. प्रेरणा महत्व: अनुसंधानकर्ताओं को नई मॉडल आर्किटेक्चर के लिए उपयुक्त शर्त रणनीति कैसे डिजाइन करें इस पर पुनर्विचार करने के लिए प्रेरित करता है
4. पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण प्रदान करता है, अन्य अनुसंधानकर्ताओं के लिए पुनरुत्पादन और सुधार में सुविधा प्रदान करता है

लागू परिदृश्य

1. संरचनात्मक पीढ़ी कार्य: विशेष रूप से विशिष्ट संरचना आउटपुट की आवश्यकता वाले कार्यों के लिए उपयुक्त, जैसे गणितीय समस्या समाधान, कोड पीढ़ी
2. बहु-टोकन समानांतर पीढ़ी: अनुमान त्वरण की आवश्यकता वाले परिदृश्यों में अद्वितीय लाभ है
3. DLMs अनुप्रयोग: सभी विसरण-आधारित भाषा मॉडल के लिए प्रदर्शन सुधार समाधान प्रदान करता है
4. अनुसंधान उपकरण: DLMs क्षमता सीमा का अनुसंधान करने के लिए नया प्रायोगिक प्रतिमान प्रदान करता है

संदर्भ

पेपर कई महत्वपूर्ण संबंधित कार्यों का हवाला देता है, जिनमें शामिल हैं:

1. विसरण मॉडल आधार: Ho et al. (2020) - विनोइसिंग विसरण संभाव्यता मॉडल
2. DLMs विकास: Austin et al. (2021) - D3PM, Lou et al. (2023) - SEDD, Nie et al. (2025) - LLaDA
3. भाषा मॉडल संकेतन: Brown et al. (2020) - GPT-3, Wei et al. (2022) - Chain-of-Thought
4. मूल्यांकन बेंचमार्क: Cobbe et al. (2021) - GSM8K, Chen et al. (2021) - HumanEval

समग्र मूल्यांकन: यह विसरण भाषा मॉडल के लिए एक उच्च गुणवत्ता वाला अनुसंधान पेपर है जो एक नवीन शर्त विधि प्रस्तावित करता है। हालांकि मूल्यांकन सीमा और सैद्धांतिक विश्लेषण में कुछ सीमाएं हैं, लेकिन इसका मुख्य विचार नवीन है, प्रायोगिक परिणाम आश्वस्त करने वाले हैं, और यह DLMs के अनुसंधान और अनुप्रयोग के लिए मूल्यवान योगदान प्रदान करता है। यह कार्य विसरण भाषा मॉडल को शुद्ध दक्षता अनुकूलन से क्षमता पूर्ण उपयोग की दिशा में विकास को बढ़ावा देने की संभावना रखता है।