2025-11-13T00:28:10.748028

Unlocking the Potential of Diffusion Language Models through Template Infilling

Lee, Kim, Kwak

Diffusion Language Models (DLMs) have emerged as a promising alternative to Autoregressive Language Models, yet their inference strategies remain limited to prefix-based prompting inherited from the autoregressive paradigm. In this paper, we propose Template Infilling (TI), a tailored conditioning methodology for DLMs' generation process. Unlike conventional prefix prompting, TI first generates a structural template for the target response, then fills in the masked segments. To enhance the flexibility of this structural control, we introduce Dynamic Segment Allocation (DSA), which adaptively adjusts segment lengths based on generation confidence. We demonstrate the effectiveness of our approach on mathematical reasoning and code generation benchmarks, achieving consistent improvements of 17.01$\%$p over baseline. Furthermore, we show that TI provides additional advantages in multi-token generation settings, enabling effective speedup while maintaining generation quality.

academic

টেমপ্লেট ইনফিলিং এর মাধ্যমে ডিফিউশন ভাষা মডেলের সম্ভাবনা আনলক করা

মৌলিক তথ্য

পেপার আইডি: 2510.13870
শিরোনাম: Unlocking the Potential of Diffusion Language Models through Template Infilling
লেখক: জুনহু লি (সিউল ন্যাশনাল ইউনিভার্সিটি), সিউংইয়ন কিম (সুংগিউনকোয়ান ইউনিভার্সিটি), নোজুন কোয়াক (সিউল ন্যাশনাল ইউনিভার্সিটি)
শ্রেণীবিভাগ: cs.CL cs.AI
প্রকাশনার সময়: ২০২৫ সালের ১৩ অক্টোবর (arXiv প্রিপ্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.13870

সারসংক্ষেপ

ডিফিউশন ভাষা মডেল (DLMs) স্বয়ংক্রিয় ভাষা মডেলের একটি প্রতিশ্রুতিশীল বিকল্প হিসাবে আবির্ভূত হয়েছে, তবে এর অনুমান কৌশল এখনও স্বয়ংক্রিয় প্যারাডাইম থেকে উত্তরাধিকার সূত্রে প্রাপ্ত উপসর্গ-ভিত্তিক প্রম্পটিং এর মধ্যে সীমাবদ্ধ। এই পেপারটি টেমপ্লেট ইনফিলিং (TI) প্রস্তাব করে, যা DLMs এর জন্য একটি কাস্টমাইজড শর্তাধীন পদ্ধতি। ঐতিহ্যবাহী উপসর্গ প্রম্পটিং এর বিপরীতে, TI প্রথমে লক্ষ্য প্রতিক্রিয়ার জন্য একটি কাঠামোগত টেমপ্লেট তৈরি করে, তারপর মুখোশযুক্ত বিভাগ পূরণ করে। এই কাঠামোগত নিয়ন্ত্রণের নমনীয়তা বৃদ্ধির জন্য, লেখকরা গতিশীল বিভাগ বরাদ্দ (DSA) চালু করেছেন, যা উৎপাদন আত্মবিশ্বাসের উপর ভিত্তি করে বিভাগের দৈর্ঘ্য অভিযোজিতভাবে সামঞ্জস্য করে। গাণিতিক যুক্তি এবং কোড জেনারেশন বেঞ্চমার্কে, এই পদ্ধতি বেসলাইনের তুলনায় ১৭.০১% সামঞ্জস্য উন্নতি অর্জন করেছে। অতিরিক্তভাবে, TI বহু-টোকেন জেনারেশন সেটিংসে অতিরিক্ত সুবিধা প্রদান করে, উৎপাদন গুণমান বজায় রেখে কার্যকর ত্বরণ অর্জন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ডিফিউশন ভাষা মডেল (DLMs) পুনরাবৃত্তিমূলক ডিনোইজিং প্রক্রিয়ার মাধ্যমে পাঠ্য তৈরি করে, যা স্বয়ংক্রিয় ভাষা মডেল (ALMs) এর বাম-থেকে-ডান জেনারেশন প্যারাডাইম থেকে মৌলিকভাবে আলাদা। DLMs যেকোনো অবস্থানের সেটের জন্য শর্তাধীন জেনারেশন করতে পারে, দ্বিমুখী প্রসঙ্গ মডেলিং ক্ষমতা রাখে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

১. অনুমান কৌশল সীমাবদ্ধ: বিদ্যমান DLM গবেষণা প্রধানত স্বয়ংক্রিয় মডেল থেকে উত্তরাধিকার সূত্রে প্রাপ্ত উপসর্গ-ভিত্তিক প্রম্পটিং পদ্ধতি অনুসরণ করে ২. ক্ষমতা অপর্যাপ্তভাবে ব্যবহৃত: বেশিরভাগ গবেষণা শুধুমাত্র DLMs এর বহু-টোকেন সমান্তরাল জেনারেশন ক্ষমতা ব্যবহার করে অনুমান খরচ কমাতে ফোকাস করে ३. শর্তাধীন কৌশল অমিল: DLMs এর দ্বিমুখী জেনারেশন ক্ষমতার জন্য বিশেষভাবে ডিজাইন করা শর্তাধীন পদ্ধতির অভাব

গবেষণা প্রেরণা

DLMs এর দ্বিমুখী শর্তাধীন জেনারেশন ক্ষমতা পাঠ্য জেনারেশনের জন্য নতুন সম্ভাবনা প্রদান করে, তবে বিদ্যমান মূল্যায়ন এবং প্রয়োগ পদ্ধতি এই সুবিধা সম্পূর্ণভাবে কাজে লাগায় না। লেখকরা বিশ্বাস করেন যে DLMs এর বৈশিষ্ট্যের জন্য বিশেষভাবে ডিজাইন করা নতুন শর্তাধীন পদ্ধতির প্রয়োজন।

মূল অবদান

১. টেমপ্লেট ইনফিলিং (TI) ফ্রেমওয়ার্ক প্রস্তাব: DLMs এর দ্বিমুখী জেনারেশন ক্ষমতা ব্যবহার করার জন্য একটি শর্তাধীন জেনারেশন পদ্ধতি २. ডায়নামিক সেগমেন্ট অ্যালোকেশন (DSA) অ্যালগরিদম ডিজাইন: আত্মবিশ্বাস-ভিত্তিক অভিযোজিত বিভাগ দৈর্ঘ্য সমন্বয় প্রক্রিয়া ३. কার্যকারিতা পরীক্ষা: গাণিতিক যুক্তি এবং কোড জেনারেশন কাজে গড়ে ১৭.০१% কর্মক্ষমতা উন্নতি ४. বহু-টোকেন জেনারেশন সুবিধা: প্রমাণ করে যে TI একাধিক টোকেন সমান্তরালভাবে তৈরি করার সময় কর্মক্ষমতা স্থিতিশীলতা বজায় রাখে ५. নতুন প্যারাডাইম প্রতিষ্ঠা: DLMs এর শর্তাধীন কৌশল ডিজাইনের জন্য গবেষণার নতুন দিগন্ত খুলে দেয়

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

প্রদত্ত ইনপুট প্রসঙ্গ দেওয়া, DLMs এর দ্বিমুখী শর্তাধীন জেনারেশন ক্ষমতা ব্যবহার করে, কাঠামোগত টেমপ্লেট দ্বারা পরিচালিত জেনারেশন প্রক্রিয়ার মাধ্যমে উচ্চ মানের লক্ষ্য প্রতিক্রিয়া উৎপাদন করা।

মডেল আর্কিটেকচার

३.१ মৌলিক তত্ত্ব

স্বয়ংক্রিয় ভাষা মডেল:

p(xt|x<t) = p(xt|x1, ..., xt-1)

ডিফিউশন ভাষা মডেল:

p(x(t-1)|x(t))

যেখানে DLMs এর মূল বৈশিষ্ট্য হল যেকোনো অবস্থানের সেটের জন্য শর্তাধীন জেনারেশন করার ক্ষমতা:

p(xM|xO)

যেখানে O পর্যবেক্ষণ অবস্থান, M মুখোশযুক্ত অবস্থান, এবং O∩M = ∅, O∪M = {1,...,N}

३.२ টেমপ্লেট ইনফিলিং (TI)

TI ঐতিহ্যবাহী উপসর্গ শর্তাধীনতাকে টেমপ্লেট ইনফিলিংয়ে সাধারণীকরণ করে। প্রথমে লক্ষ্য প্রতিক্রিয়ার কাঠামো কঙ্কাল নির্দিষ্ট করে এমন একটি টেমপ্লেট τ তৈরি করা হয়:

τ = [t1, M1, t2, M2, ..., tk, Mk]

যেখানে:

ti: টেমপ্লেট অ্যাঙ্করপয়েন্ট (পূর্বনির্ধারিত কাঠামোগত উপাদান)
Mi: পূরণ করার জন্য মুখোশযুক্ত বিভাগ

३.३ ডায়নামিক সেগমেন্ট অ্যালোকেশন (DSA)

স্থির টেমপ্লেট অবস্থানের সীমাবদ্ধতা সমাধানের জন্য, DSA আত্মবিশ্বাসের উপর ভিত্তি করে বিভাগের দৈর্ঘ্য গতিশীলভাবে সামঞ্জস্য করে।

আত্মবিশ্বাসের সংজ্ঞা:

ci = max p(xi = v|xO, xM\{i})
    v∈V

বিভাগ সম্প্রসারণ প্রক্রিয়া: যখন বিভাগ Mi এর গড় আত্মবিশ্বাস থ্রেশহোল্ড τ এর নিচে থাকে, অতিরিক্ত মুখোশযুক্ত টোকেন সন্নিবেশ করে সম্প্রসারণ করা হয়:

M(k+1)_i = M(k)_i ∪ |Δ|

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. কাঠামোগত শর্তাধীন জেনারেশন: টেমপ্লেট অ্যাঙ্করপয়েন্টের মাধ্যমে স্পষ্ট কাঠামোগত পূর্বধারণা প্রদান করে, অন্তর্নিহিত উপসর্গ নির্দেশনার পরিবর্তে २. বৈশ্বিক সামঞ্জস্য: সমস্ত বিভাগ একযোগে বিবেচনা করার DLMs এর ক্ষমতা ব্যবহার করে, বৈশ্বিকভাবে সুসংগত প্রতিক্রিয়া তৈরি করে ३. অভিযোজিত দৈর্ঘ্য সমন্বয়: আত্মবিশ্বাস-ভিত্তিক গতিশীল বরাদ্দ প্রক্রিয়া, স্থির দৈর্ঘ্য সীমাবদ্ধতা সমাধান করে ४. দ্বিমুখী প্রসঙ্গ ব্যবহার: DLMs এর দ্বিমুখী মডেলিং আর্কিটেকচার সুবিধা সম্পূর্ণভাবে কাজে লাগায়

পরীক্ষামূলক সেটআপ

ডেটাসেট

গাণিতিক যুক্তি: GSM8K - প্রাথমিক গণিত প্রয়োগ সমস্যা ডেটাসেট
কোড জেনারেশন: HumanEval - প্রোগ্রাম সংশ্লেষণ ক্ষমতা মূল্যায়ন ডেটাসেট

মূল্যায়ন মেট্রিক্স

GSM8K: নির্ভুলতা (Accuracy)
HumanEval: pass@1 মেট্রিক (একক প্রচেষ্টার সঠিকতা)

তুলনা পদ্ধতি

ফিক্সড-লেন্থ ডিনোইজিং: বিভিন্ন স্থির দৈর্ঘ্য (64, 128, 256, 512) এর বেসলাইন পদ্ধতি
উপসর্গ-ভিত্তিক টেমপ্লেট: ঐতিহ্যবাহী উপসর্গ প্রম্পটিং পদ্ধতি

বাস্তবায়ন বিবরণ

মূল মডেল: LLaDA (Nie et al., 2025)
হার্ডওয়্যার: একক NVIDIA RTX Pro 6000 GPU
আত্মবিশ্বাস থ্রেশহোল্ড: 0.1
মূল্যায়ন সেটিং: শূন্য-শট শিক্ষা, ভাষা মডেল মূল্যায়ন হার্নেস ব্যবহার করে
জেনারেশন পদ্ধতি: সম্পূর্ণ সমান্তরাল আপডেট (ব্লক জেনারেশন ব্যবহার করা হয় না)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	GSM8K	HumanEval	গড়
বেসলাইন (128)	48.75	11.59	30.17
TI	56.56	18.29	37.43
TI+DSA	72.10	22.50	47.30

মূল আবিষ্কার:

TI বেসলাইনের তুলনায় গড়ে ১७.०१% উন্নতি করে
TI+DSA আরও উন্নতি করে, সর্বোত্তম কর্মক্ষমতা অর্জন করে
বিভিন্ন কাজের ধরনে সামঞ্জস্যপূর্ণ উন্নতি পায়

অ্যাবলেশন পরীক্ষা

উপসর্গ প্রম্পটিং বনাম টেমপ্লেট ইনফিলিং তুলনা

পদ্ধতি	GSM8K	HumanEval	গড়
উপসর্গ টেমপ্লেট প্রম্পটিং	51.25	5.49	28.37
TI	56.56	18.29	37.26

TI উপসর্গ পদ্ধতির তুলনায় গড়ে ৮.८९% উন্নতি করে, কাঠামোগত শর্তাধীনতার সুবিধা প্রমাণ করে।

বহু-টোকেন জেনারেশন বিশ্লেষণ

পদ্ধতি	1 টোকেন	2 টোকেন	4 টোকেন	8 টোকেন	16 টোকেন
বেসলাইন	48.75	47.84	44.73	35.48	18.50
TI	56.56	55.50	53.90	52.69	48.60

মূল আবিষ্কার: বেসলাইন পদ্ধতি বহু-টোকেন জেনারেশনে কর্মক্ষমতা তীব্রভাবে হ্রাস পায়, যখন TI তুলনামূলকভাবে স্থিতিশীল থাকে, কাঠামোগত নির্দেশনার সুবিধা প্রদর্শন করে।

পরীক্ষামূলক আবিষ্কার

१. কাজ-স্বাধীনতা: TI গাণিতিক যুক্তি এবং কোড জেনারেশন উভয় ভিন্ন ক্ষেত্রে উন্নতি অর্জন করে २. কাঠামোগত সুবিধা: টেমপ্লেট ইনফিলিং ঐতিহ্যবাহী উপসর্গ প্রম্পটিং থেকে স্পষ্টভাবে উন্নত ३. সমান্তরাল জেনারেশন স্থিতিশীলতা: TI বহু-টোকেন সমান্তরাল জেনারেশনে কর্মক্ষমতা স্থিতিশীল রাখে ४. আত্মবিশ্বাস নির্দেশনা কার্যকর: DSA এর অভিযোজিত প্রক্রিয়া আরও কর্মক্ষমতা উন্নতি করে

সিদ্ধান্ত এবং আলোচনা

প্রধান সিদ্ধান্ত

१. টেমপ্লেট ইনফিলিং সফলভাবে DLMs এর দ্বিমুখী জেনারেশন ক্ষমতা ব্যবহার করে, উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করে २. ডায়নামিক সেগমেন্ট অ্যালোকেশন নমনীয় কাঠামোগত নিয়ন্ত্রণ প্রক্রিয়া প্রদান করে ३. TI বহু-টোকেন সমান্তরাল জেনারেশন পরিস্থিতিতে অনন্য সুবিধা প্রদর্শন করে ४. এই পদ্ধতি DLMs এর প্রয়োগের জন্য গবেষণার নতুন দিগন্ত খুলে দেয়

সীমাবদ্ধতা

१. প্রশিক্ষণ প্যারাডাইম সীমাবদ্ধতা: বর্তমান নির্দেশনা সূক্ষ্ম-সুর মডেল এখনও ঐতিহ্যবাহী প্রম্পটিং-যুক্তি প্যারাডাইমের উপর ভিত্তি করে প্রশিক্ষিত, TI এর জন্য অপ্টিমাইজ করা হয় না २. টেমপ্লেট ডিজাইন নির্ভরতা: উপযুক্ত টেমপ্লেট কাঠামো ম্যানুয়ালি ডিজাইন করার প্রয়োজন ३. মূল্যায়ন পরিসীমা: শুধুমাত্র গাণিতিক যুক্তি এবং কোড জেনারেশন কাজে যাচাই করা হয়েছে, আরও বিস্তৃত কাজ মূল্যায়নের প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. প্রশিক্ষণ একীকরণ: TI কে নির্দেশনা সূক্ষ্ম-সুর প্রক্রিয়ায় অন্তর্ভুক্ত করা, প্রশিক্ষণ পর্যায় থেকে টেমপ্লেট শর্তাধীন ক্ষমতা অপ্টিমাইজ করা २. স্বয়ংক্রিয় টেমপ্লেট জেনারেশন: কাজ-নির্দিষ্ট টেমপ্লেট স্বয়ংক্রিয়ভাবে তৈরি করার পদ্ধতি গবেষণা করা ३. আরও কাজ যাচাইকরণ: আরও বিস্তৃত NLP কাজে TI এর কার্যকারিতা যাচাই করা

গভীর মূল্যায়ন

শক্তি

१. শক্তিশালী উদ্ভাবনী: প্রথমবার DLMs এর দ্বিমুখী জেনারেশন বৈশিষ্ট্যের জন্য বিশেষ শর্তাধীন পদ্ধতি ডিজাইন করা, ঐতিহ্যবাহী উপসর্গ প্রম্পটিং এর সীমাবদ্ধতা অতিক্রম করা २. পদ্ধতি যুক্তিসঙ্গত: TI এবং DSA এর ডিজাইন DLMs এর আর্কিটেকচার সুবিধা সম্পূর্ণভাবে ব্যবহার করে, তাত্ত্বিক ভিত্তি দৃঢ় ३. পরীক্ষা সম্পূর্ণ: একাধিক তুলনা পরীক্ষা এবং অ্যাবলেশন গবেষণার মাধ্যমে পদ্ধতির কার্যকারিতা যাচাই করা ४. ব্যবহারিক মূল্য: বহু-টোকেন জেনারেশন পরিস্থিতিতে স্থিতিশীলতা বাস্তব প্রয়োগের জন্য মূল্য প্রদান করে ५. লেখা স্পষ্ট: পেপার কাঠামো স্পষ্ট, পদ্ধতি বর্ণনা বিস্তারিত, বোঝা এবং পুনরুৎপাদন সহজ

অপূর্ণতা

१. সীমিত মূল্যায়ন পরিসীমা: শুধুমাত্র দুটি কাজের ধরনে যাচাই করা, আরও বিস্তৃত কাজ মূল্যায়নের অভাব २. টেমপ্লেট নির্ভরতা: টেমপ্লেট কাঠামো ম্যানুয়ালি ডিজাইন করার প্রয়োজন, পদ্ধতির সাধারণতা সীমাবদ্ধ করতে পারে ३. অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: কেন TI কর্মক্ষমতা উন্নত করতে পারে তার গভীর তাত্ত্বিক বিশ্লেষণের অভাব ४. গণনা খরচ বিশ্লেষণ: TI এবং বেসলাইন পদ্ধতির মধ্যে গণনা খরচের বিস্তারিত বিশ্লেষণ নেই ५. পরিসংখ্যানগত তাৎপর্য: পরিসংখ্যানগত তাৎপর্য পরীক্ষার রিপোর্টের অভাব

প্রভাব

१. একাডেমিক অবদান: DLMs গবেষণার জন্য নতুন দিকনির্দেশনা খোলে, দক্ষতা অপ্টিমাইজেশন থেকে ক্ষমতা সম্পূর্ণ ব্যবহারে রূপান্তর २. ব্যবহারিক মূল্য: অতিরিক্ত প্রশিক্ষণ ছাড়াই তাৎক্ষণিক কর্মক্ষমতা উন্নতি পদ্ধতি প্রদান করে ३. অনুপ্রেরণামূলক তাৎপর্য: গবেষকদের নতুন মডেল আর্কিটেকচারের জন্য কীভাবে শর্তাধীন কৌশল ডিজাইন করতে হয় তা পুনর্বিবেচনা করতে অনুপ্রাণিত করে ४. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ প্রদান করে, অন্যান্য গবেষকদের পুনরুৎপাদন এবং উন্নতি সহজ করে

প্রযোজ্য পরিস্থিতি

१. কাঠামোগত জেনারেশন কাজ: বিশেষত নির্দিষ্ট কাঠামো আউটপুট প্রয়োজন এমন কাজের জন্য উপযুক্ত, যেমন গাণিতিক সমাধান, কোড জেনারেশন २. বহু-টোকেন সমান্তরাল জেনারেশন: অনুমান ত্বরণের প্রয়োজন এমন পরিস্থিতিতে অনন্য সুবিধা রয়েছে ३. DLMs প্রয়োগ: সমস্ত ডিফিউশন-ভিত্তিক ভাষা মডেলের জন্য কর্মক্ষমতা উন্নতি সমাধান প্রদান করে ४. গবেষণা সরঞ্জাম: DLMs ক্ষমতা সীমানা গবেষণার জন্য নতুন পরীক্ষামূলক প্যারাডাইম প্রদান করে

সংদর্ভ

পেপারটি একাধিক গুরুত্বপূর্ণ সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

१. ডিফিউশন মডেল ভিত্তি: Ho et al. (2020) - ডিনোইজিং ডিফিউশন সম্ভাব্যতা মডেল २. DLMs উন্নয়ন: Austin et al. (2021) - D3PM, Lou et al. (2023) - SEDD, Nie et al. (2025) - LLaDA ३. ভাষা মডেল প্রম্পটিং: Brown et al. (2020) - GPT-3, Wei et al. (2022) - চেইন-অফ-থট ४. মূল্যায়ন বেঞ্চমার্ক: Cobbe et al. (2021) - GSM8K, Chen et al. (2021) - HumanEval

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের গবেষণা পেপার যা ডিফিউশন ভাষা মডেলের জন্য উদ্ভাবনী শর্তাধীন পদ্ধতি প্রস্তাব করে। যদিও মূল্যায়ন পরিসীমা এবং তাত্ত্বিক বিশ্লেষণে নির্দিষ্ট সীমাবদ্ধতা রয়েছে, তবে এর মূল ধারণা উদ্ভাবনী, পরীক্ষামূলক ফলাফল প্রভাবশালী, এবং DLMs এর গবেষণা এবং প্রয়োগের জন্য মূল্যবান অবদান প্রদান করে। এই কাজ ডিফিউশন ভাষা মডেলকে খাঁটি দক্ষতা অপ্টিমাইজেশন থেকে ক্ষমতা সম্পূর্ণ ব্যবহারের দিকে এগিয়ে নিয়ে যাওয়ার সম্ভাবনা রাখে।