2025-11-16T12:07:12.311543

Chunk-Distilled Language Modeling

Li, Livescu, Zhou

We introduce Chunk-Distilled Language Modeling (CD-LM), an approach to text generation that addresses two challenges in current large language models (LLMs): the inefficiency of token-level generation, and the difficulty of adapting to new data and knowledge. Our method combines deep network-based LLMs with a straightforward retrieval module, which allows the generation of multi-token text chunks at a single decoding step. Our retrieval framework enables flexible construction of model- or domain-specific datastores, either leveraging the internal knowledge of existing models, or incorporating expert insights from human-annotated corpora. This adaptability allows for enhanced control over the language model's distribution without necessitating additional training. We present the CD-LM formulation along with performance metrics demonstrating its ability to improve language model performance and efficiency across a diverse set of downstream tasks. Code and data will be made publicly available.

academic

চাংক-ডিস্টিল্ড ল্যাঙ্গুয়েজ মডেলিং

মৌলিক তথ্য

পেপার আইডি: 2501.00343
শিরোনাম: চাংক-ডিস্টিল্ড ল্যাঙ্গুয়েজ মডেলিং
লেখক: ইয়ানহং লি (শিকাগো বিশ্ববিদ্যালয় ও টিটিআইসি), কারেন লিভেস্কু (টয়োটা টেকনোলজিক্যাল ইনস্টিটিউট অ্যাট শিকাগো), জিয়াওয়েই ঝো (টিটিআইসি ও স্টোনি ব্রুক বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.CL cs.AI
প্রকাশনার সময়: ২০২৪ সালের ৩১ ডিসেম্বর (arXiv প্রি-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2501.00343

সারসংক্ষেপ

এই পেপারটি চাংক-ডিস্টিল্ড ল্যাঙ্গুয়েজ মডেলিং (সিডি-এলএম) প্রস্তাব করে, যা বর্তমান বড় ভাষা মডেলের দুটি মূল চ্যালেঞ্জ সমাধানের জন্য একটি পাঠ্য প্রজন্ম পদ্ধতি: টোকেন-স্তরের প্রজন্মের অদক্ষতা এবং নতুন ডেটা ও জ্ঞানের সাথে খাপ খাওয়ানোর কঠিনতা। এই পদ্ধতিটি গভীর নেটওয়ার্ক-ভিত্তিক এলএলএম-কে সহজ পুনরুদ্ধার মডিউলের সাথে একত্রিত করে, যা একক ডিকোডিং ধাপে একাধিক-টোকেন পাঠ্য চাংক উৎপন্ন করতে অনুমতি দেয়। এর পুনরুদ্ধার কাঠামো মডেল বা ডোমেইন-নির্দিষ্ট ডেটা সংরক্ষণাগার নমনীয় নির্মাণ সমর্থন করে, যা বিদ্যমান মডেলের অভ্যন্তরীণ জ্ঞান এবং মানব-মন্তব্যকৃত কর্পাসের বিশেষজ্ঞ অন্তর্দৃষ্টি উভয়ই ব্যবহার করতে পারে। এই অভিযোজনযোগ্যতা অতিরিক্ত প্রশিক্ষণ ছাড়াই ভাষা মডেল বিতরণের উপর নিয়ন্ত্রণ বৃদ্ধি করতে অনুমতি দেয়।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

প্রজন্ম দক্ষতা সমস্যা: বর্তমান এলএলএম স্বয়ংক্রিয় রিগ্রেসিভ ট্রান্সফর্মার আর্কিটেকচারের উপর ভিত্তি করে, ক্রমানুসারে টোকেন-দ্বারা-টোকেন পাঠ্য উৎপন্ন করে, যা অনুমান দক্ষতা সীমাবদ্ধ করে
জ্ঞান অভিযোজন কঠিনতা: প্রশিক্ষণের পরে মডেল পরামিতি আপডেট করার জন্য ব্যয়বহুল ডেটা এবং গণনা সম্পদ প্রয়োজন, নতুন জ্ঞান গতিশীলভাবে একীভূত করা কঠিন

সমস্যার গুরুত্ব

বিদ্যমান সমাধানগুলির সীমাবদ্ধতা রয়েছে: অনুমানমূলক ডিকোডিং গতি বৃদ্ধি করতে পারে কিন্তু স্থির মডেল বিতরণ বজায় রাখে; পুনরুদ্ধার-বর্ধিত প্রজন্ম অভিযোজনযোগ্যতা উন্নত করতে পারে কিন্তু সাধারণত কোনো দক্ষতা লাভ নেই
দক্ষতা এবং কর্মক্ষমতা উভয় সমস্যা সমাধানের জন্য একটি একীভূত সমাধান প্রয়োজন

মূল অন্তর্দৃষ্টি

পেপারটি পর্যবেক্ষণ করে যে এলএলএম অনুরূপ প্রসঙ্গে প্রায়শই পুনরাবৃত্তিমূলক পাঠ্য চাংক উৎপন্ন করে, যা টোকেন ক্রমে উচ্চ সম্ভাব্যতা প্ল্যাটফর্ম প্রদর্শন করে, যা নির্দেশ করে যে মডেলের নির্দিষ্ট বহু-টোকেন সমন্বয়ের জন্য শক্তিশালী স্মৃতি রয়েছে।

মূল অবদান

সিডি-এলএম কাঠামো প্রস্তাব: প্রজন্ম দক্ষতা এবং মডেলিং কর্মক্ষমতা উভয়ই বৃদ্ধি করার প্রথম পুনরুদ্ধার-বর্ধিত ভাষা মডেলিং পদ্ধতি
নমনীয় চাংক নিষ্কাশন প্রক্রিয়া ডিজাইন: তিনটি প্রয়োগ পরিস্থিতি সমর্থন করে (জ্ঞান পাতন, স্ব-পাতন, বিশেষজ্ঞ পাতন)
দক্ষ পুনরুদ্ধার আর্কিটেকচার নির্মাণ: ট্রাই কাঠামো-ভিত্তিক ডেটা সংরক্ষণাগার এবং প্রসঙ্গ মিলান প্রক্রিয়া
সম্ভাব্যতা গণনা অ্যালগরিদম উদ্ভাবন: সম্পূর্ণ ক্রম সম্ভাব্যতা গণনার জন্য গতিশীল প্রোগ্রামিং অ্যালগরিদম প্রদান করা
ব্যাপক পরীক্ষামূলক যাচাইকরণ: একাধিক কাজে দক্ষতা এবং কর্মক্ষমতার দ্বিগুণ উন্নতি প্রদর্শন করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

প্রদত্ত উপসর্গ ক্রম $x_{<n}$ , সিডি-এলএম প্রতিটি প্রজন্ম পদক্ষেপে নির্বাচন করে:

পুনরুদ্ধৃত পাঠ্য চাংক $c_n$ গ্রহণ করা (একাধিক টোকেন প্রজন্ম পদক্ষেপ এড়িয়ে যাওয়া)
চাংক প্রত্যাখ্যান করা এবং ভিত্তি এলএম ব্যবহার করে একক টোকেন উৎপন্ন করা

মডেল আর্কিটেকচার

১. সম্ভাব্যতা প্রজন্ম মডেল

সিডি-এলএম দ্বিমুখী র্যান্ডম ভেরিয়েবল $z_n$ প্রবর্তন করে যা অবস্থান $n$ -এ পুনরুদ্ধার চাংক ব্যবহার করা হয় কিনা তা নিয়ন্ত্রণ করে:

$p(z_n = 1) = q_n$

প্রজন্ম প্রক্রিয়া:

যদি $z_n = 1$ : চাংক $c_n$ গ্রহণ করা, দৈর্ঘ্য $\tau_n$
যদি $z_n = 0$ : ভিত্তি এলএম ব্যবহার করে একক টোকেন উৎপন্ন করা

২. চাংক ডেটা সংরক্ষণাগার নির্মাণ

ডেটা সংরক্ষণাগার $D = \{(r_i, s_i)\}_{i=1}^{|D|}$ , যেখানে:

$r_i = (u_i, v_i)$ : $u_i$ পূর্ববর্তী প্রসঙ্গ, $v_i$ প্রবেশ টোকেন
$s_i$ : পাঠ্য চাংক
ট্রাই কাঠামো $\{T_{w_1}, T_{w_2}, ..., T_{w_{|V|}}\}$ ব্যবহার করে সংরক্ষণ করা, প্রতিটি $T_w$ টোকেন $w$ দিয়ে শুরু হওয়া সমস্ত চাংক সংরক্ষণ করে

৩. অভিযোজনযোগ্য চাংক পুনরুদ্ধার

চাংক প্রস্তাব মডেল $G(x_{<n}) \rightarrow (c_n, q_n)$ :