2025-11-23T21:25:17.524893

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging

Lee, Das, Gupta et al.

Low-Rank Adaptation (LoRA) has emerged as a parameter-efficient approach for fine-tuning large language models.However, conventional LoRA adapters are typically trained for a single task, limiting their applicability in real-world settings where inputs may span diverse and unpredictable domains. At inference time, existing approaches combine multiple LoRAs for improving performance on diverse tasks, while usually requiring labeled data or additional task-specific training, which is expensive at scale. In this work, we introduce LoRA on the Go (LoGo), a training-free framework that dynamically selects and merges adapters at the instance level without any additional requirements. LoGo leverages signals extracted from a single forward pass through LoRA adapters, to identify the most relevant adapters and determine their contributions on-the-fly. Across 5 NLP benchmarks, 27 datasets, and 3 model families, LoGo outperforms training-based baselines on some tasks upto a margin of 3.6% while remaining competitive on other tasks and maintaining inference throughput, highlighting its effectiveness and practicality.

academic

LoRA on the Go: ইনস্ট্যান্স-স্তরের গতিশীল LoRA নির্বাচন এবং মার্জিং

মৌলিক তথ্য

পেপার আইডি: 2511.07129
শিরোনাম: LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
লেখক: Seungeon Lee (MPI-SWS), Soumi Das (MPI-SWS), Manish Gupta (Microsoft, Hyderabad), Krishna P. Gummadi (MPI-SWS)
শ্রেণীবিভাগ: cs.CL, cs.AI, cs.LG
প্রকাশনার সময়: arXiv প্রিপ্রিন্ট, ২০২৫ সালের নভেম্বর ২০ (v2)
পেপার লিঙ্ক: https://arxiv.org/abs/2511.07129v2

সারসংক্ষেপ

Low-Rank Adaptation (LoRA) বৃহৎ ভাষা মডেলগুলির প্যারামিটার-দক্ষ সূক্ষ্ম সমন্বয়ের জন্য একটি ব্যাপকভাবে গৃহীত পদ্ধতি। তবে, ঐতিহ্যবাহী LoRA অ্যাডাপ্টারগুলি সাধারণত একক কাজের জন্য প্রশিক্ষিত হয়, যা ইনপুট বৈচিত্র্যময় এবং অপ্রত্যাশিত ডোমেইন জুড়ে বিস্তৃত বাস্তব পরিস্থিতিতে তাদের প্রযোজ্যতা সীমিত করে। অনুমান সময়ে, বিদ্যমান পদ্ধতিগুলি বৈচিত্র্যময় কাজের কর্মক্ষমতা উন্নত করতে একাধিক LoRA একত্রিত করে, কিন্তু সাধারণত মন্তব্যকৃত ডেটা বা অতিরিক্ত কাজ-নির্দিষ্ট প্রশিক্ষণের প্রয়োজন হয়, যা বৃহৎ-স্কেল অ্যাপ্লিকেশনে ব্যয়বহুল। এই পেপারটি LoRA on the Go (LoGo) প্রস্তাব করে, একটি প্রশিক্ষণ-মুক্ত কাঠামো যা কোনো অতিরিক্ত প্রয়োজনীয়তা ছাড়াই ইনস্ট্যান্স-স্তরে অ্যাডাপ্টারগুলি গতিশীলভাবে নির্বাচন এবং মার্জ করতে পারে। LoGo LoRA অ্যাডাপ্টারগুলির মাধ্যমে একক ফরওয়ার্ড পাস থেকে নিষ্কাশিত সংকেত ব্যবহার করে, সবচেয়ে প্রাসঙ্গিক অ্যাডাপ্টারগুলি গতিশীলভাবে চিহ্নিত করে এবং তাদের অবদান নির্ধারণ করে। ৫টি NLP বেঞ্চমার্ক, ২৭টি ডেটাসেট এবং ৩টি মডেল পরিবারে, LoGo কিছু কাজে প্রশিক্ষণ-ভিত্তিক বেসলাইন পদ্ধতির চেয়ে ৩.৬% বেশি, অন্যান্য কাজে প্রতিযোগিতামূলক থাকে এবং অনুমান থ্রুপুট বজায় রাখে, এর কার্যকারিতা এবং ব্যবহারিকতা তুলে ধরে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার পটভূমি

একক-কাজ LoRA এর সীমাবদ্ধতা: যদিও LoRA দক্ষ মডেল অভিযোজন প্রক্রিয়া প্রদান করে, অ্যাডাপ্টারগুলি সাধারণত একক ডোমেইন বা কাজের জন্য অপ্টিমাইজ করা হয়। বাস্তব অ্যাপ্লিকেশনে, সিস্টেমগুলিকে অদেখা কাজগুলিতে সাধারণীকরণ করতে বা একাধিক ডোমেইন জুড়ে বিশেষীকরণের প্রয়োজন এমন কাজগুলি করতে হবে।
বিদ্যমান মাল্টি-LoRA পদ্ধতির নির্ভরতা:
- LoRAHub: ছোট-স্কেল মন্তব্যকৃত সেট ব্যবহার করে নির্দিষ্ট সমন্বয় ওজন শিখে
- LoRARetriever: পুনরুদ্ধার মডেল প্রশিক্ষণ করে কিন্তু পুনরুদ্ধার এম্বেডিং গণনা করতে মন্তব্যকৃত নমুনার উপর নির্ভর করে
- MoA/MoLE: রাউটার প্রশিক্ষণ বা মার্জিং ওজন শেখার প্রয়োজন
বাস্তব পরিস্থিতির চ্যালেঞ্জ:
- সাধারণ কথোপকথন সিস্টেমে (যেমন AI সহায়ক), ব্যবহারকারীর প্রশ্নগুলি অত্যন্ত বৈচিত্র্যময়, সম্ভবত অসম্পর্কিত কাজগুলি জুড়ে (সংক্ষিপ্তকরণ, যুক্তি, অনুবাদ, প্রোগ্রামিং)
- LoRA পুল গতিশীলভাবে বিকশিত হয়, নতুন অ্যাডাপ্টার ক্রমাগত প্রবর্তিত বা বাদ দেওয়া হয়
- মন্তব্যকৃত ডেটা সংগ্রহ এবং কাজ-নির্দিষ্ট পুনঃপ্রশিক্ষণ ব্যয়বহুল এবং অব্যবহারিক
- ব্যবহারকারীর প্রশ্নগুলি গোপনীয়তা-সংবেদনশীল তথ্য জড়িত হতে পারে

মূল গবেষণা প্রশ্ন

গতিশীলভাবে বিকশিত LoRA পুল এবং বিষমজাত কাজের পরিবেশে, মন্তব্যকৃত ডেটা বা পুনঃপ্রশিক্ষণ ছাড়াই, প্রতিটি ইনপুটের জন্য উপযুক্ত LoRA গতিশীলভাবে কীভাবে নির্বাচন করা যায়?

গবেষণা প্রেরণা

এই পেপারের মূল অন্তর্দৃষ্টি হল: LoRA সক্রিয়করণ নিজেই প্রাসঙ্গিকতা সংকেত এনকোড করে। যখন কোনো LoRA একটি ইনপুটের জন্য উপযুক্ত হয়, তখন এর আপডেট মডেল আউটপুটে শক্তিশালী প্রভাব ফেলে (উদাহরণস্বরূপ, WNLI যুক্তি SNLI এবং MNLI-তে প্রশিক্ষিত LoRA থেকে উপকৃত হয়)।

মূল অবদান

বিদ্যমান পদ্ধতির সীমাবদ্ধতা চিহ্নিত করা: বিদ্যমান মাল্টি-LoRA পদ্ধতিগুলি মন্তব্যকৃত ডেটা এবং অতিরিক্ত প্রশিক্ষণের উপর নির্ভর করে তা স্পষ্টভাবে নির্দেশ করা, যা বাস্তব স্থাপনায় ব্যয়বহুল করে তোলে
LoGo কাঠামো প্রস্তাব: একটি প্রশিক্ষণ-মুক্ত, ইনস্ট্যান্স-নির্দিষ্ট কাঠামো যা একক ফরওয়ার্ড পাস থেকে নিষ্কাশিত সক্রিয়করণ সংকেত দ্বারা LoRA গতিশীলভাবে নির্বাচন এবং মার্জ করে
ব্যাপক পরীক্ষামূলক যাচাইকরণ: ৫টি মান বেঞ্চমার্ক (BBH, অনুবাদ, কাঠামোগত পাঠ্য প্রজন্ম, বন্ধ-শেষ প্রশ্নোত্তর, প্রাকৃতিক ভাষা অনুমান), ২৭টি ডেটাসেট, ৩টি মডেল পরিবার (LLaMA-3.1-8B, Qwen-2.5-7B, DeepSeek-LLM-7B-Base) জুড়ে মূল্যায়ন
কর্মক্ষমতা এবং দক্ষতা উভয়ই অপ্টিমাইজ: শুধুমাত্র কর্মক্ষমতায় প্রশিক্ষণ-ভিত্তিক বেসলাইনকে অতিক্রম করে না (কিছু কাজে ৩.৬% উন্নতি), বরং তুলনীয় অনুমান থ্রুপুট বজায় রাখে
ওপেন-সোর্স প্রতিশ্রুতি: সমস্ত প্রাক-প্রশিক্ষিত মডেলে প্রশিক্ষিত কোড এবং ২৬০টি LoRA অ্যাডাপ্টার প্রকাশ করার প্রতিশ্রুতি

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

দেওয়া:

প্রাক-প্রশিক্ষিত মডেল $f_\theta$
N LoRA অ্যাডাপ্টারের সেট $\mathcal{L} = \{L_i\}_{i=1}^N$ , প্রতিটি বিভিন্ন কাজ $T_i$ -তে সূক্ষ্ম-সমন্বিত
ইনপুট সিকোয়েন্স $x = (x_1, ..., x_P)$

লক্ষ্য:

প্রাসঙ্গিক অ্যাডাপ্টারগুলি গতিশীলভাবে নির্বাচন এবং মার্জ করা
আউটপুট সিকোয়েন্স $y = (y_{P+1}, ..., y_{P+t})$ উৎপন্ন করা

মডেল স্থাপত্য

LoGo এর কর্মপ্রবাহ দুটি প্রধান পর্যায়ে বিভক্ত:

১. LoRA নির্বাচন (Selection)

সংকেত নিষ্কাশন:

সমস্ত অ্যাডাপ্টার বেস মডেলে সংযুক্ত করুন, একক ফরওয়ার্ড পাস পরিচালনা করুন
লক্ষ্য Transformer ব্লক $B_T$ থেকে প্রজেকশন আউটপুট নিষ্কাশন করুন
প্রতিটি অ্যাডাপ্টার $L_i$ এর জন্য প্রশ্ন প্রজেকশন ম্যাট্রিক্স $W_T^{(Q)}$ -এ:

$o_{i,T} = \Delta W_{i,T}^{(Q)} h_T$

যেখানে $\Delta W_{i,T}^{(Q)} = \alpha_{i,T} A_{i,T} B_{i,T}$ হল নিম্ন-র্যাঙ্ক আপডেট।

সংকেত স্কোরিং: স্কেলার সংকেত স্কোর $s_i$ গণনা করুন, দুটি উপায়ে:

নর্ম পদ্ধতি: $s_i = \|o_{i,T}\|_2$
এন্ট্রপি পদ্ধতি: $p_i^{(j)} = \frac{\exp(o_{i,T}^{(j)})}{\sum_k \exp(o_{i,T}^{(k)})}$ $s_i = \left(-\sum_j p_i^{(j)} \log p_i^{(j)}\right)^{-1}$

স্বজ্ঞাত ব্যাখ্যা:

বৃহত্তর প্রজেকশন নর্ম শক্তিশালী সক্রিয়করণ এবং বৃহত্তর প্রভাব নির্দেশ করে
নিম্ন এন্ট্রপি আরও আত্মবিশ্বাসী এবং ফোকাসড প্রতিক্রিয়া মানে
এন্ট্রপির বিপরীত নেওয়া নিম্ন-এন্ট্রপি (উচ্চ আত্মবিশ্বাস) অ্যাডাপ্টারগুলিকে বৃহত্তর ওজন দেয়

শীর্ষ-K নির্বাচন: $\mathcal{S} = \text{TopK}\left(\{(L_i, s_i)\}_{i=1}^N, k\right)$

সর্বোচ্চ স্কোর সহ k অ্যাডাপ্টারগুলি প্রার্থী পুল হিসাবে নির্বাচন করুন।

২. LoRA মার্জিং (Merging)

ওজন সাধারণীকরণ: $\tilde{w}_i = \frac{s_i}{\sum_{j \in \mathcal{S}} s_j}, \quad i \in \mathcal{S}$

আউটপুট-স্তর মার্জিং (Mixture): $o_{\text{merge}} = \sum_{i \in \mathcal{S}} \tilde{w}_i \cdot o_{i,T}$

বাস্তবায়ন সুবিধা:

সরাসরি আউটপুট স্তরে একত্রিত করুন, প্যারামিটার-স্তর অপারেশন এড়ান
মার্জ করা ওজন ম্যাট্রিক্স পুনঃগণনা এবং পুনঃসংযুক্ত করার প্রয়োজন নেই
নির্বাচিত অ্যাডাপ্টারগুলির স্কেলিং ফ্যাক্টর সামঞ্জস্য করে দক্ষতার সাথে বাস্তবায়ন করা যায়

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

প্রশিক্ষণ-মুক্ত ডিজাইন:
- সম্পূর্ণভাবে কাজ-নির্দিষ্ট প্রশিক্ষণ বা মন্তব্যকৃত ডেটা নির্ভরতা এড়ান
- অ্যাডাপ্টার নিজেই সক্রিয়করণকে প্রাসঙ্গিকতা সূচক হিসাবে ব্যবহার করুন
ইনস্ট্যান্স-স্তর অভিযোজন:
- প্রতিটি ইনপুটের জন্য গতিশীলভাবে অ্যাডাপ্টার নির্বাচন এবং মার্জ করুন
- কাজের সমজাতীয়তা বা পূর্বনির্ধারিত কাজ সীমানা অনুমান করবেন না
সংকেত-চালিত নির্বাচন:
- একক ফরওয়ার্ড পাস থেকে হালকা-ওজন সংকেত নিষ্কাশন করুন
- নর্ম এবং এন্ট্রপি প্রাসঙ্গিকতার বিভিন্ন মাত্রা ক্যাপচার করুন
দক্ষ মার্জিং কৌশল:
- প্যারামিটার-স্তর ফিউশনের পরিবর্তে আউটপুট-স্তর মার্জিং গ্রহণ করুন
- দীর্ঘ আউটপুট কাজে নির্বাচন ওভারহেড পরিশোধ করুন
গতিশীল পুল অভিযোজন:
- নতুন যোগ করা LoRA নির্বিঘ্নে একীভূত করুন
- পুনঃপ্রশিক্ষণ বা পুনঃগণনা এম্বেডিং প্রয়োজন নেই

পরীক্ষামূলক সেটআপ

ডেটাসেট

LoRA প্রশিক্ষণ:

২৬০টি Flan-v2 কাজে LoRA অ্যাডাপ্টার প্রশিক্ষণ করুন
প্রতিটি ডেটাসেট ৮:১:১ অনুপাতে প্রশিক্ষণ/যাচাইকরণ/পরীক্ষা সেটে বিভক্ত করুন
প্রশ্নোত্তর, প্রাকৃতিক ভাষা অনুমান, শ্রেণীবিভাগ/অনুভূতি বিশ্লেষণ, সাধারণ জ্ঞান যুক্তি, সংক্ষিপ্তকরণ, ডেটা-থেকে-পাঠ্য, অনুবাদ সহ ৭টি বিভাগ কভার করুন

মূল্যায়ন বেঞ্চমার্ক (৫টি বেঞ্চমার্ক, ২৭টি ডেটাসেট):

BIG-Bench Hard (BBH):
- Boolean Expressions, Causal Judgement, Formal Fallacies, Navigate, Object Counting, Sports Understanding, Web of Lies, Word Sorting
মেশিন অনুবাদ:
- WMT'14: FR↔EN
- WMT'16: DE↔EN, RO↔EN
কাঠামোগত পাঠ্য প্রজন্ম (GEM):
- CommonGen, DART, E2ENLG, WebNLG
বন্ধ-শেষ প্রশ্নোত্তর:
- ARC-c, ARC-e, Natural Questions, TriviaQA
প্রাকৃতিক ভাষা অনুমান:
- ANLI-R1, ANLI-R2, ANLI-R3, QNLI

মিশ্র ডেটাসেট পরিস্থিতি:

CodeXGLUE: ৫টি প্রোগ্রামিং কাজ (কোড পরিমার্জন, কোড অনুবাদ, কোড-থেকে-পাঠ্য)
অদেখা ডোমেইনে সাধারণীকরণ ক্ষমতা মূল্যায়নের জন্য ব্যবহৃত

মূল্যায়ন মেট্রিক্স

অনুবাদ কাজ: BLEU
কাঠামোগত পাঠ্য প্রজন্ম: ROUGE-1, ROUGE-2, ROUGE-L
অন্যান্য কাজ: Exact Match (EM)

তুলনামূলক পদ্ধতি

Base: LoRA ছাড়াই বেস প্রাক-প্রশিক্ষিত মডেল
LoRAHub: নির্দিষ্ট সমন্বয় ওজন শিখুন, ছোট-স্কেল মন্তব্যকৃত সেট প্রয়োজন
LoRARetriever:
- পুনরুদ্ধারের জন্য সহায়ক ভাষা মডেল প্রশিক্ষণ করুন
- Mixture এবং Fusion দুটি মার্জিং পদ্ধতি রিপোর্ট করুন
LoGo ভেরিয়েন্ট:
- LoGo (Norm): সংকেত হিসাবে নর্ম ব্যবহার করুন
- LoGo (Entropy): সংকেত হিসাবে এন্ট্রপি ব্যবহার করুন

বাস্তবায়ন বিবরণ

LoRA প্রশিক্ষণ:

প্রতি-ডিভাইস ব্যাচ আকার: ৪
গ্রেডিয়েন্ট সংগ্রহ: ১৬ (কার্যকর ব্যাচ আকার ৬৪)
শেখার হার: ২×১০⁻⁴
প্রশিক্ষণ যুগ: ২০
যাচাইকরণ ক্ষতির উপর ভিত্তি করে সেরা চেকপয়েন্ট নির্বাচন করুন

LoGo কনফিগারেশন:

নির্বাচিত LoRA সংখ্যা: k=20
লক্ষ্য ব্লক: শেষ Transformer ব্লক
সংকেত নিষ্কাশন অবস্থান: ইনপুট সিকোয়েন্সের শেষ টোকেন
বাস্তবায়ন ভিত্তি: PyTorch, HuggingFace, PEFT লাইব্রেরি (PeftMixedModel ক্লাস)

হার্ডওয়্যার:

একক NVIDIA H100 GPU (অনুমান সময় পরীক্ষা)
NVIDIA H200 GPU (দীর্ঘ পাঠ্য প্রজন্ম বিশ্লেষণ)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

টেবিল ১ দ্বারা প্রদর্শিত মূল আবিষ্কার:

LLaMA-3.1-8B:
- BBH গড়: LoGo (Entropy) ৪০.০% বনাম LoRARetriever ৪০.৪% (প্রতিযোগিতামূলক)
- অনুবাদ গড়: LoGo (Entropy) ২৬.০% বনাম LoRARetriever ২৫.৯% (সামান্য উন্নত)
- কাঠামোগত পাঠ্য গড়: LoGo (Entropy) ৫০.৭% বনাম LoRARetriever ৪৭.৬% (+৩.১% উন্নতি)
- বন্ধ-শেষ প্রশ্নোত্তর গড়: LoGo (Entropy) ৪৪.৩% বনাম LoRARetriever ৪৩.৭% (সামান্য উন্নত)
- NLI গড়: LoGo (Entropy) ৩৭.२% বনাম LoRARetriever ৩२.६% (+४.६% উন्नति)
Qwen-2.5-7B:
- BBH গড়: LoGo (Norm) ५३.३% বনাম LoRARetriever ५३.६% (প্রতিযোগিতামূলক)
- অনুবাদ গড়: LoGo (Norm) २५.९% বনाम LoRARetriever २६.० (সমান)
- কাঠামোগত পাঠ্য গড়: LoGo (Entropy) ५३.०% বনाम LoRARetriever ५३.१% (প্রতিযোগিতামূলক)
- বন্ধ-শেষ প্রশ্নোত্তর গড়: LoGo (Norm) ५०.७% বनाम LoRARetriever ५०.७% (সমান)
- NLI গড়: LoGo (Entropy) ६३.८% বनाम LoRARetriever ६३.७% (সামান্য উন্নত)
DeepSeek-LLM-7B-Base:
- কাঠামোগত পাঠ্য গড়: LoGo (Norm) ४८.२% বनाम LoRARetriever ४४.६% (+३.६% উन्नति)
- সামগ্রিক কর্মক্ষমতা কম, কিন্তু LoGo আপেক্ষিক সুবিধা বজায় রাখে

মূল পর্যবেক্ষণ:

LoGo কোনো প্রশিক্ষণ ছাড়াই বেশিরভাগ কাজে প্রশিক্ষণ-প্রয়োজনীয় বেসলাইনের সাথে বা তার চেয়ে ভাল পারফর্ম করে
কাঠামোগত পাঠ্য প্রজন্ম এবং NLI কাজে বিশেষভাবে চমৎকার পারফরম্যান্স
বিভিন্ন মডেল পরিবার জুড়ে সামঞ্জস্যপূর্ণ পারফরম্যান্স, ভাল সাধারণীকরণ প্রদর্শন করে

মিশ্র ডেটাসেট পরিস্থিতি (CodeXGLUE)

টেবিল २ ফলাফল:

কোড পরিমার্জন: LoGo (Norm) ४६.३ বনाम LoRARetriever (Fusion) ४२.१
কোড অনুবাদ (Java→C#): LoGo (Norm) ११.२ বनाम LoRARetriever (Fusion) ६.३
গড়: LoGo (Norm) १४.४% বनाम সেরা বেসলাইন १३.३%

গুরুত্বপূর্ণ তাৎপর্য:

সম্পূর্ণ অদেখা প্রোগ্রামিং ডোমেইনে, LoGo এখনও কার্যকরভাবে প্রাসঙ্গিক অ্যাডাপ্টার নির্বাচন করতে পারে
সংকেত-চালিত প্রক্রিয়ার ক্রস-ডোমেইন অভিযোজন ক্ষমতা প্রমাণ করে
নতুন ডোমেইনের জন্য পুনঃপ্রশিক্ষণ বা ডেটা সংগ্রহের প্রয়োজন নেই

গণনা দক্ষতা বিশ্লেষণ

টেবিল ३: অনুমান সময় (সেকেন্ড/নমুনা):

Base মডেল: ०.४७s (দ্রুততম, কোনো অ্যাডাপ্টার নেই)
LoRAHub: १.१५s (অনুমান) + २४.२८s (প্রশিক্ষণ ওভারহেড)
LoRARetriever: ~२.०३-२.१९s
LoGo: ~१.८७-२.०८s (LoRARetriever এর সাথে তুলনীয়)

মূল আবিষ্কার:

LoGo এর অনুমান সময় LoRARetriever এর সাথে তুলনীয়
কিন্তু LoRARetriever কাজের ডেটাসেট বজায় রাখতে এবং সহায়ক এম্বেডিং মডেল প্রশিক্ষণ করতে হবে
LoRAHub দ্রুত অনুমান করলেও, প্রতিটি নতুন কাজের জন্য २४ সেকেন্ড প্রশিক্ষণ সময় প্রয়োজন

দীর্ঘ পাঠ্য প্রজন্ম সুবিধা (চিত্র ६):

CNN-DailyMail ডেটাসেটে, উৎপাদিত টোকেন সংখ্যা বৃদ্ধির সাথে সাথে প্রতি-টোকেন অনুমান সময় দ্রুত হ্রাস পায়
প্রায় १०० টোকেনের পরে স্থিতিশীল হয়
সংকেত নিষ্কাশনের এককালীন ওভারহেড দীর্ঘ সিকোয়েন্সে পরিশোধ করা হয়

বিলোপন পরীক্ষা

१. টোকেন নির্বাচন (চিত্র ८)

তিনটি সংকেত নিষ্কাশন অবস্থান পরীক্ষা করুন:

First token: প্রথম টোকেন
Average: সমস্ত টোকেন গড়
Last token (ডিফল্ট): শেষ টোকেন

ফলাফল: কর্মক্ষমতা পার্থক্য খুবই ছোট, Last token সামান্য উন্নত, LoGo টোকেন নির্বাচনে অসংবেদনশীল তা নির্দেশ করে।

२. নির্বাচিত মডিউল সংখ্যা (চিত্র ९)

k ∈ {३, ५, १०, २०} পরীক্ষা করুন:

কর্মক্ষমতা k বৃদ্ধির সাথে উন্নত হয়, কিন্তু লাভ মধ্যম
এমনকি k=३ এও, k=२० এর কাছাকাছি কর্মক্ষমতা অর্জন করুন
LoGo এর শক্তিশালীতা প্রদর্শন করে, কম মডিউল দিয়ে দক্ষতার সাথে চলতে পারে

३. লক্ষ্য ব্লক নির্বাচন (চিত্র १०)

স্তর ०, ७, १५, २३, ३१ পরীক্ষা করুন:

বিভিন্ন স্তরে কর্মক্ষমতা পরিবর্তন ছোট
কাজ-সম্পর্কিত সক্রিয়করণ প্যাটার্ন একাধিক স্তরে বিতরণ করা হয় তা নির্দেশ করে
LoGo বিভিন্ন গভীরতা থেকে শক্তিশালীভাবে অ্যাডাপ্টার প্রাসঙ্গিকতা অনুমান করতে পারে

४. মার্জিং কৌশল (চিত্র ५)

Mixture (আউটপুট-স্তর) এবং Fusion (প্যারামিটার-স্তর) তুলনা করুন:

উভয়ের কর্মক্ষমতা তুলনীয়
কিন্তু Fusion প্যারামিটার পুনঃগণনা এবং পুনঃসংযুক্তির প্রয়োজন, গণনা ওভারহেড বড়
Mixture আরও ব্যবহারিক, LoGo এর ডিফল্ট পছন্দ

কেস বিশ্লেষণ

সংকেত শক্তি হিটম্যাপ (চিত্র २, চিত্র ७)

বিভিন্ন ডেটাসেটে বিভিন্ন LoRA এর সংকেত শক্তি প্রদর্শন করে
স্পষ্ট ব্লক-ডায়াগোনাল কাঠামো প্রদর্শিত হয় (লাল বাক্স দ্বারা চিহ্নিত)
অনুরূপ কাজ অনুরূপ LoRA সক্রিয় করে, সংকেতের শব্দার্থিক প্রাসঙ্গিকতা যাচাই করে

ওজন এবং কাজ সাদৃশ্য সারিবদ্ধতা (চিত্র ३)

মার্জিং ওজন কাজ সাদৃশ্যের সাথে ইতিবাচক সম্পর্ক
বৃহত্তর ওজন LoRA উচ্চতর কাজ সাদৃশ্যের সাথে সম্পর্কিত
LoGo এর সংকেত-চালিত ওজন শব্দার্থিক সম্পর্ক ক্যাপচার করে প্রমাণ করে

LoRA নির্বাচন বিশ্লেষণ (চিত্র ४, টেবিল ४)

BBH Word Sorting উদাহরণ:

কিছু সাধারণ LoRA (যেমন wiki_bio পরিবার) ধারাবাহিকভাবে নির্বাচিত হয়
বিভিন্ন নমুনা প্রয়োজন অনুযায়ী নির্দিষ্ট LoRA নির্বাচন করে:
- নমুনা A: সংক্ষিপ্তকরণ-সম্পর্কিত পছন্দ (ag_news)
- নমুনা B: দীর্ঘ পাঠ্য প্রজন্ম পছন্দ (duorc পরিবার)

E2ENLG উদাহরণ:

দুটি নমুনা একই ৫টি সাধারণ বোঝাপড়া মডিউল নির্বাচন করে
কারণ গল্প প্রজন্ম কাজের জন্য ডোমেইন-নির্দিষ্ট দক্ষতার প্রয়োজন নেই

বৈশিষ্ট্য	LoRAHub/MoLE	LoRARetriever	LoGo
প্রশিক্ষণ প্রয়োজন	প্রয়োজন (কাজ-নির্দিষ্ট)	প্রয়োজন (এম্বেডিং মডেল)	প্রয়োজন নেই
মন্তব্যকৃত ডেটা	প্রয়োজন	প্রয়োজন	প্রয়োজন নেই
ইনস্ট্যান্স-স্তর অভিযোজন	না	হ্যাঁ	হ্যাঁ
নতুন LoRA একীকরণ	পুনঃপ্রশিক্ষণ প্রয়োজন	এম্বেডিং পুনঃগণনা প্রয়োজন	নির্বিঘ্ন একীকরণ
OOD সাধারণীকরণ	দুর্বল	মধ্যম	শক্তিশালী

উপসংহার এবং আলোচনা

প্রধান উপসংহার

LoGo কার্যকারিতা: কোনো প্রশিক্ষণ ছাড়াই, LoGo একাধিক NLP বেঞ্চমার্কে প্রশিক্ষণ-ভিত্তিক বেসলাইনের সাথে বা তার চেয়ে ভাল পারফর্ম করে, কিছু কাজে ৩.६% পর্যন্ত উন্নতি
ব্যবহারিকতা: বেসলাইনের সাথে তুলনীয় অনুমান থ্রুপুট বজায় রাখে, দীর্ঘ আউটপুট কাজে ওভারহেড পরিশোধ করা হয়
সাধারণীকরণ: অদেখা ডোমেইনে (CodeXGLUE) চমৎকার পারফরম্যান্স, ক্রস-ডোমেইন অভিযোজন ক্ষমতা প্রমাণ করে
শক্তিশালীতা: হাইপারপ্যারামিটার (টোকেন অবস্থান, মডিউল সংখ্যা, লক্ষ্য স্তর) এর প্রতি অসংবেদনশীল
ব্যাখ্যাযোগ্যতা: সংকেত-চালিত ওজন কাজ সাদৃশ্যের সাথে সারিবদ্ধ, ব্যাখ্যাযোগ্য নির্বাচন প্রক্রিয়া প্রদান করে

সীমাবদ্ধতা

পেপার দ্বারা স্বীকৃত সীমাবদ্ধতা:

সংকেত নির্ভরযোগ্যতা:
- একক ফরওয়ার্ড পাসের প্রজেকশন সংকেতের উপর ভিত্তি করে
- উচ্চ OOD পরিস্থিতিতে সর্বদা কাজ প্রাসঙ্গিকতার সাথে সারিবদ্ধ হওয়ার গ্যারান্টি নেই
মূল্যায়ন পরিসীমা:
- প্রধানত Flan-v2 ডেটাসেটে প্রশিক্ষিত অ্যাডাপ্টার
- মাল্টিমোডাল, নিম্ন-সম্পদ ডেটা ইত্যাদি বৈচিত্র্যময় ডোমেইনে সম্প্রসারণ আরও মূল্যায়ন প্রয়োজন
মেমরি এবং অনুমান ওভারহেড:
- একাধিক অ্যাডাপ্টার একযোগে সংযুক্ত করা মেমরি ব্যবহার বৃদ্ধি করে
- অনুমান গতি হ্রাস করতে পারে
- অ্যাডাপ্টার ব্যবস্থাপনা অপ্টিমাইজেশন প্রয়োজন (যেমন প্রুনিং, নির্বাচনী লোডিং)
প্যারামিটার সংবেদনশীলতা:
- যদিও k এর মতো প্যারামিটারের প্রতি কম সংবেদনশীল, সর্বোত্তম কনফিগারেশন কাজ অনুযায়ী পরিবর্তিত হতে পারে

ভবিষ্যত দিকনির্দেশনা

অ্যাডাপ্টার পুল ব্যবস্থাপনা:
- দক্ষ অ্যাডাপ্টার প্রুনিং এবং নির্বাচনী লোডিং কৌশল বিকাশ করুন
- মেমরি দখল এবং অনুমান বিলম্ব হ্রাস করুন
মাল্টিমোডাল সম্প্রসারণ:
- LoGo কে ভিজ্যুয়াল-ভাষা মডেলে সম্প্রসারিত করুন
- ক্রস-মোডাল সংকেত নিষ্কাশন প্রক্রিয়া অন্বেষণ করুন
তাত্ত্বিক বিশ্লেষণ:
- সংকেত এবং কাজ প্রাসঙ্গিকতা সম্পর্কের তাত্ত্বিক গ্যারান্টি প্রদান করুন
- বিভিন্ন বিতরণ পরিবর্তনের অধীনে শক্তিশালীতা বিশ্লেষণ করুন
স্ব-অভিযোজনশীল সংকেত নির্বাচন:
- ইনপুট বৈশিষ্ট্যের উপর ভিত্তি করে গতিশীলভাবে সংকেত ধরন (নর্ম/এন্ট্রপি) নির্বাচন করুন
- আরও সমৃদ্ধ সংকেত প্রতিনিধিত্ব অন্বেষণ করুন
অনলাইন শেখা:
- অনলাইন প্রতিক্রিয়া সহ নির্বাচন কৌশল ক্রমাগত সামঞ্জস্য করুন
- সম্পূর্ণ পুনঃপ্রশিক্ষণ ছাড়াই

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী উদ্ভাবনী:
- প্রথম সম্পূর্ণ প্রশিক্ষণ-মুক্ত ইনস্ট্যান্স-স্তর LoRA নির্বাচন এবং মার্জিং কাঠামো
- সংকেত-চালিত ডিজাইন উপন্যাস এবং স্বজ্ঞাত
- বাস্তব স্থাপনায় মূল ব্যথার পয়েন্ট সমাধান করে
ব্যাপক পরীক্ষা:
- ৫টি বেঞ্চমার্ক, २७টি ডেটাসেট, ३টি মডেল পরিবার
- মিশ্র ডেটাসেট পরিস্থিতি অন্তর্ভুক্ত (CodeXGLUE)
- বিস্তৃত বিলোপন পরীক্ষা এবং কেস বিশ্লেষণ
- অ্যাপেন্ডিক্স २६० Flan-v2 কাজের সম্পূর্ণ তালিকা প্রদান করে
ফলাফল প্রভাবশালী:
- বেশিরভাগ কাজে প্রশিক্ষণ-প্রয়োজনীয় বেসলাইনের সাথে বা তার চেয়ে ভাল
- গণনা দক্ষতা বিশ্লেষণ পর্যাপ্ত
- ভিজ্যুয়ালাইজেশন (হিটম্যাপ, সারিবদ্ধতা চার্ট) প্রক্রিয়া স্বজ্ঞাতভাবে প্রদর্শন করে
ব্যবহারিক মূল্য উচ্চ:
- মন্তব্যকৃত ডেটা এবং পুনঃপ্রশিক্ষণের প্রয়োজন নেই
- নতুন LoRA নির্বিঘ্নে একীভূত করুন
- গতিশীল বিকশিত বাস্তব সিস্টেমের জন্য উপযুক্ত
লেখা স্পষ্ট:
- সমস্যা প্রেরণা পর্যাপ্তভাবে ব্যাখ্যা করা
- পদ্ধতি বিবরণ বিস্তারিত (অ্যালগরিদম সিউডোকোড সহ)
- পরীক্ষামূলক সেটআপ স্বচ্ছ, ওপেন-সোর্স প্রতিশ্রুতি

অপূর্ণতা

দুর্বল তাত্ত্বিক ভিত্তি:
- সংকেত এবং কাজ প্রাসঙ্গিকতা সম্পর্কের তাত্ত্বিক বিশ্লেষণ অনুপস্থিত
- কেন নর্ম/এন্ট্রপি প্রাসঙ্গিকতা ক্যাপচার করতে পারে তার কঠোর প্রমাণ নেই
- পদ্ধতি কখন ব্যর্থ হতে পারে তা স্পষ্ট নয়
সীমিত কর্মক্ষমতা উন্নতি:
- কিছু কাজে উল্লেখযোগ্য উন্নতি (३.६%), কিন্তু অন্যান্য কাজে শুধু সমান
- LoRARetriever এর তুলনায় চূড়ান্ত সুবিধা নেই
- DeepSeek মডেলে সামগ্রিক কর্মক্ষমতা কম
পরীক্ষামূলক ডিজাইন সমস্যা:
- সমস্ত পদ্ধতি k=२० স্থির, কিন্তু বিভিন্ন কাজের বিভিন্ন সংখ্যা প্রয়োজন হতে পারে
- আরও সাম্প্রতিক বেসলাইনের সাথে তুলনা নেই (যেমন আরও নতুন MoE পদ্ধতি)
- পরিসংখ্যানগত তাৎপর্য পরীক্ষা অনুপস্থিত (শুধুমাত্র একক রান ফলাফল রিপোর্ট)
প্রযোজ্যতা সীমাবদ্ধতা:
- বৃহৎ প্রাক-প্রশিক্ষিত LoRA পুল (२६०) এর উপর নির্ভর করে
- কম LoRA সংখ্যায় প্রভাব অজানা
- LoRA গুণমানের উপর নির্ভরতা আলোচনা করা হয়নি
অপর্যাপ্ত বিশ্লেষণ গভীরতা:
- ব্যর্থতার কেস বিশ্লেষণ অনুপস্থিত
- কেন কিছু কাজ বড় উন্নতি এবং অন্যান্য সমান তা গভীর অন্বেষণ নেই
- বিভিন্ন সংকেত (নর্ম বনাম এন্ট্রপি) এর প্রযোজ্য পরিস্থিতি বিশ্লেষণ অপর্যাপ্ত
গণনা ওভারহেড:
- যদিও অনুমান সময় তুলনীয়, সমস্ত LoRA এর একক ফরওয়ার্ড পাস প্রয়োজন
- LoRA সংখ্যা বৃদ্ধির সাথে ওভারহেড রৈখিকভাবে বৃদ্ধি পায়
- হাজার হাজার LoRA এ কীভাবে স্কেল করতে হয় তা আলোচনা করা হয়নি

প্রভাব

একাডেমিক অবদান:
- মাল্টি-LoRA সমন্বয়ের জন্য নতুন প্রশিক্ষণ-মুক্ত প্যারাডাইম প্রদান করে
- আরও সংকেত ধরন এবং নির্বাচন কৌশল অন্বেষণ করতে পরবর্তী গবেষণা অনুপ্রাণিত করে
- PEFT পদ্ধতির স্থাপনা অনুশীলনকে প্রভাবিত করতে পারে
ব্যবহারিক মূল্য:
- বিষমজাত কাজ পরিচালনা করতে প্রয়োজনীয় উৎপাদন সিস্টেমে সরাসরি প্রযোজ্য
- মাল্টি-কাজ অভিযোজনের স্থাপনা খরচ হ্রাস করে
- গোপনীয়তা-সংবেদনশীল বা মন্তব্য-কঠিন পরিস্থিতিতে বিশেষভাবে উপযুক্ত
পুনরুৎপাদনযোগ্যতা:
- বাস্তবায়ন বিবরণ পর্যাপ্ত
- কোড এবং २६० LoRA ওপেন-সোর্স করার প্রতিশ্রুতি
- জনপ্রিয় লাইব্রেরি (HuggingFace, PEFT) এর উপর ভিত্তি করে
সীমিত প্রভাব:
- বৃহৎ উচ্চ-মানের LoRA পুল নির্ভরতা ছোট দলের প্রয়োগ সীমিত করতে পারে
- দুর্বল তাত্ত্বিক ভিত্তি পদ্ধতির আরও উন্নয়ন প্রভাবিত করতে পারে

প্রযোজ্য পরিস্থিতি

সবচেয়ে উপযুক্ত পরিস্থিতি:

মাল্টি-ডোমেইন কথোপকথন সিস্টেম: ব্যবহারকারীর প্রশ্ন একাধিক অসম্পর্কিত কাজ জুড়ে
গোপনীয়তা-সংবেদনশীল অ্যাপ্লিকেশন: মন্তব্যকৃত ডেটা সংগ্রহ করতে পারে না
দ্রুত প্রোটোটাইপ উন্নয়ন: একাধিক কাজ ক্ষমতা দ্রুত একীভূত করতে প্রয়োজন
গতিশীল কাজ পরিবেশ: কাজের প্রয়োজনীয়তা ঘন ঘন পরিবর্তিত হয়
দীর্ঘ পাঠ্য প্রজন্ম: নির্বাচন ওভারহেড পরিশোধ করা হয়

কম উপযুক্ত পরিস্থিতি:

একক-কাজ স্থাপনা: বিশেষায়িত LoRA সরাসরি ব্যবহার করা সহজ
ছোট LoRA পুল: সুবিধা স্পষ্ট নয়
চরম রিয়েল-টাইম প্রয়োজনীয়তা: একক ফরওয়ার্ড পাস ওভারহেড এখনও খুব বড় হতে পারে
উচ্চ OOD পরিস্থিতি: সংকেত ব্যর্থ হতে পারে

রেফারেন্স

মূল উদ্ধৃতি:

Hu et al. (2022): LoRA: Low-rank adaptation of large language models (ICLR) - মূল LoRA পদ্ধতি
Huang et al. (2024): LoRAHub: Efficient cross-task generalization via dynamic lora composition (ICLR) - প্রধান বেসলাইন
Zhao et al. (2024): LoRARetriever: Input-aware lora retrieval and composition for mixed tasks in the wild (ACL) - প্রধান বেসলাইন
Wei et al. (2022): Finetuned language models are zero-shot learners (ICLR) - Flan মডেল এবং ডেটাসেট
Feng et al. (2024): Mixture-of-loras: An efficient multitask tuning for large language models (COLING) - MoA পদ্ধতি

সামগ্রিক মূল্যায়ন: এটি একটি শক্তিশালী উদ্ভাবনী এবং উচ্চ ব্যবহারিক মূল্যের পেপার, যা প্রথম সম্পূর্ণ প্রশিক্ষণ-মুক্ত ইনস্ট্যান্স-স্তর LoRA সমন্বয় কাঠামো প্রস্তাব করে। পরীক্ষা ব্যাপক, ফলাফল প্রভাবশালী, এবং বাস্তব স্থাপনায় মূল ব্যথার পয়েন্ট সমাধান করে। প্রধান অপূর্ণতা দুর্বল তাত্ত্বিক ভিত্তি এবং কিছু কাজে সীমিত কর্মক্ষমতা উন্নতি। কিন্তু কোনো প্রশিক্ষণের প্রয়োজন নেই এই বিশাল সুবিধা বিবেচনা করে, এই কাজ মাল্টি-কাজ LLM স্থাপনায় গুরুত্বপূর্ণ অর্থ রাখে এবং উল্লেখযোগ্য প্রভাব প্রত্যাশিত। পরবর্তী তাত্ত্বিক বিশ্লেষণ এবং সম্প্রসারণ কাজে মনোযোগ দেওয়ার সুপারিশ করা হয়।