2025-11-17T08:49:21.061208

PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models

Zou, Yin, Pei et al.

Channel permutation is a powerful technique for enhancing the accuracy of N:M sparse models by reordering the channels of weight matrices to prioritize the retention of important weights. However, traditional channel permutation methods rely on handcrafted quality metrics, which often fail to accurately capture the true impact of pruning on model performance. To address this limitation, we propose PermLLM, a novel post-training pruning framework that introduces learnable channel permutation (LCP) for N:M sparsity. LCP leverages Sinkhorn normalization to transform discrete permutation matrices into differentiable soft permutation matrices, enabling end-to-end optimization. Additionally, PermLLM incorporates an efficient block-wise channel permutation strategy, which significantly reduces the number of learnable parameters and computational complexity. PermLLM seamlessly integrates with existing one-shot pruning methods to adaptively optimize channel permutations, effectively mitigating pruning-induced errors. Extensive experiments on the LLaMA series, Qwen, and OPT models demonstrate that PermLLM achieves superior performance in optimizing N:M sparse models. The code is available at https://github.com/lanchengzou/PermLLM.

academic

PermLLM: N:M স্পার্স বড় ভাষা মডেলের জন্য শিক্ষণযোগ্য চ্যানেল পারমিউটেশন

মৌলিক তথ্য

পেপার আইডি: 2510.10136
শিরোনাম: PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models
লেখক: Lancheng Zou, Shuo Yin, Zehua Pei, Tsung-Yi Ho, Farzan Farnia, Bei Yu (হংকং চীনা বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.LG cs.AI
প্রকাশনা সম্মেলন: NeurIPS 2025 (39তম নিউরাল ইনফরমেশন প্রসেসিং সিস্টেম সম্মেলন)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.10136
কোড লিঙ্ক: https://github.com/lanchengzou/PermLLM

সারসংক্ষেপ

চ্যানেল পারমিউটেশন হল একটি শক্তিশালী কৌশল যা ওজন ম্যাট্রিক্সের চ্যানেলগুলি পুনরায় সাজিয়ে গুরুত্বপূর্ণ ওজনগুলি সংরক্ষণ করে N:M স্পার্স মডেলের নির্ভুলতা উন্নত করে। তবে, ঐতিহ্যবাহী চ্যানেল পারমিউটেশন পদ্ধতিগুলি হাতে তৈরি করা গুণমান মেট্রিক্সের উপর নির্ভর করে, যা প্রায়শই প্রুনিং এর মডেল কর্মক্ষমতার প্রকৃত প্রভাব সঠিকভাবে ক্যাপচার করতে পারে না। এই সীমাবদ্ধতা সমাধানের জন্য, আমরা PermLLM প্রস্তাব করি, যা শিক্ষণযোগ্য চ্যানেল পারমিউটেশন (LCP) প্রবর্তন করে একটি N:M স্পার্সিটি পোস্ট-ট্রেনিং প্রুনিং ফ্রেমওয়ার্ক। LCP Sinkhorn নর্মালাইজেশন ব্যবহার করে বিচ্ছিন্ন পারমিউটেশন ম্যাট্রিক্সকে পার্থক্যযোগ্য নরম পারমিউটেশন ম্যাট্রিক্সে রূপান্তরিত করে, এন্ড-টু-এন্ড অপ্টিমাইজেশন সক্ষম করে। অধিকন্তু, PermLLM দক্ষ ব্লক চ্যানেল পারমিউটেশন কৌশল গ্রহণ করে, যা শিক্ষণযোগ্য পরামিতি সংখ্যা এবং গণনামূলক জটিলতা উল্লেখযোগ্যভাবে হ্রাস করে। PermLLM বিদ্যমান ওয়ান-শট প্রুনিং পদ্ধতির সাথে নির্বিঘ্নে একীভূত হয়, চ্যানেল পারমিউটেশন স্বয়ংক্রিয়ভাবে অপ্টিমাইজ করে, প্রুনিং-প্ররোচিত ত্রুটি কার্যকরভাবে প্রশমিত করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

মূল সমস্যা: ঐতিহ্যবাহী চ্যানেল পারমিউটেশন পদ্ধতি হাতে তৈরি করা গুণমান মেট্রিক্স (যেমন সংরক্ষিত ওজন গুরুত্বের যোগফল) ব্যবহার করে পারমিউটেশন স্কিম মূল্যায়ন করে, কিন্তু এই মেট্রিক্সগুলি এবং প্রকৃত প্রুনিং ত্রুটির মধ্যে ব্যবধান রয়েছে।
গুরুত্ব: বড় ভাষা মডেলের আকার দ্রুত বৃদ্ধির সাথে, মডেল সংকোচন কৌশল (যেমন প্রুনিং) দক্ষ স্থাপনার জন্য গুরুত্বপূর্ণ। N:M স্পার্সিটি তার হার্ডওয়্যার-বান্ধব প্রকৃতির কারণে (NVIDIA স্পার্স টেনসর কোর সমর্থন) ব্যাপক মনোযোগ আকর্ষণ করছে।
বিদ্যমান সীমাবদ্ধতা:
- হাতে তৈরি করা গুণমান মেট্রিক্স প্রুনিং এর মডেল কর্মক্ষমতার প্রকৃত প্রভাব সঠিকভাবে প্রতিফলিত করতে পারে না
- ঐতিহ্যবাহী পদ্ধতি জটিল স্তর-মধ্যস্থ মিথস্ক্রিয়া সম্পূর্ণভাবে ক্যাপচার করতে পারে না
- অপ্টিমাইজেশন স্থান বিশাল (Cin ইনপুট চ্যানেলের জন্য, Cin! সম্ভাব্য পারমিউটেশন রয়েছে)

গবেষণা প্রেরণা

পেপারটি একটি নির্দিষ্ট উদাহরণ (চিত্র 1) এর মাধ্যমে সমস্যা প্রদর্শন করে: গুরুত্ব স্কোর সর্বাধিক করার চ্যানেল পারমিউটেশন বৃহত্তর আউটপুট ত্রুটির দিকে পরিচালিত করতে পারে, যা হাতে তৈরি মেট্রিক্স এবং প্রকৃত কর্মক্ষমতার মধ্যে মৌলিক পার্থক্য নির্দেশ করে।

মূল অবদান

প্রথমবারের মতো শিক্ষণযোগ্য চ্যানেল পারমিউটেশন (LCP) প্রস্তাব: বিচ্ছিন্ন চ্যানেল পারমিউটেশন সমস্যাকে পার্থক্যযোগ্য অপ্টিমাইজেশন সমস্যায় রূপান্তরিত করে, এন্ড-টু-এন্ড শিক্ষা সক্ষম করে।
Sinkhorn নর্মালাইজেশন কৌশল: Sinkhorn নর্মালাইজেশন ব্যবহার করে বিচ্ছিন্ন পারমিউটেশন ম্যাট্রিক্সকে নরম পারমিউটেশন ম্যাট্রিক্সে শিথিল করে, পারমিউটেশন ম্যাট্রিক্সের অ-পার্থক্যযোগ্যতা সমস্যা সমাধান করে।
ব্লক চ্যানেল পারমিউটেশন কৌশল: পরামিতি জটিলতা O(C²ᵢₙ) থেকে O(Cᵢₙ×B) এ এবং গণনামূলক জটিলতা O(C³ᵢₙ) থেকে O(Cᵢₙ×B²) এ উল্লেখযোগ্যভাবে হ্রাস করে।
সর্বজনীন ফ্রেমওয়ার্ক ডিজাইন: বিদ্যমান ওয়ান-শট প্রুনিং পদ্ধতির (Wanda, RIA ইত্যাদি) সাথে নির্বিঘ্নে একীভূত হতে পারে।
উৎকৃষ্ট পরীক্ষামূলক কর্মক্ষমতা: LLaMA সিরিজ, Qwen, OPT এবং অন্যান্য একাধিক মডেলে পদ্ধতির কার্যকারিতা যাচাই করা হয়েছে।

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

প্রি-ট্রেনড ওজন ম্যাট্রিক্স W ∈ R^(Cout×Cin) দেওয়া, লক্ষ্য হল সর্বোত্তম পারমিউটেশন ম্যাট্রিক্স P খুঁজে বের করা, যাতে পুনর্বিন্যস্ত ওজন ম্যাট্রিক্স Ŵ = WP N:M স্পার্সিটি প্রয়োগ করার পরে মূল ঘন মডেলের সাথে আউটপুট পার্থক্য কমিয়ে আনতে পারে।

মূল প্রযুক্তিগত স্থাপত্য

1. নরম পারমিউটেশন ম্যাট্রিক্স শিথিলকরণ

কঠিন পারমিউটেশন ম্যাট্রিক্স P কে নরম পারমিউটেশন ম্যাট্রিক্স P̂ এ শিথিল করুন:

S₀(X) = exp(X)
Sᵢ(X) = Tc(Tr(Sᵢ₋₁(X)))
S(X) = lim(l→∞) Sl(X)
P̂ = SL(WP/τ)

যেখানে Tr এবং Tc যথাক্রমে সারি নর্মালাইজেশন এবং কলাম নর্মালাইজেশন অপারেশন নির্দেশ করে, τ হল তাপমাত্রা পরামিতি যা নরম পারমিউটেশন ম্যাট্রিক্সের কঠোরতা নিয়ন্ত্রণ করে।

2. কঠোরকরণ প্রক্রিয়া এবং গ্রেডিয়েন্ট অনুমান

ফরওয়ার্ড প্রপাগেশনে, হাঙ্গেরিয়ান অ্যালগরিদমের মাধ্যমে নরম পারমিউটেশন ম্যাট্রিক্সকে কঠোর পারমিউটেশন ম্যাট্রিক্সে কঠোর করুন:

P = argmax P∈P Tr(P⊤P̂)

ব্যাকওয়ার্ড প্রপাগেশনে সরাসরি-থ্রু অনুমানকারী (STE) ব্যবহার করে গ্রেডিয়েন্ট অনুমান করুন: ∂P/∂P̂ = 1।

3. ব্লক চ্যানেল পারমিউটেশন

গণনামূলক জটিলতা হ্রাস করতে, চ্যানেলগুলি B আকারের একাধিক ব্লকে বিভক্ত করুন, প্রতিটি ব্লক স্বাধীনভাবে পারমিউট করুন:

PB = diag(P₁, P₂, ..., PNB)
ŴB = WPB

পরামিতি সংখ্যা C²ᵢₙ থেকে Cᵢₙ×B এ হ্রাস পায়, গণনামূলক জটিলতা O(C³ᵢₙ) থেকে O(Cᵢₙ×B²) এ হ্রাস পায়।

অপ্টিমাইজেশন উদ্দেশ্য

PermLLM সরাসরি ঘন মডেল এবং স্পার্স মডেল আউটপুটের মধ্যে কোসাইন সাদৃশ্য ক্ষতি কমিয়ে আনে:

Lcosine(y, ỹ) = 1 - (y·ỹ)/(||y||·||ỹ||)

বিদ্যমান প্রুনিং পদ্ধতির সাথে একীকরণ

PermLLM যেকোনো গুরুত্ব-ভিত্তিক মেট্রিক্সের উপর ভিত্তি করে ওয়ান-শট প্রুনিং পদ্ধতির সাথে একীভূত হতে পারে। প্রদত্ত গুরুত্ব ম্যাট্রিক্স S এর জন্য, পারমিউটেশন করা গুরুত্ব ম্যাট্রিক্স Ŝ = SPB, মাস্ক নিম্নলিখিত উপায়ে প্রাপ্ত হয়:

argmax M ∑∑ (M⊙Ŝ)i,kM:(k+1)M

argmax এর অ-পার্থক্যযোগ্যতা সমস্যা পরিচালনা করতে STE ব্যবহার করুন।

পরীক্ষামূলক সেটআপ

ডেটাসেট এবং মডেল

মডেল: LLaMA 7B-13B, LLaMA-2 7B-13B, LLaMA-3.1 8B, Qwen-2.5 7B, OPT 6.7B
ক্যালিব্রেশন ডেটা: C4 ডেটাসেট থেকে 128টি নমুনা র্যান্ডমলি নির্বাচিত, প্রতিটিতে 1024টি টোকেন রয়েছে
মূল্যায়ন কাজ:
- ভাষা মডেলিং: Wikitext2 (বিভ্রান্তি)
- শূন্য-শট কাজ: HellaSwag, ARC-Easy/Challenge, OpenBookQA, RTE

তুলনামূলক পদ্ধতি

বেসলাইন পদ্ধতি: SparseGPT, Wanda, RIA
ঐতিহ্যবাহী চ্যানেল পারমিউটেশন: Wanda+CP, RIA+CP
আমাদের পদ্ধতি: PermLLMWanda, PermLLMRIA

বাস্তবায়ন বিবরণ

অপ্টিমাইজার: AdamW
শিক্ষার হার: {1e-3, 5e-3}
Sinkhorn পুনরাবৃত্তি সংখ্যা: 5
তাপমাত্রা পরামিতি: 1 থেকে 0.1 এ রৈখিকভাবে হ্রাস
ব্লক আকার: 64
প্রশিক্ষণ সময়: 7B মডেলের জন্য প্রায় 2.5 ঘন্টা (4 GPUs), 13B মডেলের জন্য প্রায় 5.5 ঘন্টা (8 GPUs)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

ভাষা মডেলিং কর্মক্ষমতা (Wikitext2 বিভ্রান্তি)

পদ্ধতি	LLaMA 7B	LLaMA-2 7B	LLaMA-3.1 8B	Qwen-2.5 7B
Dense	5.68	5.47	6.24	7.74
Wanda	11.59	12.16	23.42	24.44
Wanda+CP	11.07	11.00	21.09	18.76
PermLLMWanda	9.41	9.39	14.03	13.58
RIA+CP	10.99	10.26	19.80	17.58
PermLLMRIA	9.95	9.60	15.79	15.93

শূন্য-শট কাজ গড় নির্ভুলতা

মডেল	Wanda	Wanda+CP	PermLLMWanda	উন্নতি
LLaMA 7B	41.37	43.94	45.67	+4.3%
LLaMA-2 7B	42.12	43.44	46.59	+4.47%
LLaMA-3.1 8B	38.91	40.72	43.33	+4.42%

অনুমান ত্বরণ প্রভাব

কাস্টম CUDA কোর ব্যবহার করে, চ্যানেল পারমিউটেশন অপারেশন PyTorch বাস্তবায়নের তুলনায় 84× ত্বরণ পায়, সামগ্রিক অনুমান গতি প্রায় 1.67× উন্নত হয়।

অ্যাবলেশন পরীক্ষা

Sinkhorn নর্মালাইজেশন পুনরাবৃত্তি সংখ্যা প্রভাব

পরীক্ষা দেখায় যে Sinkhorn নর্মালাইজেশন পুনরাবৃত্তি সংখ্যা 5 হলে ভাল কর্মক্ষমতা ভারসাম্য অর্জন করা যায়।

ব্লক আকার প্রভাব

ব্লক আকার	গড় নির্ভুলতা	Wikitext2 বিভ্রান্তি	প্রশিক্ষণ সময়
32	43.58	9.50	2h
64	46.59	9.39	2.5h
128	47.09	9.07	6h

ব্লক আকার 64 কর্মক্ষমতা এবং দক্ষতার সেরা ভারসাম্য প্রদান করে।

ক্যালিব্রেশন ডেটাসেট শক্তিশালীতা

বিভিন্ন ক্যালিব্রেশন ডেটাসেটে (Pile, Wikitext2, C4) পরীক্ষা পদ্ধতির ভাল শক্তিশালীতা নির্দেশ করে।

কেস বিশ্লেষণ

পেপারটি মাস্ক ভিজ্যুয়ালাইজেশন (চিত্র 3) প্রদান করে, যা দেখায় যে PermLLM শিখেছে এমন পারমিউটেশন ঐতিহ্যবাহী পদ্ধতির থেকে ভিন্ন ওজন সংরক্ষণ প্যাটার্ন তৈরি করে, এন্ড-টু-এন্ড অপ্টিমাইজেশনের কার্যকারিতা যাচাই করে।

সিদ্ধান্ত এবং আলোচনা

প্রধান সিদ্ধান্ত

পদ্ধতির কার্যকারিতা: PermLLM একাধিক মডেল এবং কাজে ঐতিহ্যবাহী চ্যানেল পারমিউটেশন পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল
সর্বজনীনতা: বিদ্যমান প্রুনিং পদ্ধতির সাথে নির্বিঘ্নে একীভূত হতে পারে
ব্যবহারিকতা: ব্লক কৌশল এবং কাস্টম CUDA কোরের মাধ্যমে ব্যবহারিক গণনামূলক দক্ষতা অর্জন করেছে

সীমাবদ্ধতা

গণনামূলক ওভারহেড: যদিও ব্লক কৌশল জটিলতা উল্লেখযোগ্যভাবে হ্রাস করে, তবুও ঐতিহ্যবাহী পদ্ধতির তুলনায় আরও গণনামূলক সম্পদ প্রয়োজন
প্রয়োগের পরিধি: পদ্ধতি বিশেষভাবে আধা-কাঠামোগত প্রুনিংয়ের জন্য ডিজাইন করা হয়েছে, অন্যান্য সংকোচন কাজে (যেমন কোয়ান্টাইজেশন) প্রয়োগ অন্বেষণ করা বাকি রয়েছে
সংগ্রহ: বড় ব্লক আকার সংগ্রহ করতে আরও পুনরাবৃত্তি প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

কোয়ান্টাইজেশন ইত্যাদি অন্যান্য মডেল সংকোচন কাজে প্রয়োগ অন্বেষণ করুন
প্রশিক্ষণ দক্ষতা আরও উন্নত করুন
আরও দক্ষ আংশিক স্তর অপ্টিমাইজেশন কৌশল গবেষণা করুন

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী প্রযুক্তিগত উদ্ভাবন: প্রথমবারের মতো চ্যানেল পারমিউটেশন সমস্যাকে এন্ড-টু-এন্ড শিক্ষণযোগ্য সমস্যায় রূপান্তরিত করে, প্রযুক্তিগত পথ উদ্ভাবনী
দৃঢ় তাত্ত্বিক ভিত্তি: Sinkhorn নর্মালাইজেশন এবং STE এর সমন্বিত ব্যবহার তাত্ত্বিকভাবে যুক্তিসঙ্গত
ব্যাপক পরীক্ষা: একাধিক মডেল, ডেটাসেট এবং কাজে ব্যাপক মূল্যায়ন পরিচালিত হয়েছে
নিখুঁত প্রকৌশল বাস্তবায়ন: কাস্টম CUDA কোর প্রদান করে, প্রকৃত স্থাপনার চাহিদা বিবেচনা করে
স্পষ্ট লেখা: পেপারের কাঠামো স্পষ্ট, প্রযুক্তিগত বিবরণ নির্ভুলভাবে বর্ণিত

অপূর্ণতা

গণনামূলক ওভারহেড: যদিও ব্লক কৌশল রয়েছে, প্রশিক্ষণ খরচ এখনও বেশি
অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: সংগ্রহ বিশ্লেষণ এবং তাত্ত্বিক গ্যারান্টি অনুপস্থিত
প্রয়োগের পরিধি সীমাবদ্ধ: প্রধানত N:M স্পার্সিটিতে প্রযোজ্য, সাধারণীকরণ যাচাই করা বাকি
অপর্যাপ্ত বেসলাইন তুলনা: সর্বশেষ প্রুনিং পদ্ধতির সাথে তুলনা সম্পূর্ণ নয়

প্রভাব

একাডেমিক মূল্য: চ্যানেল পারমিউটেশন গবেষণার জন্য নতুন প্রযুক্তিগত পথ খুলে দেয়
ব্যবহারিক মূল্য: বড় ভাষা মডেল সংকোচন ক্ষেত্রে সরাসরি প্রয়োগ মূল্য রয়েছে
পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ কোড বাস্তবায়ন এবং বিস্তারিত পরীক্ষামূলক সেটআপ প্রদান করে

প্রযোজ্য পরিস্থিতি

বড় ভাষা মডেল স্থাপনা: বিশেষত হার্ডওয়্যার ত্বরণ প্রয়োজনীয় N:M স্পার্স স্থাপনা পরিস্থিতিতে উপযুক্ত
সম্পদ-সীমিত পরিবেশ: গণনামূলক সম্পদ পর্যাপ্ত হলে উচ্চতর সংকোচন গুণমান অনুসরণ করে
গবেষণা প্রোটোটাইপ: আরও প্রুনিং এবং সংকোচন গবেষণার জন্য প্রযুক্তিগত ভিত্তি প্রদান করে

সংদর্ভ

পেপারটি 66টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত করে:

বড় ভাষা মডেল মৌলিক কাজ (GPT, LLaMA ইত্যাদি)
নেটওয়ার্ক প্রুনিং ক্লাসিক পদ্ধতি (Magnitude Pruning, SparseGPT ইত্যাদি)
N:M স্পার্সিটি সম্পর্কিত গবেষণা (RIA, SR-STE ইত্যাদি)
অপ্টিমাইজেশন তাত্ত্বিক ভিত্তি (Sinkhorn নর্মালাইজেশন, হাঙ্গেরিয়ান অ্যালগরিদম ইত্যাদি)

সামগ্রিক মূল্যায়ন: এটি একটি শক্তিশালী প্রযুক্তিগত উদ্ভাবন, ব্যাপক পরীক্ষা এবং নিখুঁত প্রকৌশল বাস্তবায়ন সহ একটি উচ্চ-মানের পেপার। বিচ্ছিন্ন অপ্টিমাইজেশন সমস্যাকে ক্রমাগত অপ্টিমাইজেশন সমস্যায় রূপান্তরিত করে, চ্যানেল পারমিউটেশন প্রযুক্তিতে যুগান্তকারী অগ্রগতি এনেছে। গণনামূলক ওভারহেড এবং প্রয়োগের পরিধির সীমাবদ্ধতা থাকলেও, বড় ভাষা মডেল সংকোচন ক্ষেত্রে এর অবদান উল্লেখযোগ্য এবং উল্লেখযোগ্য একাডেমিক এবং ব্যবহারিক মূল্য রয়েছে।