2025-11-19T13:07:13.821194

TRIM: Achieving Extreme Sparsity with Targeted Row-wise Iterative Metric-driven Pruning

Beck, Rudman, Eickhoff

Large Language Models (LLMs) present significant computational and memory challenges due to their extensive size, making pruning essential for their efficient deployment. Existing one-shot pruning methods often apply uniform sparsity constraints across layers or within each layer, resulting in suboptimal performance, especially at high sparsity ratios. This work introduces TRIM (Targeted Row-wise Iterative Metric-driven pruning), a novel approach that applies varying sparsity ratios to individual output dimensions (rows) within each layer. TRIM employs an iterative adjustment process guided by quality metrics to optimize dimension-wise sparsity allocation, focusing on reducing variance in quality retention across outputs to preserve critical information. TRIM can be seamlessly integrated with existing layer-wise pruning strategies. Our evaluations on perplexity and zero-shot tasks across diverse LLM families (Qwen2.5, LLaMA-2, and OPT) and sparsity levels demonstrate that TRIM achieves new state-of-the-art results and enhances stability. For instance, at 80% sparsity, TRIM reduces perplexity by 48% for Qwen2.5-14B and over 90% for OPT-13B compared to baseline methods. We conclude that fine-grained, dimension-wise sparsity adaptation is crucial for pushing the limits of extreme LLM compression. Code available at: https://github.com/flobk/TRIM

academic

TRIM: লক্ষ্যবস্তু সারি-ভিত্তিক পুনরাবৃত্তিমূলক মেট্রিক-চালিত প্রুনিং এর মাধ্যমে চরম বিরলতা অর্জন

মৌলিক তথ্য

পেপার আইডি: 2505.16743
শিরোনাম: TRIM: Achieving Extreme Sparsity with Targeted Row-wise Iterative Metric-driven Pruning
লেখক: ফ্লোরেন্টিন বেক (টিউবিনজেন বিশ্ববিদ্যালয়), উইলিয়াম রুডম্যান (টেক্সাস অস্টিন বিশ্ববিদ্যালয়), কার্স্টেন আইকহফ (টিউবিনজেন বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.CL cs.AI cs.LG
প্রকাশনার সময়: ২০২৫ সালের ১১ অক্টোবর (arXiv v2)
পেপার লিংক: https://arxiv.org/abs/2505.16743
কোড লিংক: https://github.com/flobk/TRIM

সারসংক্ষেপ

বৃহৎ ভাষা মডেল (LLM) গুলি তাদের বিশাল প্যারামিটার স্কেলের কারণে গণনা এবং মেমরি চ্যালেঞ্জ সৃষ্টি করে, যা দক্ষ স্থাপনার জন্য মডেল প্রুনিং অপরিহার্য করে তোলে। বিদ্যমান এককালীন প্রুনিং পদ্ধতিগুলি সাধারণত স্তর জুড়ে বা স্তরের মধ্যে একীভূত বিরলতা সীমাবদ্ধতা প্রয়োগ করে, উচ্চ বিরলতার হারে দুর্বল পারফরম্যান্স প্রদর্শন করে। এই পেপারটি TRIM (লক্ষ্যবস্তু সারি-ভিত্তিক পুনরাবৃত্তিমূলক মেট্রিক-চালিত প্রুনিং) প্রস্তাব করে, যা প্রতিটি স্তরের মধ্যে বিভিন্ন আউটপুট মাত্রা (সারি) তে বিভিন্ন বিরলতার হার প্রয়োগ করার একটি নতুন পদ্ধতি। TRIM গুণমান মেট্রিক দ্বারা পরিচালিত পুনরাবৃত্তিমূলক সমন্বয় প্রক্রিয়া ব্যবহার করে মাত্রা-স্তরের বিরলতা বরাদ্দ অপ্টিমাইজ করে, আউটপুট জুড়ে গুণমান সংরক্ষণের বৈচিত্র্য হ্রাস করে গুরুত্বপূর্ণ তথ্য ধরে রাখার উপর দৃষ্টি নিবদ্ধ করে। TRIM বিদ্যমান স্তর-স্তরের প্রুনিং কৌশলগুলির সাথে নির্বিঘ্নে একীভূত হতে পারে। একাধিক LLM পরিবার (Qwen2.5, LLaMA-2 এবং OPT) এবং বিরলতার স্তরগুলিতে বিভ্রান্তি এবং শূন্য-শট কাজের মূল্যায়ন দেখায় যে TRIM নতুন অত্যাধুনিক ফলাফল অর্জন করেছে এবং স্থিতিশীলতা বৃদ্ধি করেছে। উদাহরণস্বরূপ, ৮০% বিরলতার হারে, TRIM বেসলাইন পদ্ধতির তুলনায় Qwen2.5-14B এর বিভ্রান্তি ৪৮% হ্রাস করেছে এবং OPT-13B এর বিভ্রান্তি ৯০% এর বেশি হ্রাস করেছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

বৃহৎ ভাষা মডেলের প্যারামিটার স্কেলের সূচকীয় বৃদ্ধির সাথে, মডেল স্থাপনা গুরুতর মেমরি এবং গণনা সম্পদ চ্যালেঞ্জের সম্মুখীন হয়। যদিও প্যারামিটার বৃদ্ধি কর্মক্ষমতা উন্নতি এবং উদীয়মান ক্ষমতা নিয়ে আসে, এটি সম্পদ-সীমিত পরিবেশে অনুমান করা কঠিন করে তোলে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

একীভূত বিরলতা সীমাবদ্ধতা: বিদ্যমান এককালীন প্রুনিং পদ্ধতি (যেমন Wanda, OWL, AlphaPruning) সাধারণত সমস্ত স্তর বা স্তরের মধ্যে সমস্ত আউটপুট মাত্রায় একই বিরলতার হার প্রয়োগ করে
উচ্চ বিরলতার হারে কর্মক্ষমতা তীব্র হ্রাস: চরম বিরলতায় (>70%), একীভূত কৌশল উল্লেখযোগ্য কর্মক্ষমতা অবনতি ঘটায়
মাত্রা বৈষম্য উপেক্ষা করা: বিভিন্ন আউটপুট মাত্রা প্রুনিং এর প্রতি সংবেদনশীলতা এবং গুরুত্বে উল্লেখযোগ্য পার্থক্য রয়েছে

গবেষণা প্রেরণা

পেপারটি পর্যবেক্ষণ করে যে LLM গুলি অনন্য ওজন এবং সক্রিয়করণ বৈশিষ্ট্য রাখে, যেমন বিশিষ্ট বহিরাগত বৈশিষ্ট্য এবং অত্যন্ত তির্যক সক্রিয়করণ বিতরণ। এই বৈশিষ্ট্যগুলি নির্দেশ করে যে স্তরের মধ্যে বিভিন্ন আউটপুট মাত্রা বিভিন্ন প্রুনিং সংবেদনশীলতা রাখে, তাই আরও সূক্ষ্ম-দানাদার বিরলতা বরাদ্দ কৌশল প্রয়োজন।

মূল অবদান

প্রথম মাত্রা-স্তরের বিরলতা বরাদ্দ: প্রতিটি স্তরের মধ্যে বিভিন্ন আউটপুট মাত্রার জন্য বিভিন্ন বিরলতার হার গণনা করার প্রথম অ্যালগরিদম প্রস্তাব করে
চরম বিরলতায় SOTA কর্মক্ষমতা: ৮০% বিরলতার হারে, বিদ্যমান পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে বিভ্রান্তি হ্রাস করে (Qwen2.5-14B ৪৮% হ্রাস, OPT-13B ৯০%+ হ্রাস)
গভীর অভিজ্ঞতামূলক বিশ্লেষণ: প্রুনিং সংবেদনশীলতা এবং ডাউনস্ট্রিম কাজের গুরুত্বে আউটপুট মাত্রার বৈষম্য প্রকাশ করে
প্লাগ-এন্ড-প্লে ডিজাইন: TRIM যেকোনো গুরুত্ব-ভিত্তিক স্কোরিং প্রুনিং অ্যালগরিদমের সাথে একীভূত হতে পারে, ভাল সার্বজনীনতা সহ

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ওজন ম্যাট্রিক্স W ∈ R^(D×N) দেওয়া, যেখানে D হল আউটপুট মাত্রার সংখ্যা, N হল ইনপুট মাত্রার সংখ্যা, লক্ষ্য হল প্রতিটি আউটপুট মাত্রা Wi,: এর জন্য সর্বোত্তম বিরলতার হার Si নির্ধারণ করা, যাতে গড় বিরলতার হার সীমাবদ্ধতা পূরণ করার সময় স্তরের সামগ্রিক গুণমান সর্বাধিক করা যায়।

মূল অ্যালগরিদম: TRIM

মাত্রা-স্তরের বিরলতা ভেক্টর

TRIM মাত্রা-স্তরের বিরলতা ভেক্টর S = S1, S2, ..., SD সংজ্ঞায়িত করে, যেখানে Si ∈ 0,1 i-তম আউটপুট মাত্রার লক্ষ্য বিরলতার হার নির্দিষ্ট করে। সীমাবদ্ধতা হল:

1/D * Σ(i=1 to D) Si = T

যেখানে T হল স্তরের লক্ষ্য বিরলতার হার।

পুনরাবৃত্তিমূলক সমন্বয় অ্যালগরিদম

অ্যালগরিদম 1: পুনরাবৃত্তিমূলক মাত্রা-ভিত্তিক বিরলতা সমন্বয়

আরম্ভীকরণ: অপ্রুনড আউটপুট Y ← WX গণনা করুন, Si = T আরম্ভ করুন (একীভূত বিতরণ)
পুনরাবৃত্তিমূলক অপ্টিমাইজেশন (K বার):
- বর্তমান S এর উপর ভিত্তি করে প্রুন করুন Wpruned পান
- প্রুনড আউটপুট Ŷ ← WprunedX গণনা করুন
- সামগ্রিক গুণমান মূল্যায়ন করুন qk ← Qmetric(Y, Ŷ)
- সর্বোত্তম কনফিগারেশন আপডেট করুন (যদি qk > qbest)
- প্রতিটি মাত্রার গুণমান গণনা করুন ci ← QmetricDimwise(Yi,:, Ŷi,:)
- গুণমান স্কোর 0,1 পরিসরে স্বাভাবিক করুন
- শেখার হার α দিয়ে বিরলতার হার সমন্বয় করুন: δi ← αc'i
- গড় সীমাবদ্ধতা বজায় রাখতে পুনরায় কেন্দ্রীভূত করুন: Si ← δi - (1/D)Σδj + T
রিটার্ন: সর্বোত্তম বিরলতা বরাদ্দ Sbest

গুণমান মেট্রিক্স

স্তর-স্তরের গুণমান: সম্পূর্ণ স্তর প্রুনিং গুণমান মূল্যায়ন করতে কোসাইন সাদৃশ্য ব্যবহার করুন
মাত্রা-স্তরের গুণমান: প্রতিটি আউটপুট মাত্রার কোসাইন সাদৃশ্য গণনা করুন, বিরলতার হার সমন্বয় নির্দেশনা দিন

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

অভিযোজিত শেখার হার: ইতিবাচক এবং নেতিবাচক শেখার হার সমর্থন করে, ইতিবাচক শেখার হার গুণমান বৈচিত্র্য হ্রাস করে, নেতিবাচক শেখার হার বহিরাগত-কেন্দ্রীভূত স্তরের জন্য প্রযোজ্য
গুণমান বৈচিত্র্য ন্যূনতমকরণ: মাত্রা জুড়ে গুণমান অবনতির বৈচিত্র্য হ্রাস করে সামগ্রিক কর্মক্ষমতা উন্নত করুন
সামঞ্জস্যপূর্ণ ডিজাইন: বিদ্যমান স্কোরিং নিয়ম (Wanda, Magnitude, SparseGPT, GBLM) এর সাথে একীভূত হতে পারে

পরীক্ষামূলক সেটআপ

ডেটাসেট

মডেল: Qwen2.5 (3B/7B/14B/32B/72B), LLaMA-2 (7B/13B), OPT (6.7B/13B)
মূল্যায়ন ডেটা: WikiText যাচাইকরণ সেট (বিভ্রান্তি), C4 এবং Pile (সাধারণীকরণ যাচাইকরণ)
ডাউনস্ট্রিম কাজ: BoolQ, RTE, HellaSwag, WinoGrande, ARC Easy/Challenge, OpenBookQA

মূল্যায়ন মেট্রিক্স

বিভ্রান্তি: WikiText যাচাইকরণ সেটে ভাষা মডেলিং ক্ষমতা মূল্যায়ন করুন
শূন্য-শট নির্ভুলতা: ৭টি ডাউনস্ট্রিম কাজে গড় কর্মক্ষমতা

তুলনা পদ্ধতি

বেসলাইন পদ্ধতি: OWL, AlphaPruning (Wanda-ভিত্তিক)
অ্যাবলেশন অধ্যয়ন: বিভিন্ন গুণমান মেট্রিক্স, শেখার হার সেটিংস, পুনরাবৃত্তি সংখ্যার প্রভাব

বাস্তবায়ন বিবরণ

ক্যালিব্রেশন নমুনা: C4 ডেটাসেট থেকে এলোমেলোভাবে নির্বাচিত, সিকোয়েন্স দৈর্ঘ্য 2048
বিরলতার সীমা: একক মাত্রা সর্বাধিক 95% অতিফিটিং প্রতিরোধ করতে
হাইপারপ্যারামিটার: K=10 পুনরাবৃত্তি, শেখার হার α গ্রিড অনুসন্ধানের মাধ্যমে নির্ধারিত

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

বিভ্রান্তি কর্মক্ষমতা (৮০% বিরলতার হার)

মডেল	OWL বেসলাইন	OWL+TRIM	উন্নতির পরিমাণ
Qwen2.5-14B	348.48	180.67	-48%
OPT-13B	6461.43	324.14	-95%
LLaMA-2-13B	225.04	154.83	-31%

শূন্য-শট কাজের কর্মক্ষমতা

TRIM সমস্ত পরীক্ষিত মডেল এবং বিরলতার স্তরে কর্মক্ষমতা উন্নতি অর্জন করে, ৮০% বিরলতার হারে গড় 0.46-0.65 শতাংশ পয়েন্ট উন্নতি।

অ্যাবলেশন পরীক্ষা

গুণমান মেট্রিক্স তুলনা

স্তর-স্তরের গুণমান: কোসাইন সাদৃশ্য সবচেয়ে স্থিতিশীল কর্মক্ষমতা দেখায়
মাত্রা-স্তরের গুণমান: কোসাইন সাদৃশ্য MSE এবং PSNR এর তুলনায় আরও নির্ভরযোগ্য

বিভিন্ন প্রুনিং সূচকের সাধারণীকরণ

TRIM Magnitude, SparseGPT, GBLM ইত্যাদি বিভিন্ন স্কোরিং নিয়মে উন্নতি দেখায়, পদ্ধতির সার্বজনীনতা যাচাই করে।

মূল আবিষ্কার

পর্যবেক্ষণ 1: মাত্রা বৈষম্য

Gini সহগ বিশ্লেষণের মাধ্যমে আবিষ্কার করা যায় যে বিভিন্ন আউটপুট মাত্রার গুরুত্ব স্কোরের ঘনত্বে উল্লেখযোগ্য পার্থক্য রয়েছে, যা প্রুনিং সংবেদনশীলতার দিকে পরিচালিত করে।

পর্যবেক্ষণ 2: অ-রৈখিক গুণমান অবনতি

বিরলতার হার বৃদ্ধির সাথে সাথে, গুণমান অবনতি ত্বরান্বিত প্রবণতা প্রদর্শন করে, সূক্ষ্ম বরাদ্দ আরও গুরুত্বপূর্ণ করে তোলে।

পর্যবেক্ষণ 3: মাত্রা গুরুত্ব পার্থক্য

পরীক্ষা দেখায় যে একক মাত্রা সম্পূর্ণভাবে সরানোর প্রভাব বিশাল:

ন্যূনতম L2 নর্ম মাত্রা: বিভ্রান্তি মাত্র 0.16 বৃদ্ধি পায়
সর্বাধিক L2 নর্ম মাত্রা: বিভ্রান্তি 273.10 এ বৃদ্ধি পায়

উপসংহার এবং আলোচনা

প্রধান উপসংহার

মাত্রা-স্তরের বিরলতা বরাদ্দের প্রয়োজনীয়তা: চরম বিরলতায়, সূক্ষ্ম-দানাদার নিয়ন্ত্রণ মডেল কর্মক্ষমতা বজায় রাখার জন্য গুরুত্বপূর্ণ
গুণমান বৈচিত্র্য ন্যূনতমকরণের কার্যকারিতা: মাত্রা জুড়ে গুণমান অবনতি ভারসাম্য রেখে সামগ্রিক কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করা যায়
পদ্ধতির সার্বজনীনতা: TRIM একাধিক বিদ্যমান প্রুনিং অ্যালগরিদমের সাথে একীভূত হতে পারে, ভাল সম্প্রসারণযোগ্যতা সহ

সীমাবদ্ধতা

শেখার হার নির্বাচনের জটিলতা: বহিরাগত-কেন্দ্রীভূত স্তরের জন্য নেতিবাচক শেখার হার প্রয়োজন, হাইপারপ্যারামিটার টিউনিং জটিলতা বৃদ্ধি করে
অ-কাঠামোগত বিরলতা: বর্তমান পদ্ধতি সরাসরি n:m এর মতো কাঠামোগত বিরলতা প্যাটার্ন সমর্থন করে না
গণনা ওভারহেড: পুনরাবৃত্তিমূলক প্রক্রিয়া প্রায় 8% চালু সময় বৃদ্ধি করে

ভবিষ্যত দিকনির্দেশনা

কাঠামোগত বিরলতা সমর্থন: TRIM সম্প্রসারণ করুন হার্ডওয়্যার-বান্ধব বিরলতা প্যাটার্ন সমর্থন করতে
স্বয়ংক্রিয় শেখার হার নির্বাচন: হাইপারপ্যারামিটার টিউনিং প্রয়োজন হ্রাস করতে অভিযোজিত প্রক্রিয়া বিকাশ করুন
তাত্ত্বিক বিশ্লেষণ: মাত্রা গুরুত্ব এবং প্রুনিং সংবেদনশীলতার তাত্ত্বিক কাঠামো প্রতিষ্ঠা করুন

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী উদ্ভাবনী: প্রথমবার মাত্রা-স্তরের বিরলতা বরাদ্দ প্রস্তাব করে, নতুন চিন্তাভাবনা
পর্যাপ্ত পরীক্ষা: একাধিক মডেল পরিবার এবং কাজে পদ্ধতির কার্যকারিতা যাচাই করে
তাত্ত্বিক সমর্থন: গভীর বিশ্লেষণের মাধ্যমে পদ্ধতি কার্যকারিতার মূল কারণ প্রকাশ করে
উচ্চ ব্যবহারিক মূল্য: প্লাগ-এন্ড-প্লে ডিজাইন বিদ্যমান সিস্টেমে সহজ একীকরণ করে

অপূর্ণতা

পদ্ধতি জটিলতা: বেসলাইন পদ্ধতির তুলনায় অ্যালগরিদম জটিলতা এবং হাইপারপ্যারামিটার বৃদ্ধি করে
হার্ডওয়্যার অভিযোজনযোগ্যতা: অ-কাঠামোগত বিরলতা বিশেষায়িত হার্ডওয়্যারে ত্বরণ সীমিত করে
অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: সর্বোত্তম বিরলতা বরাদ্দের জন্য তাত্ত্বিক গ্যারান্টি অভাব

প্রভাব

একাডেমিক অবদান: LLM প্রুনিং ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করে
ব্যবহারিক মূল্য: সম্পদ-সীমিত পরিবেশে বড় মডেল স্থাপনে গুরুত্বপূর্ণ অর্থ রাখে
পুনরুৎপাদনযোগ্যতা: ওপেন সোর্স কোড প্রদান করে, পরবর্তী গবেষণা সহজতর করে

প্রযোজ্য দৃশ্যকল্প

চরম বিরলতা প্রয়োজন: বিশেষভাবে >70% বিরলতার হার প্রয়োজনীয় দৃশ্যকল্পের জন্য উপযুক্ত
সম্পদ-সীমিত পরিবেশ: প্রান্ত ডিভাইস, মোবাইল ইত্যাদি গণনা সম্পদ সীমিত দৃশ্যকল্পে
গবেষণা উদ্দেশ্য: প্রুনিং অ্যালগরিদম গবেষণার জন্য নতুন বেঞ্চমার্ক এবং চিন্তাভাবনা প্রদান করে

সংদর্ভ

পেপারটি প্রুনিং ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

ক্লাসিক প্রুনিং পদ্ধতি: Le Cun et al. (1989), Han et al. (2015)
আধুনিক LLM প্রুনিং: Sun et al. (2024) Wanda, Frantar and Alistarh (2023) SparseGPT
স্তর-স্তরের অভিযোজিত পদ্ধতি: Yin et al. (2024) OWL, Lu et al. (2024) AlphaPruning

সারসংক্ষেপ: TRIM মাত্রা-স্তরের বিরলতা বরাদ্দ প্রবর্তন করে, চরম বিরলতায় LLM প্রুনিং কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করে। এই পদ্ধতি গুরুত্বপূর্ণ তাত্ত্বিক মূল্য এবং ব্যবহারিক অর্থ রাখে, বড় মডেল সংকোচন ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা খুলে দেয়। কিছু সীমাবদ্ধতা থাকলেও, এর উদ্ভাবনী এবং কার্যকারিতা এটিকে ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।