Token Pruning for Caching Better: 9 Times Acceleration on Stable Diffusion for Free
Zhang, Xiao, Tang et al.
Stable Diffusion has achieved remarkable success in the field of text-to-image generation, with its powerful generative capabilities and diverse generation results making a lasting impact. However, its iterative denoising introduces high computational costs and slows generation speed, limiting broader adoption. The community has made numerous efforts to reduce this computational burden, with methods like feature caching attracting attention due to their effectiveness and simplicity. Nonetheless, simply reusing features computed at previous timesteps causes the features across adjacent timesteps to become similar, reducing the dynamics of features over time and ultimately compromising the quality of generated images. In this paper, we introduce a dynamics-aware token pruning (DaTo) approach that addresses the limitations of feature caching. DaTo selectively prunes tokens with lower dynamics, allowing only high-dynamic tokens to participate in self-attention layers, thereby extending feature dynamics across timesteps. DaTo combines feature caching with token pruning in a training-free manner, achieving both temporal and token-wise information reuse. Applied to Stable Diffusion on the ImageNet, our approach delivered a 9$\times$ speedup while reducing FID by 0.33, indicating enhanced image quality. On the COCO-30k, we observed a 7$\times$ acceleration coupled with a notable FID reduction of 2.17.
স্টেবল ডিফিউশন টেক্সট-টু-ইমেজ জেনারেশন ক্ষেত্রে উল্লেখযোগ্য সাফল্য অর্জন করেছে, কিন্তু এর পুনরাবৃত্তিমূলক ডিনোইজিং মেকানিজম উচ্চ গণনা খরচ এবং ধীর প্রজন্মের গতি নিয়ে আসে। যদিও বৈশিষ্ট্য ক্যাশিং এর মতো পদ্ধতিগুলি তাদের কার্যকারিতা এবং সরলতার জন্য মনোযোগ আকর্ষণ করেছে, তবে পূর্ববর্তী সময় ধাপে গণনা করা বৈশিষ্ট্যগুলি সহজভাবে পুনরায় ব্যবহার করা সংলগ্ন সময় ধাপের বৈশিষ্ট্যগুলিকে একই রকম করে তোলে, সময়ের সাথে বৈশিষ্ট্যের গতিশীলতা হ্রাস করে এবং চূড়ান্তভাবে উৎপন্ন ছবির গুণমান প্রভাবিত করে। এই পেপারটি বৈশিষ্ট্য ক্যাশিংয়ের সীমাবদ্ধতা সমাধানের জন্য একটি গতিশীল-সচেতন টোকেন প্রুনিং (DaTo) পদ্ধতি প্রস্তাব করে। DaTo নির্বাচনীভাবে কম গতিশীলতার টোকেনগুলি প্রুন করে, শুধুমাত্র উচ্চ গতিশীলতার টোকেনগুলিকে স্ব-মনোযোগ স্তরে অংশগ্রহণ করতে দেয়, এভাবে সময় ধাপ জুড়ে বৈশিষ্ট্যের গতিশীলতা প্রসারিত করে। ImageNet-এ স্টেবল ডিফিউশনে প্রয়োগ করা হলে, এই পদ্ধতি ৯ গুণ ত্বরণ অর্জন করে যখন FID ০.৩৩ হ্রাস পায়; COCO-30k-এ ৭ গুণ ত্বরণ পর্যবেক্ষণ করা যায়, FID উল্লেখযোগ্যভাবে ২.১৭ হ্রাস পায়।
ডিফিউশন মডেলগুলি জেনারেটিভ মডেলিং ক্ষেত্রে উল্লেখযোগ্য অগ্রগতি অর্জন করেছে এবং টেক্সট-টু-ইমেজ জেনারেশন, ভিডিও জেনারেশন এবং অন্যান্য কাজে ব্যাপকভাবে প্রয়োগ করা হয়। তবে, ডিফিউশন মডেলের পুনরাবৃত্তিমূলক ডিনোইজিং মেকানিজম বিশাল গণনা খরচ এবং ধীর প্রজন্মের গতি নিয়ে আসে, যা এর আরও ব্যাপক প্রয়োগকে সীমাবদ্ধ করে।
ডিফিউশন মডেলগুলি ত্বরান্বিত করার বর্তমান পদ্ধতিগুলি প্রধানত অন্তর্ভুক্ত করে:
নমুনা পদক্ষেপ হ্রাস: DDIM এর মতো দ্রুত স্যাম্পলার
প্রতিটি পদক্ষেপের গণনা খরচ হ্রাস: জ্ঞান পাতন, কাঠামো প্রুনিং, কোয়ান্টাইজেশন, টোকেন প্রুনিং এবং বৈশিষ্ট্য ক্যাশিং অন্তর্ভুক্ত
এর মধ্যে, বৈশিষ্ট্য ক্যাশিং এর কার্যকারিতা এবং সরলতার কারণে ব্যাপকভাবে জনপ্রিয়, এটি পূর্ববর্তী সময় ধাপে গণনা করা বৈশিষ্ট্যগুলি সংরক্ষণ করে এবং পরবর্তী সময় ধাপে পুনরায় ব্যবহার করে। তবে, বৈশিষ্ট্য পুনরায় ব্যবহার বিভিন্ন সময় ধাপের বৈশিষ্ট্যগুলিকে একই মান থাকতে বাধ্য করে, সময় ধাপ জুড়ে বৈশিষ্ট্যের গতিশীলতা হ্রাস করে, মূল ডিফিউশন প্রক্রিয়াকে ক্ষতিগ্রস্ত করে এবং এভাবে প্রজন্মের গুণমান হ্রাস করে।
পেপারটি পরীক্ষামূলক পর্যবেক্ষণের মাধ্যমে আবিষ্কার করে যে মূল স্টেবল ডিফিউশনের তুলনায়, বৈশিষ্ট্য ক্যাশিং ব্যবহার করে এমন মডেলগুলি সংলগ্ন সময় ধাপ জুড়ে বৈশিষ্ট্যের পার্থক্য উল্লেখযোগ্যভাবে হ্রাস করে। এটি একটি মূল প্রশ্ন উত্থাপন করে: বৈশিষ্ট্য ক্যাশিং সম্পাদন করার সময় সঠিক বৈশিষ্ট্য গতিশীলতা বজায় রাখা সম্ভব কিনা?
গতিশীল-সচেতন টোকেন প্রুনিং (DaTo) পদ্ধতি প্রস্তাব: বিভিন্ন সময় ধাপে বৈশিষ্ট্য ক্যাশিং দ্বারা হ্রাসকৃত গতিশীলতার টোকেনগুলি প্রুন করে এবং উচ্চ গতিশীলতার টোকেনগুলির সাথে সেগুলি পুনরুদ্ধার করে, বৈশিষ্ট্য ক্যাশিং দ্বারা সৃষ্ট প্রজন্মের গুণমান হ্রাস এড়ায়।
বিবর্তনীয় অনুসন্ধান কৌশল ডিজাইন: সর্বোত্তম বৈশিষ্ট্য ক্যাশিং এবং টোকেন প্রুনিং কৌশল অনুসন্ধান করার জন্য বিবর্তনীয় পদ্ধতি প্রস্তাব করে, DaTo-এর সম্ভাবনা সম্পূর্ণভাবে মুক্ত করে।
উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন: স্টেবল ডিফিউশন এবং SDXL-এ ব্যাপক পরীক্ষা দেখায় যে প্রশিক্ষণ এবং অতিরিক্ত ডেটা ছাড়াই, স্টেবল ডিফিউশনে ৯ গুণ পর্যন্ত ত্বরণ এবং প্রজন্মের গুণমানে কোনো ক্ষতি ছাড়াই অর্জন করা যায়।
এই পেপারের কাজ হল ছবির প্রজন্মের গুণমান বজায় রেখে স্টেবল ডিফিউশন মডেলের অনুমান প্রক্রিয়াকে উল্লেখযোগ্যভাবে ত্বরান্বিত করা। ইনপুট হল টেক্সট প্রম্পট, আউটপুট হল সংশ্লিষ্ট উচ্চ-মানের ছবি, সীমাবদ্ধতা হল মডেলটি পুনরায় প্রশিক্ষণের প্রয়োজন নেই।
প্যাচ-ভিত্তিক টোকেন নির্বাচন: ছবিটিকে s×s অ-ওভারল্যাপিং প্যাচে বিভক্ত করুন, প্রতিটি প্যাচে সর্বোচ্চ DiffScore সহ টোকেনটি মৌলিক টোকেন হিসাবে নির্বাচন করুন।
CFG সারিবদ্ধকরণ:
শ্রেণীবিভাজক-মুক্ত নির্দেশনা (CFG) পরিচালনা করার জন্য, শর্তসাপেক্ষ প্রজন্মের মৌলিক টোকেন অবস্থানগুলি অপ্রতিরোধ্য প্রজন্মে অনুলিপি করুন:
প্রুনিং অনুপাত r সীমাবদ্ধ {0.3, 0.4, 0.5, 0.6, 0.7}
বিবর্তনীয় অনুসন্ধান অ্যালগরিদম:
NSGA-II বহু-উদ্দেশ্য অপ্টিমাইজেশন অ্যালগরিদম ব্যবহার করুন, অপ্টিমাইজেশন উদ্দেশ্যগুলি অন্তর্ভুক্ত করে:
অনুমান বিলম্ব
প্রজন্মের গুণমান (FID)
অনুসন্ধান প্রক্রিয়া নির্বাচন, ক্রসওভার, মিউটেশন ইত্যাদি মানক বিবর্তনীয় ক্রিয়াকলাপ অন্তর্ভুক্ত করে, চূড়ান্তভাবে সর্বোত্তম ধাপ-সচেতন কৌশল F(t) অর্জন করে।
গতিশীলতা পুনরুদ্ধার মেকানিজম: কম গতিশীলতার টোকেনগুলি নির্বাচনীভাবে প্রুন করে এবং উচ্চ গতিশীলতার টোকেনগুলির সাথে পুনরুদ্ধার করে, বৈশিষ্ট্য ক্যাশিং দ্বারা ক্ষতিগ্রস্ত বৈশিষ্ট্য গতিশীলতা বিতরণ সফলভাবে পুনরুদ্ধার করে।
একীভূত ক্যাশিং-প্রুনিং ফ্রেমওয়ার্ক: বৈশিষ্ট্য ক্যাশিং এবং টোকেন প্রুনিংকে একটি প্রশিক্ষণ-মুক্ত ফ্রেমওয়ার্কে একত্রিত করে, সময় এবং টোকেন স্তরে তথ্য পুনরায় ব্যবহার অর্জন করে।
অভিযোজিত কৌশল অনুসন্ধান: বিভিন্ন সময় ধাপের বিভিন্ন অপ্রয়োজনীয় বৈশিষ্ট্যের জন্য, সর্বোত্তম ক্যাশিং গভীরতা এবং প্রুনিং অনুপাত স্বয়ংক্রিয়ভাবে অনুসন্ধান করার পদ্ধতি প্রস্তাব করে।
DiffScore-এর কার্যকারিতা:
বিভিন্ন ক্যাশিং সেটিংস এবং প্রুনিং অনুপাতে, DiffScore ব্যবহার করে ধারাবাহিকভাবে FID স্কোর উন্নত করে, সময় শব্দ পার্থক্য স্কোরের কার্যকারিতা প্রমাণ করে।
CFG সারিবদ্ধকরণের প্রভাব:
প্রুনিং অনুপাত বৃদ্ধির সাথে সাথে, CFG সারিবদ্ধকরণ কনফিগারেশন দ্বারা আনা লাভ ধীরে ধীরে বৃদ্ধি পায়, উচ্চ প্রুনিং অনুপাতে (০.৭) FID উন্নতি ১৩ পয়েন্ট থেকে ৩০ পয়েন্ট পর্যন্ত বিস্তৃত।
পেপারটি ৪৬টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা ডিফিউশন মডেল, টোকেন হ্রাস, ক্যাশিং মেকানিজম এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি এবং তুলনামূলক মানদণ্ড প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি কম্পিউটার ভিশনের একটি উচ্চ-মানের পেপার, যা ডিফিউশন মডেল ত্বরণের গুরুত্বপূর্ণ সমস্যায় উদ্ভাবনী সমাধান প্রস্তাব করে। পদ্ধতি ডিজাইন চতুর, পরীক্ষামূলক মূল্যায়ন ব্যাপক, ব্যবহারিক মূল্য উল্লেখযোগ্য। যদিও তাত্ত্বিক বিশ্লেষণের গভীরতায় কিছু অপূর্ণতা রয়েছে, তবে এর বাস্তব অবদান এবং প্রভাব স্বীকৃতির যোগ্য।