2025-11-19T15:28:14.078632

Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition

Rios, Yuanda, Ghanz et al.

Ultra-fine-grained image recognition (UFGIR) is a challenging task that involves classifying images within a macro-category. While traditional FGIR deals with classifying different species, UFGIR goes beyond by classifying sub-categories within a species such as cultivars of a plant. In recent times the usage of Vision Transformer-based backbones has allowed methods to obtain outstanding recognition performances in this task but this comes at a significant cost in terms of computation specially since this task significantly benefits from incorporating higher resolution images. Therefore, techniques such as token reduction have emerged to reduce the computational cost. However, dropping tokens leads to loss of essential information for fine-grained categories, specially as the token keep rate is reduced. Therefore, to counteract the loss of information brought by the usage of token reduction we propose a novel Cross-Layer Aggregation Classification Head and a Cross-Layer Cache mechanism to recover and access information from previous layers in later locations. Extensive experiments covering more than 2000 runs across diverse settings including 5 datasets, 9 backbones, 7 token reduction methods, 5 keep rates, and 2 image sizes demonstrate the effectiveness of the proposed plug-and-play modules and allow us to push the boundaries of accuracy vs cost for UFGIR by reducing the kept tokens to extremely low ratios of up to 10\% while maintaining a competitive accuracy to state-of-the-art models. Code is available at: \url{https://github.com/arkel23/CLCA}

academic

অতি-সূক্ষ্ম-দানাদার ইমেজ স্বীকৃতিতে টোকেন হ্রাসের জন্য ক্রস-লেয়ার ক্যাশ সমন্বয়

মৌলিক তথ্য

পেপার আইডি: 2501.00243
শিরোনাম: Cross-Layer Cache Aggregation for Token Reduction in Ultra-Fine-Grained Image Recognition
লেখক: Edwin Arkel Rios, Jansen Christopher Yuanda, Vincent Leon Ghanz, Cheng-Wei Yu, Bo-Cheng Lai, Min-Chun Hu
বিভাগ: cs.CV
প্রকাশনার সময়: ২০২৪ সালের ৩১ ডিসেম্বর
পেপার লিংক: https://arxiv.org/abs/2501.00243
কোড লিংক: https://github.com/arkel23/CLCA

সারসংক্ষেপ

এই পেপারটি অতি-সূক্ষ্ম-দানাদার ইমেজ স্বীকৃতি (UFGIR) কাজে গণনামূলক দক্ষতার সমস্যা সমাধানের জন্য একটি উদ্ভাবনী ক্রস-লেয়ার ক্যাশ সমন্বয় (CLCA) পদ্ধতি প্রস্তাব করে। UFGIR একটি অত্যন্ত চ্যালেঞ্জিং কাজ যা ম্যাক্রো-শ্রেণীর মধ্যে শ্রেণীবিভাগ প্রয়োজন, যেমন উদ্ভিদ বৈচিত্র্যের স্বীকৃতি। যদিও Vision Transformer-ভিত্তিক পদ্ধতিগুলি এই কাজে চমৎকার কর্মক্ষমতা অর্জন করেছে, তবে গণনামূলক খরচ উল্লেখযোগ্যভাবে বৃদ্ধি পায়। টোকেন হ্রাস প্রক্রিয়ায় তথ্য হারানোর সমস্যা সমাধানের জন্য, এই পেপারটি ক্রস-লেয়ার সমন্বয় শ্রেণীবিভাগ শিরোনাম (CLA) এবং ক্রস-লেয়ার ক্যাশ প্রক্রিয়া (CLC) প্রস্তাব করে। ২০০০ এর বেশি পরীক্ষার মাধ্যমে যাচাই করা হয়েছে যে এই পদ্ধতিটি টোকেন ধারণ হার ১০% এর চরম ক্ষেত্রে, বর্তমান অত্যাধুনিক পদ্ধতির সাথে তুলনীয় নির্ভুলতা বজায় রাখতে পারে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

১. মূল সমস্যা: অতি-সূক্ষ্ম-দানাদার ইমেজ স্বীকৃতি (UFGIR) তে Vision Transformer এর গণনামূলক দক্ষতা সমস্যা ২. কাজের বৈশিষ্ট্য: UFGIR ঐতিহ্যবাহী সূক্ষ্ম-দানাদার স্বীকৃতির চেয়ে আরও কঠিন, একই প্রজাতির মধ্যে উপ-শ্রেণী পার্থক্য প্রয়োজন (যেমন উদ্ভিদ বৈচিত্র্য) ३. বিদ্যমান চ্যালেঞ্জ:

ViT FGIR কাজে চমৎকার পারফরম্যান্স দেখায়, কিন্তু গণনামূলক জটিলতা O(N²) বা এমনকি O(N³)
উচ্চ-রেজোলিউশন ইমেজ সূক্ষ্ম-দানাদার স্বীকৃতির জন্য গুরুত্বপূর্ণ, কিন্তু গণনামূলক বোঝা আরও বৃদ্ধি করে
টোকেন হ্রাস প্রযুক্তি গণনামূলক খরচ কমাতে পারে, কিন্তু গুরুত্বপূর্ণ বৈষম্যমূলক তথ্য হারায়

গবেষণা প্রেরণা

বিদ্যমান টোকেন হ্রাস পদ্ধতিগুলি গণনামূলক খরচ কমানোর সাথে সাথে অনিবার্যভাবে সূক্ষ্ম-দানাদার শ্রেণীবিভাগের জন্য গুরুত্বপূর্ণ তথ্য হারায়। বিশেষত যখন টোকেন ধারণ হার হ্রাস পায়, এই তথ্য ক্ষতি আরও গুরুতর হয়, যা মডেলের শ্রেণীবিভাগ কর্মক্ষমতা প্রভাবিত করে।

মূল অবদান

১. ক্রস-লেয়ার সমন্বয় (CLA) শ্রেণীবিভাগ শিরোনাম প্রস্তাব: Transformer মধ্যবর্তী স্তরের বৈশিষ্ট্যগুলি সরাসরি শ্রেণীবিভাগ মডিউলে একীভূত করে, আরও সমৃদ্ধ বৈষম্যমূলক তথ্য প্রদান করে २. ক্রস-লেয়ার ক্যাশ (CLC) প্রক্রিয়া ডিজাইন: পূর্ববর্তী স্তরের গুরুত্বপূর্ণ তথ্য সংরক্ষণ এবং পুনরুদ্ধার করে, টোকেন হ্রাস প্রক্রিয়ায় তথ্য ক্ষতি ক্ষতিপূরণ করে ३. প্লাগ-এন্ড-প্লে CLCA ফ্রেমওয়ার্ক তৈরি: CLA এবং CLC এর সম্পূর্ণ পদ্ধতি, একাধিক টোকেন হ্রাস প্রযুক্তির সাথে সামঞ্জস্যপূর্ণ ४. বৃহৎ-স্কেল পরীক্ষা যাচাইকরণ: ৫টি ডেটাসেট, ৯টি ব্যাকবোন নেটওয়ার্ক, ৭টি টোকেন হ্রাস পদ্ধতিতে ২০০০ এর বেশি পরীক্ষা পরিচালনা করে পদ্ধতির কার্যকারিতা এবং সর্বজনীনতা প্রমাণ করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট: উচ্চ-রেজোলিউশন ইমেজ I ∈ R^(H×W×3) আউটপুট: অতি-সূক্ষ্ম-দানাদার শ্রেণী পূর্বাভাস y ∈ {1,2,...,C} সীমাবদ্ধতা: উচ্চ নির্ভুলতা বজায় রেখে গণনামূলক খরচ (FLOPs) উল্লেখযোগ্যভাবে হ্রাস করা

মডেল স্থাপত্য

१. Vision Transformer এনকোডার গ্রুপ

ইমেজটি P×P আকারের প্যাচে বিভক্ত করে, N=(S₁/P)×(S₂/P) দৈর্ঘ্যের ক্রমে সমতল করে
শেখার যোগ্য CLS টোকেন এবং অবস্থান এনকোডিং যোগ করে
L স্তরের transformer এনকোডারকে g গ্রুপে বিভক্ত করে, প্রতিটি গ্রুপে মাল্টি-হেড স্ব-মনোযোগ (MHSA) এবং অবস্থান ফিডফরওয়ার্ড নেটওয়ার্ক (PWFFN) অন্তর্ভুক্ত
প্রতিটি গ্রুপের শেষ স্তরে টোকেন হ্রাস অপারেশন প্রয়োগ করে

२. ক্রস-লেয়ার সমন্বয় (CLA) শ্রেণীবিভাগ শিরোনাম

CLA শিরোনামের মূল ডিজাইনে অন্তর্ভুক্ত:

ইনপুট: বিভিন্ন এনকোডার গ্রুপের CLS টোকেন আউটপুট
१. বৈশিষ্ট্য সংযোগ এবং পুনর্গঠন: CLS ∈ R^(D×g)
२. ব্যাচ স্বাভাবিকীকরণ প্রক্রিয়াকরণ
३. গভীর কনভোলিউশন সমন্বয়: Agg = DWConv(BN([CLS_G1; CLS_G2; ...; CLS_Gg]))
४. অ-রৈখিক সক্রিয়করণ: BatchNorm এবং GELU এর মাধ্যমে জটিল সম্পর্ক মডেলিং
५. পয়েন্ট কনভোলিউশন শ্রেণীবিভাগ: preds = PWConv(GELU(BN(Agg)))

३. ক্রস-লেয়ার ক্যাশ (CLC) প্রক্রিয়া

CLC এর কর্মপ্রবাহ:

ক্যাশিং পর্যায়:

প্রতিটি transformer এনকোডার ব্লকের পরে, স্থানীয় বৈশিষ্ট্যের গ্লোবাল গড় পুলিং (GAP) সংরক্ষণ করে
শেখার যোগ্য ক্রস-লেয়ার রেজিস্টার (CLR) টোকেন প্রবর্তন করে, ক্রস-লেয়ার বৈষম্যমূলক তথ্য সমন্বয় করে
GAP বৈশিষ্ট্য এবং CLR টোকেন ক্যাশে সংরক্ষণ করে

পুনরুদ্ধার পর্যায়:

টোকেন হ্রাস অবস্থানের পরে বা শেষ স্তরের আগে, CLC থেকে সংরক্ষিত তথ্য পুনরুদ্ধার করে
পুনরুদ্ধৃত টোকেন মূল ক্রমে যোগ করে
পুনরাবৃত্তি ব্যবহার এড়াতে ক্যাশ খালি করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. তথ্য সংরক্ষণ কৌশল: ক্যাশিং প্রক্রিয়ার মাধ্যমে টোকেন হ্রাসে হারানো গুরুত্বপূর্ণ তথ্য সংরক্ষণ করে २. ক্রস-লেয়ার বৈশিষ্ট্য সংমিশ্রণ: বিভিন্ন গভীরতার বৈশিষ্ট্য সরাসরি শ্রেণীবিভাগ সিদ্ধান্তে একীভূত করে ३. প্লাগ-এন্ড-প্লে ডিজাইন: বিদ্যমান একাধিক টোকেন হ্রাস পদ্ধতির সাথে নির্বিঘ্নে একীভূত হতে পারে ४. গ্রেডিয়েন্ট অপ্টিমাইজেশন: skip connection এর মতো ডিজাইন প্রশিক্ষণ স্থিতিশীলতা উন্নত করে

পরীক্ষা সেটআপ

ডেটাসেট

৫টি অতি-সূক্ষ্ম-দানাদার পাতার ডেটাসেট ব্যবহার করে:

SoyGene: সয়াবিন জিনোটাইপ শ্রেণীবিভাগ
SoyLocal: স্থানীয় সয়াবিন বৈচিত্র্য
SoyAgeing: সয়াবিন বয়স পর্যায়
SoyGlobal: বৈশ্বিক সয়াবিন বৈচিত্র্য
Cotton: তুলা বৈচিত্র্য

প্রতিটি শ্রেণী জিন সম্পদ লাইব্রেরি থেকে প্রাপ্ত নিশ্চিত বৈচিত্র্য নাম প্রতিনিধিত্ব করে।

মূল্যায়ন মেট্রিক্স

প্রধান মেট্রিক: শীর্ষ-१ নির্ভুলতা (%)
দক্ষতা মেট্রিক: FLOPs (ফ্লোটিং পয়েন্ট অপারেশন সংখ্যা)
পরিসংখ্যান পদ্ধতি: ३টি র্যান্ডম সিড এর গড় ফলাফল

তুলনামূলক পদ্ধতি

SOTA পদ্ধতি: ViT, DeiT, TransFG, SIM-Tr, CSDNet টোকেন হ্রাস পদ্ধতি:

স্ট্যাটিক প্রুনিং: DynamicViT
ডায়নামিক প্রুনিং: ATS
সফট মার্জিং: SiT, PatchMerger
হার্ড মার্জিং: DPCKNN, ToMe
মনোযোগ-চালিত: EViT

বাস্তবায়ন বিবরণ

অপ্টিমাইজার: AdamW
প্রশিক্ষণ যুগ: ५० epochs
ওজন ক্ষয়: ०.०५
ব্যাচ আকার: ३२
ইমেজ আকার: २२४×२२४, ४४८×४४८
ব্যাকবোন নেটওয়ার্ক: ९টি প্রি-প্রশিক্ষিত মডেল (ViT, DeiT3, MIIL, MoCov3, DINO, MAE, CLIP ইত্যাদি)
ধারণ হার: १००%, ७०%, ५०%, २५%, १०%
টোকেন হ্রাস অবস্থান: ४র্থ, ७ম, १०ম স্তর (१२ স্তর ViT B-१६)

পরীক্ষা ফলাফল

প্রধান ফলাফল

পদ্ধতি	Cotton	SoyAgeing	SoyGlobal	FLOPs (10⁹)
ViT	५२.५	६७.०	४०.६	७८.५
DeiT	५४.२	६९.५	४५.३	७८.५
TransFG	५४.६	७२.२	२१.२	४४७.९
CSDNet	५७.९	७५.४	५६.३	७८.५
CLCA (१०%)	५५.६	८७.४	६१.१	२५.२
CLCA (७०%)	६७.८	८८.३	५८.२	५०.९

মূল আবিষ্কার:

CLCA १०% ধারণ হারে সম্পূর্ণ মডেলের সাথে তুলনীয় কর্মক্ষমতা অর্জন করতে পারে
SoyAgeing ডেটাসেটে, CLCA(१०%) সেরা বেসলাইন পদ্ধতির চেয়ে १२% উন্নতি করে
গণনামূলক খরচ মূলের ३२% এ হ্রাস পায় (२५.२ বনাম ७८.५ FLOPs)

অ্যাবলেশন পরীক্ষা

গ্রেডিয়েন্ট বিশ্লেষণের মাধ্যমে CLCA এর কার্যকারিতা যাচাই করা হয়েছে:

প্রশিক্ষণ স্থিতিশীলতা: CLCA গ্রেডিয়েন্টের স্থিতিশীলতা উল্লেখযোগ্যভাবে উন্নত করে, প্রশিক্ষণ প্রক্রিয়ায় কম্পন হ্রাস করে
বৈশিষ্ট্য পুনর্ব্যবহার: ক্রস-লেয়ার সংযোগ বৈশিষ্ট্য পুনর্ব্যবহার প্রচার করে, ResNet এ skip connection এর মতো
গভীরতা তত্ত্বাবধান: মধ্যবর্তী স্তরের বৈশিষ্ট্যের সরাসরি ব্যবহার অন্তর্নিহিত গভীরতা তত্ত্বাবধান প্রদান করে

সাধারণীকরণ যাচাইকরণ

বিভিন্ন টোকেন হ্রাস পদ্ধতিতে পরীক্ষা নির্দেশ করে:

CLCA ७টি ভিন্ন প্যারাডাইমের টোকেন হ্রাস পদ্ধতির সাথে সামঞ্জস্যপূর্ণ
९টি ভিন্ন প্রি-প্রশিক্ষিত ব্যাকবোন নেটওয়ার্কে সব উন্নতি দেখায়
কর্মক্ষমতা উন্নতি বিভিন্ন ধারণ হার (२५%, ५०%, ७०%) এ সামঞ্জস্যপূর্ণ থাকে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. দক্ষতা উন্নতি: CLCA অত্যন্ত কম টোকেন ধারণ হার (१०%) এ প্রতিযোগিতামূলক কর্মক্ষমতা বজায় রাখতে পারে २. সর্বজনীনতা: পদ্ধতি একাধিক টোকেন হ্রাস প্রযুক্তি এবং ব্যাকবোন নেটওয়ার্কের সাথে সামঞ্জস্যপূর্ণ ३. ব্যবহারিক মূল্য: সম্পদ-সীমিত পরিবেশে সূক্ষ্ম-দানাদার স্বীকৃতির জন্য কার্যকর সমাধান প্রদান করে

সীমাবদ্ধতা

१. অতিরিক্ত স্টোরেজ ওভারহেড: CLC প্রক্রিয়া মধ্যবর্তী বৈশিষ্ট্য সংরক্ষণের জন্য অতিরিক্ত মেমরি প্রয়োজন २. হাইপারপ্যারামিটার সংবেদনশীলতা: ক্যাশিং কৌশল এবং সমন্বয় পদ্ধতি বিভিন্ন কাজের জন্য সমন্বয় প্রয়োজন হতে পারে ३. ডেটাসেট সীমাবদ্ধতা: প্রধানত পাতার ডেটাসেটে যাচাই করা হয়েছে, অন্যান্য সূক্ষ্ম-দানাদার ক্ষেত্রে সাধারণীকরণ যাচাই করা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. স্ব-অভিযোজনশীল ক্যাশিং কৌশল: কাজের বৈশিষ্ট্য অনুযায়ী ক্যাশ সামগ্রী এবং সময় গতিশীলভাবে সমন্বয় করে २. আরও দক্ষ সমন্বয় প্রক্রিয়া: হালকা-ওজনের ক্রস-লেয়ার বৈশিষ্ট্য সংমিশ্রণ পদ্ধতি অন্বেষণ করে ३. মাল্টি-মোডাল সম্প্রসারণ: পদ্ধতি মাল্টি-মোডাল সূক্ষ্ম-দানাদার স্বীকৃতি কাজে প্রসারিত করে

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো টোকেন হ্রাসে তথ্য ক্ষতির সমস্যা সিস্টেমেটিকভাবে সমাধান করে २. পর্যাপ্ত পরীক্ষা: २००० এর বেশি পরীক্ষা একাধিক মাত্রা কভার করে, ফলাফল বিশ্বাসযোগ্য ३. উচ্চ ব্যবহারিক মূল্য: প্লাগ-এন্ড-প্লে ডিজাইন ব্যবহারিক প্রয়োগ সহজ করে ४. দৃঢ় তাত্ত্বিক ভিত্তি: গ্রেডিয়েন্ট অপ্টিমাইজেশন এবং বৈশিষ্ট্য পুনর্ব্যবহার দৃষ্টিকোণ থেকে পদ্ধতির কার্যকারিতা ব্যাখ্যা করে

অপূর্ণতা

१. স্টোরেজ ওভারহেড: CLC প্রক্রিয়া মেমরি ব্যবহার বৃদ্ধি করে, কিছু দক্ষতা লাভ অফসেট করতে পারে २. জটিলতা: অতিরিক্ত হাইপারপ্যারামিটার এবং ডিজাইন পছন্দ প্রবর্তন করে ३. ডোমেইন বিশেষত্ব: প্রধানত কৃষি-সম্পর্কিত পাতার স্বীকৃতিতে যাচাই করা হয়েছে, সাধারণীকরণ সীমিত

প্রভাব

१. একাডেমিক মূল্য: টোকেন হ্রাস ক্ষেত্রে নতুন চিন্তাভাবনা এবং সমাধান প্রদান করে २. ব্যবহারিক তাৎপর্য: সম্পদ-সীমিত এজ কম্পিউটিং এবং মোবাইল অ্যাপ্লিকেশনের জন্য গুরুত্বপূর্ণ মূল্য রাখে ३. পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ কোড বাস্তবায়ন প্রদান করে, পরবর্তী গবেষণা সহজ করে

প্রযোজ্য দৃশ্যকল্প

१. এজ কম্পিউটিং: গণনামূলক সম্পদ সীমিত মোবাইল ডিভাইস এবং এমবেডেড সিস্টেম २. রিয়েল-টাইম অ্যাপ্লিকেশন: দ্রুত প্রতিক্রিয়া প্রয়োজনীয় সূক্ষ্ম-দানাদার স্বীকৃতি কাজ ३. বৃহৎ-স্কেল স্থাপনা: বিপুল সংখ্যক ডিভাইসে স্থাপনা প্রয়োজনীয় কৃষি পর্যবেক্ষণ সিস্টেম ४. গবেষণা প্ল্যাটফর্ম: অন্যান্য টোকেন হ্রাস পদ্ধতির বর্ধন মডিউল হিসাবে

রেফারেন্স

এই পেপারটি ३२টি গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যা সূক্ষ্ম-দানাদার স্বীকৃতি, Vision Transformer, টোকেন হ্রাস এবং অন্যান্য মূল ক্ষেত্রের ক্লাসিক কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।