সাধারণত্ব-ভিত্তিক গ্রেডিয়েন্ট অপ্টিমাইজেশনের মাধ্যমে প্রতিকূল স্থানান্তরযোগ্যতা বৃদ্ধি

মৌলিক তথ্য

• পেপার আইডি: 2506.06992
• শিরোনাম: সাধারণত্ব-ভিত্তিক গ্রেডিয়েন্ট অপ্টিমাইজেশনের মাধ্যমে প্রতিকূল স্থানান্তরযোগ্যতা বৃদ্ধি
• লেখক: ইয়ান্টিং গাও, ইয়েপেং লিউ, জুনমিং লিউ, কি ঝাং, হংইউন ঝাং, ডুওকিয়ান মিয়াও, কেরং ঝাও
• অনুষদ: টংজি বিশ্ববিদ্যালয়, ফ্লোরিডা বিশ্ববিদ্যালয়
• শ্রেণীবিভাগ: cs.CV (কম্পিউটার দৃষ্টিভঙ্গি)
• প্রকাশনার সময়: ২০২৫ সালের ১২ অক্টোবর (arXiv প্রাক-প্রিন্ট v2)
• পেপার লিঙ্ক: https://arxiv.org/abs/2506.06992

সারসংক্ষেপ

Vision Transformers (ViTs) এর বৈশিষ্ট্য এবং প্রক্রিয়া বোঝার জন্য কার্যকর এবং স্থানান্তরযোগ্য প্রতিকূল নমুনা অন্বেষণ করা অত্যন্ত গুরুত্বপূর্ণ। তবে প্রক্সি মডেল দ্বারা উৎপাদিত প্রতিকূল নমুনাগুলি কালো বাক্স সেটিংসে অতিফিটিংয়ের কারণে দুর্বল স্থানান্তরযোগ্যতা প্রদর্শন করে। বিদ্যমান পদ্ধতিগুলি বিরক্তিকর ইনপুট বৈচিত্র্যময় করে বা প্রক্সি মডেলের মধ্যে একীভূত গ্রেডিয়েন্ট নিয়মিতকরণ প্রয়োগ করে স্থানান্তরযোগ্যতা উন্নত করে, কিন্তু একই কাজে প্রশিক্ষিত প্রক্সি মডেলগুলির ভাগ করা এবং অনন্য বৈশিষ্ট্যগুলি সম্পূর্ণরূপে ব্যবহার করতে ব্যর্থ হয়, যার ফলে স্থানান্তর কর্মক্ষমতা উপ-সর্বোত্তম হয়। অতএব, প্রক্সি মডেলগুলির ভাগ করা তথ্য বৃদ্ধি করে এমন বিরক্তিকর এবং ব্যক্তিগত বৈশিষ্ট্যগুলির সাথে সম্পর্কিত বিরক্তিকর দমন করা স্থানান্তরযোগ্যতা উন্নত করার একটি কার্যকর পথ প্রদান করে। এই ভিত্তিতে, আমরা একটি সাধারণত্য-ভিত্তিক গ্রেডিয়েন্ট অপ্টিমাইজেশন কৌশল (COGO) প্রস্তাব করি, যা দুটি উপাদান নিয়ে গঠিত: সাধারণত্য বৃদ্ধি (CE) এবং ব্যক্তিত্ব দমন (IS)। CE নিম্ন ফ্রিকোয়েন্সি অঞ্চলে বিরক্তিকর, এই সত্যটি ব্যবহার করে যে একই ডেটাসেটে প্রশিক্ষিত ViTs শ্রেণীবিভাগের জন্য মধ্য-নিম্ন ফ্রিকোয়েন্সি তথ্যের উপর আরও বেশি নির্ভর করে। IS ব্যাকপ্রপাগেশন গ্রেডিয়েন্ট এবং মডেল ব্যক্তিত্বের মধ্যে সম্পর্ক মূল্যায়ন করতে অভিযোজিত থ্রেশহোল্ড ব্যবহার করে, সেই অনুযায়ী গ্রেডিয়েন্টের জন্য ওজন বরাদ্দ করে। ব্যাপক পরীক্ষা দেখায় যে COGO প্রতিকূল আক্রমণের স্থানান্তর সাফল্যের হার উল্লেখযোগ্যভাবে উন্নত করে, বর্তমান অত্যাধুনিক পদ্ধতিগুলিকে ছাড়িয়ে যায়।

গবেষণা পটভূমি এবং প্রেরণা

১. গবেষণা সমস্যা

এই পত্রটি প্রধানত Vision Transformers (ViTs) প্রতিকূল আক্রমণে স্থানান্তরযোগ্যতা সমস্যা সমাধান করে। নির্দিষ্টভাবে, প্রক্সি মডেল ব্যবহার করে অজানা লক্ষ্য মডেল আক্রমণ করার জন্য প্রতিকূল নমুনা উৎপাদন করার সময়, উৎপাদিত প্রতিকূল নমুনাগুলি প্রায়শই লক্ষ্য মডেলে কার্যকরভাবে স্থানান্তরিত হতে পারে না, যার ফলে আক্রমণ ব্যর্থ হয়।

২. সমস্যার গুরুত্ব

• নিরাপত্তা-সমালোচনামূলক অ্যাপ্লিকেশন: ViTs নিরাপত্তা-সমালোচনামূলক অ্যাপ্লিকেশনে নির্ভরযোগ্যতা প্রতিকূল আক্রমণ দ্বারা গুরুতরভাবে হুমকির সম্মুখীন
• কালো বাক্স আক্রমণের বাস্তবতা: বাস্তব পরিস্থিতিতে, আক্রমণকারীরা সাধারণত লক্ষ্য মডেলের অভ্যন্তরীণ কাঠামো অ্যাক্সেস করতে পারে না, যা স্থানান্তরযোগ্যতাকে মূল করে তোলে
• মডেল দৃঢ়তা মূল্যায়ন: প্রতিকূল নমুনার স্থানান্তরযোগ্যতা বোঝা মডেলের দৃঢ়তা মূল্যায়ন এবং উন্নত করতে সহায়তা করে

৩. বিদ্যমান পদ্ধতির সীমাবদ্ধতা

• অতিফিটিং: বিদ্যমান পদ্ধতি দ্বারা উৎপাদিত প্রতিকূল নমুনাগুলিতে প্রক্সি মডেল-নির্দিষ্ট তথ্য অত্যধিক থাকে, যার ফলে সাধারণীকরণ ক্ষমতা দুর্বল হয়
• একীভূত চিকিত্সা: TGR এবং GNS-HFA এর মতো পদ্ধতিগুলি শুধুমাত্র পরিসংখ্যানগত বৈশিষ্ট্যের উপর ভিত্তি করে গ্রেডিয়েন্ট সামঞ্জস্য করে, গ্রেডিয়েন্ট এবং মডেল-নির্দিষ্ট বৈশিষ্ট্যের মধ্যে সম্পর্ক বিবেচনা করে না
• ফ্রিকোয়েন্সি ডোমেইন অপ্রয়োজনীয় ব্যবহার: HFA এর মতো পদ্ধতিগুলি শুধুমাত্র উচ্চ-ফ্রিকোয়েন্সি উপাদানগুলিতে ফোকাস করে, ViTs মধ্য-নিম্ন ফ্রিকোয়েন্সি তথ্যের উপর আরও বেশি নির্ভর করে এই বিষয়টি উপেক্ষা করে

৪. গবেষণা প্রেরণা

লেখকরা পর্যবেক্ষণ করেছেন যে একই ডেটাসেটে প্রশিক্ষিত বিভিন্ন ViTs যদিও স্থাপত্য পার্থক্য রয়েছে, তবে সিদ্ধান্ত গ্রহণের প্যাটার্নে সাধারণত্ব রয়েছে, বিশেষ করে মধ্য-নিম্ন ফ্রিকোয়েন্সি তথ্যের উপর নির্ভরতা। অতএব, সাধারণ বৈশিষ্ট্যগুলি বৃদ্ধি করে এবং ব্যক্তিগত বৈশিষ্ট্যগুলি দমন করে, আরও স্থানান্তরযোগ্য প্রতিকূল নমুনা উৎপাদন করা যায়।

মূল অবদান

১. সাধারণত্য-ভিত্তিক অপ্টিমাইজেশন কৌশল প্রস্তাব: প্রথমবারের মতো গ্রেডিয়েন্ট এবং মডেল বৈশিষ্ট্যের মধ্যে সম্পর্ক বিবেচনা করে, ঐতিহ্যবাহী একীভূত গ্রেডিয়েন্ট সমন্বয় পদ্ধতির বাইরে যায় २. COGO ফ্রেমওয়ার্ক ডিজাইন: সাধারণত্য বৃদ্ধি (CE) এবং ব্যক্তিত্ব দমন (IS) দুটি উপাদান একত্রিত করে, ফ্রিকোয়েন্সি ডোমেইন শক্তি বৃদ্ধি এবং অভিযোজিত থ্রেশহোল্ড প্রক্রিয়া ব্যবহার করে ३. উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: একাধিক বেঞ্চমার্ক পরীক্ষায় বিদ্যমান অত্যাধুনিক পদ্ধতিগুলিকে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়, GNS-HFA এবং ATT অন্তর্ভুক্ত ४. ব্যাপক পরীক্ষা যাচাইকরণ: ViT মধ্যে স্থানান্তর এবং ViT থেকে CNN এর ক্রস-আর্কিটেকচার স্থানান্তরে উভয়ই চমৎকার কর্মক্ষমতা অর্জন করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

পরিষ্কার ইনপুট ছবি $X_{clean} \in \mathbb{R}^N$ দেওয়া, লক্ষ্য হল প্রতিকূল বিরক্তিকর $\delta$ উৎপাদন করা, যাতে $X_{adv} = X_{clean} + \delta$ প্রক্সি মডেলে সফলভাবে আক্রমণ করতে পারে এবং অজানা লক্ষ্য মডেলে ভাল কালো বাক্স স্থানান্তরযোগ্যতা থাকে।

মডেল স্থাপত্য

COGO কৌশলে দুটি মূল উপাদান রয়েছে:

১. সাধারণত্য বৃদ্ধি (Commonality Enhancement, CE)

CE মডিউল ফরওয়ার্ড প্রপাগেশন প্রক্রিয়ায় মধ্য-নিম্ন ফ্রিকোয়েন্সি উপাদান বৃদ্ধি করে:

ধাপ ১: বর্তমান বিরক্তিকর এবং গাউসিয়ান শব্দ যোগ করুন

X = X_clean + δ
X_DCT = DCT(X + ε), যেখানে ε ~ N(0, I_N)

ধাপ ২: শক্তি বিতরণ গণনা করুন এবং বৃদ্ধি করুন

E(X_DCT) = Normalize(|X_DCT|)
X'_DCT = X_DCT · (1 + γ · E(X_DCT))

ধাপ ३: স্থান ডোমেইনে রূপান্তর করুন এবং স্থানিক মুখোশ প্রয়োগ করুন

X_IDCT = IDCT(X'_DCT · M)

যেখানে γ বৃদ্ধি শক্তি নিয়ন্ত্রণ করে, M হল HFA থেকে উত্তরাধিকার স্থানিক মুখোশ।

२. ব্যক্তিত্ব দমন (Individuality Suppression, IS)

IS মডিউল ব্যাকপ্রপাগেশন প্রক্রিয়ায় প্রক্সি মডেল-নির্দিষ্ট গ্রেডিয়েন্ট দমন করে:

অপ্রয়োজনীয় বৈশিষ্ট্যের দমন:

• চ্যানেল মধ্যে অপ্রয়োজনীয়তা পরিমাপ করতে পারস্পরিক তথ্য (MI) এবং পিয়ার্সন সম্পর্ক সহগ (PC) ব্যবহার করুন
• অভিযোজিত থ্রেশহোল্ড: $\tau_{MI} = \beta_{MI} \cdot \text{mean}(MI(G_i^{(l)}, G_j^{(l)}))$
• ওজন গণনা: $w_i = \max(0.1, 1 - \alpha \sum_{(i,j) \in P} (t_{i,j}^{MI} + t_{i,j}^{corr}))$
• গ্রেডিয়েন্ট সমন্বয়: $\tilde{G}_i^{(l)} = G_i^{(l)} \cdot w_i$

অতিরিক্ত জ্ঞানের দমন:

• ডেটা-দক্ষ ViTs এ পাতন টোকেনের মতো অতিরিক্ত টোকেনের জন্য
• স্কেলিং ফ্যাক্টর: $c = \sigma(\frac{\|G_{additional}^{(l)}\|_2}{\|G_{primary}^{(l)}\|_2})$
• গ্রেডিয়েন্ট সমন্বয়: $\tilde{G}_{additional}^{(l)} = c \cdot G_{additional}^{(l)}$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. ফ্রিকোয়েন্সি ডোমেইন সাধারণত্ব ব্যবহার: HFA শুধুমাত্র উচ্চ ফ্রিকোয়েন্সিতে ফোকাস করার বিপরীতে, CE ViTs নির্ভর করে এমন মধ্য-নিম্ন ফ্রিকোয়েন্সি উপাদান লক্ষ্যভাবে বৃদ্ধি করে २. অভিযোজিত গ্রেডিয়েন্ট দমন: IS অভিযোজিত থ্রেশহোল্ড ব্যবহার করে স্থির থ্রেশহোল্ডের পরিবর্তে, মডেল-নির্দিষ্ট গ্রেডিয়েন্ট আরও ভালভাবে চিহ্নিত এবং দমন করে ३. দ্বৈত অপ্টিমাইজেশন কৌশল: CE এবং IS ফরওয়ার্ড এবং ব্যাকওয়ার্ড দুটি দিক থেকে সহযোগিতামূলকভাবে অপ্টিমাইজ করে, পরিপূরক প্রভাব গঠন করে

পরীক্ষা সেটআপ

ডেটাসেট

• ILSVRC 2012 যাচাইকরণ সেট: ১০০০টি ছবি র্যান্ডমলি নমুনা করা হয়েছে, এটি স্থানান্তর আক্রমণ গবেষণার মান সেটআপ
• TGR এর মতো পূর্ববর্তী কাজের পরীক্ষা প্রোটোকল অনুসরণ করুন

মূল্যায়ন মেট্রিক্স

• আক্রমণ সাফল্যের হার (ASR): $\text{ASR} = \frac{\text{সফল আক্রমণের সংখ্যা}}{\text{মোট আক্রমণের সংখ্যা}} \times 100\%$
• প্রতিকূল নমুনা লক্ষ্য মডেলকে ভুল শ্রেণীবিভাগ করতে প্রেরণা করার অনুপাত পরিমাপ করুন

তুলনা পদ্ধতি

• প্রধান বেসলাইন: TGR (ViTs এর জন্য বিশেষভাবে ডিজাইন করা)
• সর্বশেষ পদ্ধতি: GNS-HFA, ATT
• ক্লাসিক পদ্ধতি: MIM, SINI-FGSM, PNA, SSA

পরীক্ষা মডেল

• প্রক্সি মডেল: Visformer-S, DeiT-B, CaiT-S/24, ViT-B/16
• ViT লক্ষ্য মডেল: TNT-S, ConViT-B ইত্যাদি
• CNN লক্ষ্য মডেল: Inception-v3, Inception-v4, Inception-ResNet-v2, ResNet-101
• প্রতিরক্ষা মডেল: প্রতিকূল প্রশিক্ষিত সমন্বিত মডেল

বাস্তবায়ন বিবরণ

• আক্রমণ পুনরাবৃত্তি সংখ্যা: ১০ বার
• সর্বাধিক $\ell_\infty$ বিরক্তিকর: $\epsilon = 8$ (০-२५५ স্কেল)
• মূল হাইপারপ্যারামিটার: $\gamma = 1$, $\alpha = 0.1$, $\beta_{MI} = 0.5$, $\beta_{corr} = 0.7$

পরীক্ষা ফলাফল

প্রধান ফলাফল

ViT মধ্যে স্থানান্তর কর্মক্ষমতা:

• GNS-HFA এর তুলনায় গড়ে ७.२% উন্নতি
• ATT এর তুলনায় গড়ে १०.१% উন্নতি
• পরীক্ষিত সমস্ত ViT আর্কিটেকচারে সর্বোত্তম কর্মক্ষমতা অর্জন করেছে

ক্রস-আর্কিটেকচার স্থানান্তর কর্মক্ষমতা (ViT → CNN):

• GNS-HFA এর তুলনায় গড়ে २.३% উন্নতি
• ATT এর তুলনায় গড়ে १०.५% উন্নতি
• প্রতিরক্ষা মডেলের জন্যও ভাল আক্রমণ প্রভাব বজায় রাখে

নির্দিষ্ট সংখ্যা উদাহরণ (Visformer-S প্রক্সি মডেল হিসাবে):

অপসারণ পরীক্ষা

CE এবং IS উপাদান অবদান:

মূল আবিষ্কার:

• CE উপাদান বৃহত্তর অবদান রাখে, ফ্রিকোয়েন্সি ডোমেইন বৃদ্ধির গুরুত্ব প্রমাণ করে
• IS উপাদান কার্যকর পরিপূরক প্রদান করে, উভয় একসাথে সর্বোত্তম প্রভাব
• সমস্ত ধরনের মডেলে উল্লেখযোগ্য উন্নতি

হাইপারপ্যারামিটার সংবেদনশীলতা:

• বৃদ্ধি সহগ γ = 1 এ সর্বোত্তম প্রভাব
• পুনরাবৃত্তি সংখ্যা N = 10 এ কর্মক্ষমতা ভারসাম্য অর্জন করে
• চ্যানেল জোড়ার সংখ্যা ফলাফলে সামান্য প্রভাব ফেলে, পদ্ধতির দৃঢ়তা প্রমাণ করে

গ্রেডিয়েন্ট বিশ্লেষণ

গ্রেডিয়েন্ট বিচ্ছুরণ সূচক মাধ্যমে বিশ্লেষণ আবিষ্কার করে:

• COGO গ্রেডিয়েন্ট বিতরণকে আরও সমান এবং বৈচিত্র্যময় করে তোলে
• প্রক্সি মডেল-নির্দিষ্ট বৈশিষ্ট্যের উপর নির্ভরতা হ্রাস করে
• CE এবং IS এর পরিপূরকতা বিভিন্ন স্তরে স্পষ্ট

সম্পর্কিত কাজ

ViT প্রতিকূল আক্রমণ গবেষণা

• প্রাথমিক পদ্ধতি: প্রধানত CNN এর জন্য ডিজাইন করা, যেমন BIM, PGD, MIM
• ইনপুট রূপান্তর পদ্ধতি: DIM, TIM ইনপুট রূপান্তরের মাধ্যমে স্থানান্তরযোগ্যতা বৃদ্ধি করে
• ফ্রিকোয়েন্সি ডোমেইন পদ্ধতি: SSA ফ্রিকোয়েন্সি ডোমেইন দুর্বলতা অন্বেষণ করে, কিন্তু ViTs এর জন্য অপ্টিমাইজ করা হয়নি

ViT নির্দিষ্ট পদ্ধতি

• TGR: চরম গ্রেডিয়েন্ট দমন করে বৈচিত্র্য হ্রাস করে
• GNS-HFA: গ্রেডিয়েন্টকে গাউসিয়ান বিতরণে নিয়মিত করে এবং উচ্চ ফ্রিকোয়েন্সি বৃদ্ধি করে
• এই পত্রের অবদান: প্রথমবারের মতো গ্রেডিয়েন্ট এবং মডেল বৈশিষ্ট্যের মধ্যে সম্পর্ক বিবেচনা করে, সাধারণত্য-ভিত্তিক অপ্টিমাইজেশন প্রস্তাব করে

ViT স্থাপত্য বিশ্লেষণ

লেখকরা ViT ভেরিয়েন্টগুলিকে দুটি শ্রেণীতে বিভক্ত করেন: १. গণনা দক্ষতা ধরনের: Visformer, PiT ইত্যাদি, মনোযোগ অপারেশন সরলীকরণ করে २. ডেটা দক্ষতা ধরনের: DeiT, CaiT ইত্যাদি, জ্ঞান পাতন ইত্যাদির মাধ্যমে প্রতিনিধিত্ব ক্ষমতা বৃদ্ধি করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. সাধারণত্য-ভিত্তিক অপ্টিমাইজেশন কার্যকর: মডেল মধ্যে সাধারণত্ব বৃদ্ধি এবং ব্যক্তিত্ব দমন করে, প্রতিকূল নমুনার স্থানান্তরযোগ্যতা উল্লেখযোগ্যভাবে উন্নত করে २. ফ্রিকোয়েন্সি ডোমেইন কৌশল গুরুত্বপূর্ণ: ViTs বৈশিষ্ট্যের জন্য লক্ষ্যভিত্তিক মধ্য-নিম্ন ফ্রিকোয়েন্সি বৃদ্ধি ঐতিহ্যবাহী উচ্চ ফ্রিকোয়েন্সি পদ্ধতির চেয়ে আরও কার্যকর ३. অভিযোজিত দমন উচ্চতর: গ্রেডিয়েন্ট-বৈশিষ্ট্য সম্পর্কের উপর ভিত্তি করে অভিযোজিত দমন একীভূত সমন্বয়ের চেয়ে উচ্চতর ४. ক্রস-আর্কিটেকচার সাধারণীকরণ: পদ্ধতি ViT মধ্যে এবং ViT থেকে CNN এর স্থানান্তরে উভয়ই চমৎকার কর্মক্ষমতা প্রদর্শন করে

সীমাবদ্ধতা

१. গণনা ওভারহেড: ফ্রিকোয়েন্সি ডোমেইন রূপান্তর এবং গ্রেডিয়েন্ট বিশ্লেষণ গণনা খরচ বৃদ্ধি করে २. হাইপারপ্যারামিটার সংবেদনশীলতা: যদিও তুলনামূলকভাবে দৃঢ়, তবুও উপযুক্ত প্যারামিটার সমন্বয়ের প্রয়োজন ३. তাত্ত্বিক বিশ্লেষণ: মধ্য-নিম্ন ফ্রিকোয়েন্সি বৃদ্ধি কেন আরও কার্যকর তার গভীর তাত্ত্বিক বিশ্লেষণ অভাব ४. প্রতিরক্ষা বিবেচনা: লক্ষ্যভিত্তিক প্রতিরক্ষা পদ্ধতির দৃঢ়তা সম্পূর্ণভাবে অন্বেষণ করা হয়নি

ভবিষ্যত দিকনির্দেশনা

१. তাত্ত্বিক উন্নতি: ফ্রিকোয়েন্সি ডোমেইন সাধারণত্বের তাত্ত্বিক ভিত্তি গভীরভাবে বিশ্লেষণ করুন २. দক্ষতা অপ্টিমাইজেশন: গণনা ওভারহেড হ্রাস করুন, ব্যবহারিকতা উন্নত করুন ३. প্রতিরক্ষা গবেষণা: COGO এর বিরুদ্ধে প্রতিরক্ষা প্রক্রিয়া অন্বেষণ করুন ४. প্রসারিত প্রয়োগ: পদ্ধতি অন্যান্য Vision Transformer ভেরিয়েন্টে প্রসারিত করুন

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সাধারণত্য-ব্যক্তিত্ব দৃষ্টিকোণ থেকে প্রতিকূল নমুনার স্থানান্তরযোগ্যতা বিশ্লেষণ করে, চিন্তাভাবনা উদ্ভাবনী २. পদ্ধতি সুসংগত: CE এবং IS দুটি উপাদান যুক্তিসঙ্গতভাবে ডিজাইন করা হয়েছে, সম্পূর্ণ অপ্টিমাইজেশন ফ্রেমওয়ার্ক গঠন করে ३. পরীক্ষা ব্যাপক: একাধিক মডেল আর্কিটেকচার এবং আক্রমণ পরিস্থিতি কভার করে, ফলাফল প্রভাবশালী ४. কর্মক্ষমতা উল্লেখযোগ্য: বিদ্যমান পদ্ধতির তুলনায় স্পষ্ট উন্নতি, নতুন SOTA স্তর অর্জন করে ५. বিশ্লেষণ গভীর: গ্রেডিয়েন্ট বিচ্ছুরণ বিশ্লেষণ ইত্যাদি গভীর অন্তর্দৃষ্টি প্রদান করে

অপূর্ণতা

१. তাত্ত্বিক ভিত্তি: মধ্য-নিম্ন ফ্রিকোয়েন্সি সাধারণত্বের তাত্ত্বিক ব্যাখ্যা যথেষ্ট গভীর নয় २. গণনা দক্ষতা: ফ্রিকোয়েন্সি ডোমেইন রূপান্তর এবং গ্রেডিয়েন্ট বিশ্লেষণ গণনা জটিলতা বৃদ্ধি করে ३. প্রযোজ্য পরিসীমা: প্রধানত ViTs এর জন্য, অন্যান্য আর্কিটেকচারে প্রযোজ্যতা সীমিত ४. প্রতিরক্ষা বিবেচনা: স্ব-অভিযোজিত প্রতিরক্ষার প্রভাব সম্পূর্ণভাবে বিবেচনা করা হয়নি

প্রভাব

१. একাডেমিক মূল্য: প্রতিকূল আক্রমণ গবেষণায় নতুন অপ্টিমাইজেশন চিন্তাভাবনা প্রদান করে २. ব্যবহারিক মূল্য: ViTs এর দৃঢ়তা মূল্যায়নে ব্যবহার করা যায় ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং হাইপারপ্যারামিটার সেটিং প্রদান করে ४. অনুপ্রেরণামূলক অর্থ: সাধারণত্য-ব্যক্তিত্ব বিশ্লেষণ ফ্রেমওয়ার্ক অন্যান্য সম্পর্কিত গবেষণাকে অনুপ্রাণিত করতে পারে

প্রযোজ্য পরিস্থিতি

१. মডেল দৃঢ়তা মূল্যায়ন: প্রতিকূল আক্রমণের অধীনে ViTs এর নিরাপত্তা মূল্যায়ন করুন २. প্রতিকূল প্রশিক্ষণ: আরও চ্যালেঞ্জিং প্রশিক্ষণ নমুনা উৎপাদন করুন ३. নিরাপত্তা গবেষণা: গভীর শেখার মডেলের নিরাপত্তা বোঝা এবং উন্নত করুন ४. ক্রস-মডেল আক্রমণ: লক্ষ্য মডেল তথ্য অ্যাক্সেস করা যায় না এমন কালো বাক্স পরিস্থিতিতে

তথ্যসূত্র

পত্রটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

• Vision Transformer মৌলিক কাজ Dosovitskiy et al., 2020
• প্রতিকূল আক্রমণ ক্লাসিক পদ্ধতি Goodfellow, 2014; Madry et al., 2017
• ViT নির্দিষ্ট আক্রমণ পদ্ধতি Zhang et al., 2023; Zhu et al., 2024
• ফ্রিকোয়েন্সি ডোমেইন আক্রমণ গবেষণা Long et al., 2022

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের প্রতিকূল আক্রমণ গবেষণা পত্র, যা পদ্ধতি উদ্ভাবন, পরীক্ষা ডিজাইন এবং ফলাফল বিশ্লেষণে চমৎকার কর্মক্ষমতা প্রদর্শন করে। COGO পদ্ধতি সাধারণত্য বৃদ্ধি এবং ব্যক্তিত্ব দমনের দ্বৈত কৌশলের মাধ্যমে, প্রতিকূল নমুনার স্থানান্তরযোগ্যতা উন্নত করার জন্য একটি কার্যকর সমাধান প্রদান করে, ViT নিরাপত্তা গবেষণায় গুরুত্বপূর্ণ মূল্য রাখে।