2025-11-24T16:40:16.782086

Boosting Adversarial Transferability via Commonality-Oriented Gradient Optimization

Gao, Liu, Liu et al.

Exploring effective and transferable adversarial examples is vital for understanding the characteristics and mechanisms of Vision Transformers (ViTs). However, adversarial examples generated from surrogate models often exhibit weak transferability in black-box settings due to overfitting. Existing methods improve transferability by diversifying perturbation inputs or applying uniform gradient regularization within surrogate models, yet they have not fully leveraged the shared and unique features of surrogate models trained on the same task, leading to suboptimal transfer performance. Therefore, enhancing perturbations of common information shared by surrogate models and suppressing those tied to individual characteristics offers an effective way to improve transferability. Accordingly, we propose a commonality-oriented gradient optimization strategy (COGO) consisting of two components: Commonality Enhancement (CE) and Individuality Suppression (IS). CE perturbs the mid-to-low frequency regions, leveraging the fact that ViTs trained on the same dataset tend to rely more on mid-to-low frequency information for classification. IS employs adaptive thresholds to evaluate the correlation between backpropagated gradients and model individuality, assigning weights to gradients accordingly. Extensive experiments demonstrate that COGO significantly improves the transfer success rates of adversarial attacks, outperforming current state-of-the-art methods.

academic

सामान्यता-उन्मुख ग्रेडिएंट अनुकूलन के माध्यम से प्रतिकूल स्थानांतरणीयता को बढ़ावा देना

मूल जानकारी

पेपर ID: 2506.06992
शीर्षक: सामान्यता-उन्मुख ग्रेडिएंट अनुकूलन के माध्यम से प्रतिकूल स्थानांतरणीयता को बढ़ावा देना
लेखक: यांटिंग गाओ, येपेंग लियू, जुनमिंग लियू, की झांग, होंग्यून झांग, डुओकियान मिआओ, कैरोंग झाओ
संबद्ध संस्थान: टोंगजी विश्वविद्यालय, फ्लोरिडा विश्वविद्यालय
वर्गीकरण: cs.CV (कंप्यूटर दृष्टि)
प्रकाशन तिथि: 12 अक्टूबर 2025 (arXiv प्रीप्रिंट v2)
पेपर लिंक: https://arxiv.org/abs/2506.06992

सारांश

Vision Transformers (ViTs) की विशेषताओं और तंत्र को समझने के लिए प्रभावी और स्थानांतरणीय प्रतिकूल नमूनों की खोज महत्वपूर्ण है। हालांकि, प्रॉक्सी मॉडल द्वारा उत्पन्न प्रतिकूल नमूने काले बॉक्स सेटिंग में अधिक फिटिंग के कारण कमजोर स्थानांतरणीयता प्रदर्शित करते हैं। मौजूदा विधियां विक्षोभ इनपुट में विविधता लाकर या प्रॉक्सी मॉडल के भीतर एकीकृत ग्रेडिएंट नियमितकरण लागू करके स्थानांतरणीयता में सुधार करती हैं, लेकिन एक ही कार्य पर प्रशिक्षित प्रॉक्सी मॉडल की साझा और अद्वितीय विशेषताओं का पूरी तरह से उपयोग नहीं करती हैं, जिससे स्थानांतरण प्रदर्शन उप-इष्टतम होता है। इसलिए, प्रॉक्सी मॉडल की साझा जानकारी को बढ़ाने वाले विक्षोभ को बढ़ाना और व्यक्तिगत विशेषताओं से संबंधित विक्षोभ को दबाना स्थानांतरणीयता में सुधार का एक प्रभावी मार्ग प्रदान करता है। इसके अनुसार, हम एक सामान्यता-उन्मुख ग्रेडिएंट अनुकूलन रणनीति (COGO) प्रस्तावित करते हैं, जिसमें दो घटक हैं: सामान्यता वृद्धि (CE) और व्यक्तित्व दमन (IS)। CE विक्षोभ में निम्न-आवृत्ति क्षेत्रों को लक्षित करता है, इस तथ्य का लाभ उठाते हुए कि एक ही डेटासेट पर प्रशिक्षित ViTs वर्गीकरण के लिए मध्य-निम्न आवृत्ति जानकारी पर अधिक निर्भर होते हैं। IS प्रतिलोम प्रसार ग्रेडिएंट और मॉडल व्यक्तित्व के बीच सहसंबंध का मूल्यांकन करने के लिए अनुकूली थ्रेसहोल्ड का उपयोग करता है, तदनुसार ग्रेडिएंट को भार आवंटित करता है। व्यापक प्रयोग दर्शाते हैं कि COGO प्रतिकूल हमलों की स्थानांतरण सफलता दर में उल्लेखनीय सुधार करता है, वर्तमान अत्याधुनिक विधियों से बेहतर है।

अनुसंधान पृष्ठभूमि और प्रेरणा

1. अनुसंधान समस्या

यह पेपर Vision Transformers (ViTs) में प्रतिकूल हमलों में स्थानांतरणीयता समस्या को हल करता है। विशेष रूप से, जब प्रॉक्सी मॉडल का उपयोग करके अज्ञात लक्ष्य मॉडल पर हमला करने के लिए प्रतिकूल नमूने उत्पन्न किए जाते हैं, तो उत्पन्न प्रतिकूल नमूने अक्सर लक्ष्य मॉडल में प्रभावी ढंग से स्थानांतरित नहीं हो सकते, जिससे हमला विफल हो जाता है।

2. समस्या की महत्ता

सुरक्षा-महत्वपूर्ण अनुप्रयोग: ViTs की विश्वसनीयता सुरक्षा-महत्वपूर्ण अनुप्रयोगों में प्रतिकूल हमलों के गंभीर खतरे में है
काले बॉक्स हमले की वास्तविकता: व्यावहारिक परिदृश्यों में, हमलावर आमतौर पर लक्ष्य मॉडल की आंतरिक संरचना तक पहुंच नहीं सकते, जिससे स्थानांतरणीयता महत्वपूर्ण हो जाती है
मॉडल मजबूती मूल्यांकन: प्रतिकूल नमूनों की स्थानांतरणीयता को समझना मॉडल की मजबूती का मूल्यांकन और सुधार करने में सहायता करता है

3. मौजूदा विधियों की सीमाएं

अत्यधिक फिटिंग: मौजूदा विधियां द्वारा उत्पन्न प्रतिकूल नमूनों में प्रॉक्सी मॉडल-विशिष्ट जानकारी बहुत अधिक होती है, जिससे सामान्यीकरण क्षमता कम होती है
एकीकृत उपचार: TGR और GNS-HFA जैसी विधियां केवल सांख्यिकीय विशेषताओं के आधार पर ग्रेडिएंट को समायोजित करती हैं, ग्रेडिएंट और मॉडल-विशिष्ट विशेषताओं के सहसंबंध पर विचार नहीं करती हैं
अनुचित आवृत्ति उपयोग: HFA जैसी विधियां केवल उच्च-आवृत्ति घटकों पर ध्यान केंद्रित करती हैं, यह भूल जाती हैं कि ViTs मध्य-निम्न आवृत्ति जानकारी पर अधिक निर्भर होते हैं

4. अनुसंधान प्रेरणा

लेखकों ने देखा कि एक ही डेटासेट पर प्रशिक्षित विभिन्न ViTs, हालांकि आर्किटेक्चर में भिन्न हैं, निर्णय पैटर्न में सामान्यता प्रदर्शित करते हैं, विशेष रूप से मध्य-निम्न आवृत्ति जानकारी पर निर्भरता में। इसलिए, सामान्य विशेषताओं को बढ़ाकर और व्यक्तिगत विशेषताओं को दबाकर, अधिक स्थानांतरणीय प्रतिकूल नमूने उत्पन्न किए जा सकते हैं।

मुख्य योगदान

सामान्यता-उन्मुख अनुकूलन रणनीति प्रस्तावित करना: पहली बार ग्रेडिएंट और मॉडल विशेषताओं के बीच संबंध पर विचार करना, पारंपरिक एकीकृत ग्रेडिएंट समायोजन विधियों से परे जाना
COGO फ्रेमवर्क डिजाइन करना: सामान्यता वृद्धि (CE) और व्यक्तित्व दमन (IS) दोनों घटकों को जोड़ना, आवृत्ति-डोमेन ऊर्जा वृद्धि और अनुकूली थ्रेसहोल्ड तंत्र का उपयोग करना
महत्वपूर्ण प्रदर्शन सुधार: GNS-HFA और ATT सहित कई बेंचमार्क में मौजूदा अत्याधुनिक विधियों से काफी बेहतर
व्यापक प्रयोग सत्यापन: ViT के बीच स्थानांतरण और ViT से CNN तक क्रॉस-आर्किटेक्चर स्थानांतरण दोनों में उत्कृष्ट प्रदर्शन

विधि विवरण

कार्य परिभाषा

स्वच्छ इनपुट छवि $X_{clean} \in \mathbb{R}^N$ दी गई है, लक्ष्य प्रतिकूल विक्षोभ $\delta$ उत्पन्न करना है, जैसे कि $X_{adv} = X_{clean} + \delta$ प्रॉक्सी मॉडल पर सफलतापूर्वक हमला कर सके और अज्ञात लक्ष्य मॉडल में काले बॉक्स स्थानांतरणीयता अच्छी हो।

मॉडल आर्किटेक्चर

COGO रणनीति में दो मुख्य घटक हैं:

1. सामान्यता वृद्धि (Commonality Enhancement, CE)

CE मॉड्यूल आगे प्रसार प्रक्रिया के दौरान मध्य-निम्न आवृत्ति घटकों को बढ़ाता है:

चरण 1: वर्तमान विक्षोभ और गॉसियन शोर जोड़ें

X = X_clean + δ
X_DCT = DCT(X + ε), जहां ε ~ N(0, I_N)

चरण 2: ऊर्जा वितरण की गणना करें और बढ़ाएं

E(X_DCT) = Normalize(|X_DCT|)
X'_DCT = X_DCT · (1 + γ · E(X_DCT))

चरण 3: स्थान डोमेन में परिवर्तित करें और स्थानिक मुखौटा लागू करें

X_IDCT = IDCT(X'_DCT · M)

जहां γ वृद्धि शक्ति को नियंत्रित करता है, M HFA से विरासत में मिला स्थानिक मुखौटा है।

2. व्यक्तित्व दमन (Individuality Suppression, IS)

IS मॉड्यूल प्रतिलोम प्रसार प्रक्रिया के दौरान प्रॉक्सी मॉडल-विशिष्ट ग्रेडिएंट को दबाता है:

अनावश्यक विशेषताओं के दमन के लिए:

चैनल के बीच अनावश्यकता को मापने के लिए पारस्परिक जानकारी (MI) और पियर्सन सहसंबंध गुणांक (PC) का उपयोग करें
अनुकूली थ्रेसहोल्ड: $\tau_{MI} = \beta_{MI} \cdot \text{mean}(MI(G_i^{(l)}, G_j^{(l)}))$
भार गणना: $w_i = \max(0.1, 1 - \alpha \sum_{(i,j) \in P} (t_{i,j}^{MI} + t_{i,j}^{corr}))$
ग्रेडिएंट समायोजन: $\tilde{G}_i^{(l)} = G_i^{(l)} \cdot w_i$

अतिरिक्त ज्ञान के दमन के लिए:

डेटा-कुशल ViTs में आसवन टोकन जैसे अतिरिक्त टोकन के लिए
स्केलिंग कारक: $c = \sigma(\frac{\|G_{additional}^{(l)}\|_2}{\|G_{primary}^{(l)}\|_2})$
ग्रेडिएंट समायोजन: $\tilde{G}_{additional}^{(l)} = c \cdot G_{additional}^{(l)}$

तकनीकी नवाचार बिंदु

आवृत्ति-डोमेन सामान्यता उपयोग: HFA केवल उच्च-आवृत्ति पर ध्यान केंद्रित करने के विपरीत, CE ViTs द्वारा निर्भर मध्य-निम्न आवृत्ति घटकों को लक्षित रूप से बढ़ाता है
अनुकूली ग्रेडिएंट दमन: IS निश्चित थ्रेसहोल्ड के बजाय अनुकूली थ्रेसहोल्ड का उपयोग करता है, मॉडल-विशिष्ट ग्रेडिएंट को बेहतर ढंग से पहचानता और दबाता है
दोहरी अनुकूलन रणनीति: CE और IS आगे और पीछे दोनों दिशाओं से सहक्रियात्मक रूप से अनुकूलन करते हैं, पूरक प्रभाव बनाते हैं

प्रयोगात्मक सेटअप

डेटासेट

ILSVRC 2012 सत्यापन सेट: 1000 छवियों का यादृच्छिक नमूना, यह स्थानांतरण हमले अनुसंधान के लिए मानक सेटअप है
TGR जैसे पूर्व कार्यों के प्रयोगात्मक प्रोटोकॉल का पालन करें

मूल्यांकन मेट्रिक्स

हमले की सफलता दर (ASR): $\text{ASR} = \frac{\text{सफल हमलों की संख्या}}{\text{कुल हमलों की संख्या}} \times 100\%$
प्रतिकूल नमूनों के लक्ष्य मॉडल को गलत वर्गीकृत करने के अनुपात को मापता है

तुलनात्मक विधियां

मुख्य आधार रेखा: TGR (ViTs के लिए विशेष रूप से डिज़ाइन किया गया)
नवीनतम विधियां: GNS-HFA, ATT
शास्त्रीय विधियां: MIM, SINI-FGSM, PNA, SSA

प्रयोगात्मक मॉडल

प्रॉक्सी मॉडल: Visformer-S, DeiT-B, CaiT-S/24, ViT-B/16
ViT लक्ष्य मॉडल: TNT-S, ConViT-B आदि
CNN लक्ष्य मॉडल: Inception-v3, Inception-v4, Inception-ResNet-v2, ResNet-101
रक्षा मॉडल: प्रतिकूल प्रशिक्षित एकीकृत मॉडल

कार्यान्वयन विवरण

हमले पुनरावृत्ति संख्या: 10
अधिकतम $\ell_\infty$ विक्षोभ: $\epsilon = 8$ (0-255 स्केल)
मुख्य हाइपरपैरामीटर: $\gamma = 1$ , $\alpha = 0.1$ , $\beta_{MI} = 0.5$ , $\beta_{corr} = 0.7$

प्रयोगात्मक परिणाम

मुख्य परिणाम

ViT के बीच स्थानांतरण प्रदर्शन:

GNS-HFA की तुलना में औसत 7.2% सुधार
ATT की तुलना में औसत 10.1% सुधार
सभी परीक्षित ViT आर्किटेक्चर पर सर्वोत्तम प्रदर्शन प्राप्त किया

क्रॉस-आर्किटेक्चर स्थानांतरण प्रदर्शन (ViT → CNN):

GNS-HFA की तुलना में औसत 2.3% सुधार
ATT की तुलना में औसत 10.5% सुधार
रक्षा मॉडल पर भी अच्छा हमले प्रभाव बनाए रखता है

विशिष्ट संख्यात्मक उदाहरण (Visformer-S को प्रॉक्सी मॉडल के रूप में):

विधि	ViT-B/16	DeiT-B	TNT-S	Inc-v3	Inc-v4
GNS-HFA	49.1%	54.1%	81.3%	71.6%	71.3%
COGO	55.2%	64.9%	85.5%	71.8%	72.4%

विलोपन प्रयोग

CE और IS घटक योगदान:

CE	IS	ViTs	CNNs	CNNs-adv
-	-	46.64%	30.45%	9.80%
✓	-	72.56% (+25.92%)	56.18% (+25.73%)	32.15% (+22.35%)
-	✓	62.38% (+15.74%)	45.85% (+15.40%)	22.77% (+12.97%)
✓	✓	77.97% (+31.33%)	63.73% (+33.28%)	36.75% (+26.95%)

मुख्य निष्कर्ष:

CE घटक अधिक योगदान देता है, आवृत्ति-डोमेन वृद्धि की महत्ता को साबित करता है
IS घटक प्रभावी पूरक प्रदान करता है, दोनों का संयोजन सर्वोत्तम प्रभाव देता है
सभी प्रकार के मॉडल पर महत्वपूर्ण सुधार

हाइपरपैरामीटर संवेदनशीलता:

वृद्धि गुणांक γ = 1 पर सर्वोत्तम प्रभाव
पुनरावृत्ति संख्या N = 10 पर प्रदर्शन संतुलन प्राप्त होता है
चैनल जोड़ी की संख्या परिणामों पर न्यूनतम प्रभाव, विधि की मजबूती को साबित करता है

ग्रेडिएंट विश्लेषण

ग्रेडिएंट विक्षिप्तता सूचकांक के माध्यम से विश्लेषण से पता चलता है:

COGO ग्रेडिएंट वितरण को अधिक समान और विविध बनाता है
प्रॉक्सी मॉडल-विशिष्ट विशेषताओं पर निर्भरता को कम करता है
CE और IS की पूरकता विभिन्न परतों में स्पष्ट है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सामान्यता-उन्मुख अनुकूलन प्रभावी है: मॉडल के बीच सामान्यता को बढ़ाकर और व्यक्तित्व को दबाकर, प्रतिकूल नमूनों की स्थानांतरणीयता में उल्लेखनीय सुधार होता है
आवृत्ति-डोमेन रणनीति महत्वपूर्ण है: ViTs की विशेषताओं के लिए अनुकूलित मध्य-निम्न आवृत्ति वृद्धि पारंपरिक उच्च-आवृत्ति विधि से अधिक प्रभावी है
अनुकूली दमन श्रेष्ठ है: ग्रेडिएंट-विशेषता सहसंबंध पर आधारित अनुकूली दमन एकीकृत समायोजन से बेहतर है
क्रॉस-आर्किटेक्चर सामान्यीकरण: विधि ViT के बीच और ViT से CNN के स्थानांतरण दोनों में उत्कृष्ट प्रदर्शन करती है

सीमाएं

कम्प्यूटेशनल ओवरहेड: आवृत्ति-डोमेन परिवर्तन और ग्रेडिएंट विश्लेषण कम्प्यूटेशनल लागत बढ़ाते हैं
हाइपरपैरामीटर संवेदनशीलता: हालांकि अपेक्षाकृत मजबूत है, फिर भी उचित पैरामीटर समायोजन की आवश्यकता है
सैद्धांतिक विश्लेषण: मध्य-निम्न आवृत्ति वृद्धि अधिक प्रभावी क्यों है इसके गहन सैद्धांतिक विश्लेषण का अभाव
रक्षा प्रतिरोध: COGO के विरुद्ध लक्षित रक्षा विधियों की मजबूती का पूरी तरह से अन्वेषण नहीं किया गया है

भविष्य की दिशाएं

सैद्धांतिक पूर्णता: आवृत्ति-डोमेन सामान्यता के सैद्धांतिक आधार का गहन विश्लेषण
दक्षता अनुकूलन: कम्प्यूटेशनल ओवरहेड को कम करना, व्यावहारिकता में सुधार करना
रक्षा अनुसंधान: COGO के विरुद्ध रक्षा तंत्र की खोज करना
विस्तारित अनुप्रयोग: विधि को अन्य Vision Transformer वेरिएंट तक विस्तारित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: प्रतिकूल नमूनों की स्थानांतरणीयता का विश्लेषण करने के लिए पहली बार सामान्यता-व्यक्तित्व दृष्टिकोण, नई सोच
व्यवस्थित विधि: CE और IS दोनों घटक उचित रूप से डिज़ाइन किए गए हैं, एक पूर्ण अनुकूलन फ्रेमवर्क बनाते हैं
व्यापक प्रयोग: कई मॉडल आर्किटेक्चर और हमले परिदृश्य शामिल हैं, परिणाम अत्यधिक प्रेरक हैं
महत्वपूर्ण प्रदर्शन: मौजूदा विधियों की तुलना में स्पष्ट सुधार, नए SOTA स्तर तक पहुंचता है
गहन विश्लेषण: ग्रेडिएंट विक्षिप्तता विश्लेषण आदि गहन अंतर्दृष्टि प्रदान करता है

कमियां

सैद्धांतिक आधार: मध्य-निम्न आवृत्ति सामान्यता के सैद्धांतिक व्याख्या पर्याप्त गहन नहीं है
कम्प्यूटेशनल दक्षता: आवृत्ति-डोमेन परिवर्तन और ग्रेडिएंट विश्लेषण कम्प्यूटेशनल जटिलता बढ़ाते हैं
अनुप्रयोग सीमा: मुख्य रूप से ViTs के लिए, अन्य आर्किटेक्चर पर प्रयोज्यता सीमित है
रक्षा विचार: अनुकूली रक्षा के प्रभाव पर पूरी तरह विचार नहीं किया गया है

प्रभाव

शैक्षणिक मूल्य: प्रतिकूल हमले अनुसंधान के लिए नई अनुकूलन सोच प्रदान करता है
व्यावहारिक मूल्य: ViTs की मजबूती का मूल्यांकन करने के लिए उपयोग किया जा सकता है
पुनरुत्पादनशीलता: विस्तृत कार्यान्वयन विवरण और हाइपरपैरामीटर सेटिंग प्रदान करता है
प्रेरणा महत्व: सामान्यता-व्यक्तित्व विश्लेषण फ्रेमवर्क अन्य संबंधित अनुसंधान को प्रेरित कर सकता है

प्रयोज्य परिदृश्य

मॉडल मजबूती मूल्यांकन: प्रतिकूल हमलों के तहत ViTs की सुरक्षा का मूल्यांकन करना
प्रतिकूल प्रशिक्षण: अधिक चुनौतीपूर्ण प्रशिक्षण नमूने उत्पन्न करना
सुरक्षा अनुसंधान: गहन शिक्षण मॉडल की सुरक्षा को समझना और सुधारना
क्रॉस-मॉडल हमले: काले बॉक्स परिदृश्य में जहां लक्ष्य मॉडल की जानकारी प्राप्त नहीं की जा सकती

संदर्भ

पेपर संबंधित क्षेत्र के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें शामिल हैं:

Vision Transformer मौलिक कार्य Dosovitskiy et al., 2020
प्रतिकूल हमले शास्त्रीय विधियां Goodfellow, 2014; Madry et al., 2017
ViT-विशिष्ट हमले विधियां Zhang et al., 2023; Zhu et al., 2024
आवृत्ति-डोमेन हमले अनुसंधान Long et al., 2022

समग्र मूल्यांकन: यह प्रतिकूल हमले अनुसंधान का एक उच्च-गुणवत्ता वाला पेपर है, जो विधि नवाचार, प्रयोगात्मक डिजाइन और परिणाम विश्लेषण के सभी पहलुओं में उत्कृष्ट प्रदर्शन करता है। COGO विधि सामान्यता वृद्धि और व्यक्तित्व दमन की दोहरी रणनीति के माध्यम से, प्रतिकूल नमूनों की स्थानांतरणीयता में सुधार के लिए एक प्रभावी समाधान प्रदान करती है, जो ViT सुरक्षा अनुसंधान के लिए महत्वपूर्ण मूल्य रखती है।