2025-11-24T16:40:16.782086

Boosting Adversarial Transferability via Commonality-Oriented Gradient Optimization

Gao, Liu, Liu et al.

Exploring effective and transferable adversarial examples is vital for understanding the characteristics and mechanisms of Vision Transformers (ViTs). However, adversarial examples generated from surrogate models often exhibit weak transferability in black-box settings due to overfitting. Existing methods improve transferability by diversifying perturbation inputs or applying uniform gradient regularization within surrogate models, yet they have not fully leveraged the shared and unique features of surrogate models trained on the same task, leading to suboptimal transfer performance. Therefore, enhancing perturbations of common information shared by surrogate models and suppressing those tied to individual characteristics offers an effective way to improve transferability. Accordingly, we propose a commonality-oriented gradient optimization strategy (COGO) consisting of two components: Commonality Enhancement (CE) and Individuality Suppression (IS). CE perturbs the mid-to-low frequency regions, leveraging the fact that ViTs trained on the same dataset tend to rely more on mid-to-low frequency information for classification. IS employs adaptive thresholds to evaluate the correlation between backpropagated gradients and model individuality, assigning weights to gradients accordingly. Extensive experiments demonstrate that COGO significantly improves the transfer success rates of adversarial attacks, outperforming current state-of-the-art methods.

academic

تعزيز قابلية نقل الهجمات الخصومة عبر تحسين التدرج الموجه نحو الخصائص المشتركة

المعلومات الأساسية

معرّف الورقة: 2506.06992
العنوان: تعزيز قابلية نقل الهجمات الخصومة عبر تحسين التدرج الموجه نحو الخصائص المشتركة
المؤلفون: Yanting Gao, Yepeng Liu, Junming Liu, Qi Zhang, Hongyun Zhang, Duoqian Miao, Cairong Zhao
المؤسسات المنتسبة: جامعة تونغجي، جامعة فلوريدا
التصنيف: cs.CV (رؤية الحاسوب)
تاريخ النشر: 12 أكتوبر 2025 (نسخة ما قبل الطباعة v2 على arXiv)
رابط الورقة: https://arxiv.org/abs/2506.06992

الملخص

يعتبر استكشاف العينات الخصومة الفعالة والقابلة للنقل أمراً حاسماً لفهم خصائص وآليات محولات الرؤية (Vision Transformers - ViTs). ومع ذلك، فإن العينات الخصومة المولدة من نماذج بديلة غالباً ما تظهر قابلية نقل ضعيفة في إعدادات الصندوق الأسود بسبب الإفراط في التدريب. تحاول الطرق الموجودة تحسين قابلية النقل من خلال تنويع المدخلات المضطربة أو تطبيق تنظيم التدرج الموحد داخل النماذج البديلة، لكنها تفشل في الاستفادة الكاملة من الخصائص المشتركة والفريدة للنماذج البديلة المدربة على نفس المهمة، مما يؤدي إلى أداء نقل دون الأمثل. لذلك، فإن تعزيز الاضطرابات التي تشارك المعلومات المشتركة بين النماذج وقمع الاضطرابات المرتبطة بالخصائص الفردية يوفر مساراً فعالاً لتحسين قابلية النقل. بناءً على ذلك، نقترح استراتيجية تحسين التدرج الموجهة نحو الخصائص المشتركة (COGO)، والتي تتضمن مكونين: تعزيز الخصائص المشتركة (CE) وقمع الخصائص الفردية (IS). يقوم CE بتعطيل المناطق منخفضة التردد في الاضطرابات، مستفيداً من حقيقة أن محولات الرؤية المدربة على نفس مجموعة البيانات تميل إلى الاعتماد بشكل أكبر على معلومات التردد المتوسط والمنخفض للتصنيف. يستخدم IS عتبة تكيفية لتقييم الارتباط بين التدرجات المنتشرة للخلف وخصائص النموذج الفردية، مع تخصيص الأوزان للتدرجات وفقاً لذلك. تُظهر التجارب الموسعة أن COGO يحسن بشكل كبير معدل نجاح الهجمات الخصومة، متفوقاً على الطرق الحديثة الأخرى.

خلفية البحث والدافع

1. مشكلة البحث

تتناول هذه الورقة بشكل أساسي مشكلة قابلية النقل في الهجمات الخصومة على محولات الرؤية (ViTs). بشكل محدد، عند استخدام نموذج بديل لتوليد عينات خصومة لمهاجمة نموذج هدف غير معروف، فإن العينات المولدة غالباً ما تفشل في الانتقال بفعالية إلى النموذج الهدف، مما يؤدي إلى فشل الهجوم.

2. أهمية المشكلة

التطبيقات الحساسة للأمان: تتعرض موثوقية ViTs في التطبيقات الحساسة للأمان لتهديد خطير من الهجمات الخصومة
واقعية الهجمات ذات الصندوق الأسود: في السيناريوهات العملية، لا يستطيع المهاجمون عادة الوصول إلى البنية الداخلية للنموذج الهدف، مما يجعل قابلية النقل حاسمة
تقييم قوة النموذج: يساعد فهم قابلية نقل العينات الخصومة في تقييم وتحسين قوة النموذج

3. قيود الطرق الموجودة

الإفراط في التدريب: تحتوي العينات الخصومة المولدة بالطرق الموجودة على الكثير من المعلومات الخاصة بالنموذج البديل، مما يؤدي إلى ضعف القدرة على التعميم
المعالجة الموحدة: تعتمد طرق مثل TGR و GNS-HFA فقط على الخصائص الإحصائية لتعديل التدرجات بشكل موحد، دون الأخذ في الاعتبار الارتباط بين التدرجات والخصائص الخاصة بالنموذج
الاستخدام غير الصحيح للمجال الترددي: تركز طرق مثل HFA فقط على المكونات عالية التردد، متجاهلة حقيقة أن ViTs تعتمد بشكل أكبر على معلومات التردد المتوسط والمنخفض

4. الدافع للبحث

لاحظ المؤلفون أنه على الرغم من الاختلافات المعمارية، فإن محولات الرؤية المختلفة المدربة على نفس مجموعة البيانات تشترك في أنماط القرار، خاصة في اعتمادها على معلومات التردد المتوسط والمنخفض. لذلك، من خلال تعزيز الخصائص المشتركة وقمع الخصائص الفردية، يمكن توليد عينات خصومة أكثر قابلية للنقل.

المساهمات الأساسية

اقتراح استراتيجية تحسين موجهة نحو الخصائص المشتركة: تأخذ في الاعتبار للمرة الأولى العلاقة بين التدرجات والخصائص الخاصة بالنموذج، متجاوزة طرق تعديل التدرج الموحدة التقليدية
تصميم إطار عمل COGO: يجمع بين مكونين: تعزيز الخصائص المشتركة (CE) وقمع الخصائص الفردية (IS)، مستفيداً من تعزيز الطاقة في المجال الترددي وآليات العتبة التكيفية
تحسن أداء كبير: يتفوق بشكل كبير على الطرق الحديثة الموجودة في اختبارات معايير متعددة، بما في ذلك GNS-HFA و ATT
التحقق التجريبي الشامل: حقق أداء ممتازة في نقل البيانات بين ViTs والنقل عبر الهندسة المعمارية من ViT إلى CNN

شرح الطريقة بالتفصيل

تعريف المهمة

بالنظر إلى صورة إدخال نظيفة $X_{clean} \in \mathbb{R}^N$ ، الهدف هو توليد اضطراب خصومة $\delta$ ، بحيث يكون $X_{adv} = X_{clean} + \delta$ قادراً على مهاجمة النموذج البديل بنجاح مع امتلاك قابلية نقل جيدة إلى نموذج هدف غير معروف.

معمارية النموذج

تتضمن استراتيجية COGO مكونين أساسيين:

1. تعزيز الخصائص المشتركة (Commonality Enhancement - CE)

يعزز مكون CE المكونات متوسطة ومنخفضة التردد أثناء الانتشار الأمامي:

الخطوة 1: إضافة الاضطراب الحالي والضوضاء الغاوسية

X = X_clean + δ
X_DCT = DCT(X + ε), where ε ~ N(0, I_N)

الخطوة 2: حساب توزيع الطاقة والتعزيز

E(X_DCT) = Normalize(|X_DCT|)
X'_DCT = X_DCT · (1 + γ · E(X_DCT))

الخطوة 3: التحويل إلى المجال المكاني وتطبيق قناع مكاني

X_IDCT = IDCT(X'_DCT · M)

حيث يتحكم γ في قوة التعزيز، و M هو قناع مكاني موروث من HFA.

2. قمع الخصائص الفردية (Individuality Suppression - IS)

يقمع مكون IS التدرجات الخاصة بالنموذج البديل أثناء الانتشار العكسي:

قمع الخصائص الزائدة:

استخدام المعلومات المتبادلة (MI) ومعامل الارتباط بيرسون (PC) لقياس التكرار بين القنوات
العتبة التكيفية: $\tau_{MI} = \beta_{MI} \cdot \text{mean}(MI(G_i^{(l)}, G_j^{(l)}))$
حساب الأوزان: $w_i = \max(0.1, 1 - \alpha \sum_{(i,j) \in P} (t_{i,j}^{MI} + t_{i,j}^{corr}))$
تعديل التدرج: $\tilde{G}_i^{(l)} = G_i^{(l)} \cdot w_i$

قمع المعرفة الإضافية:

بالنسبة للرموز الإضافية مثل رموز التقطير في ViTs الفعالة من حيث البيانات
عامل التحجيم: $c = \sigma(\frac{\|G_{additional}^{(l)}\|_2}{\|G_{primary}^{(l)}\|_2})$
تعديل التدرج: $\tilde{G}_{additional}^{(l)} = c \cdot G_{additional}^{(l)}$

نقاط الابتكار التقني

استخدام الخصائص المشتركة في المجال الترددي: بخلاف HFA الذي يركز فقط على التردد العالي، يعزز CE بشكل استهدافي المكونات متوسطة ومنخفضة التردد التي تعتمد عليها ViTs
قمع التدرج التكيفي: يستخدم IS عتبة تكيفية بدلاً من عتبة ثابتة، مما يحسن تحديد وقمع التدرجات الخاصة بالنموذج
استراتيجية التحسين المزدوجة: يعمل CE و IS من اتجاهات أمامية وعكسية معاً، مما يشكل تأثيراً متكاملاً

إعداد التجارب

مجموعات البيانات

مجموعة التحقق من ILSVRC 2012: تم أخذ عينة عشوائية من 1000 صورة، وهي الإعداد القياسي لأبحاث الهجمات القابلة للنقل
تتبع بروتوكول التجارب من الأعمال السابقة مثل TGR

مقاييس التقييم

معدل نجاح الهجوم (ASR): $\text{ASR} = \frac{\text{عدد الهجمات الناجحة}}{\text{إجمالي عدد الهجمات}} \times 100\%$
يقيس نسبة العينات الخصومة التي تسبب سوء تصنيف النموذج الهدف

طرق المقارنة

الخطوط الأساسية الرئيسية: TGR (مصمم خصيصاً لـ ViTs)
الطرق الحديثة: GNS-HFA, ATT
الطرق الكلاسيكية: MIM, SINI-FGSM, PNA, SSA

نماذج التجارب

النماذج البديلة: Visformer-S, DeiT-B, CaiT-S/24, ViT-B/16
نماذج هدف ViT: TNT-S, ConViT-B وغيرها
نماذج هدف CNN: Inception-v3, Inception-v4, Inception-ResNet-v2, ResNet-101
نماذج الدفاع: نماذج مجموعة مدربة بشكل خصومة

تفاصيل التنفيذ

عدد تكرارات الهجوم: 10
أقصى اضطراب $\ell_\infty$ : $\epsilon = 8$ (على مقياس 0-255)
المعاملات الفائقة الرئيسية: $\gamma = 1$ , $\alpha = 0.1$ , $\beta_{MI} = 0.5$ , $\beta_{corr} = 0.7$

نتائج التجارب

النتائج الرئيسية

أداء النقل بين ViTs:

تحسن متوسط بنسبة 7.2% مقارنة بـ GNS-HFA
تحسن متوسط بنسبة 10.1% مقارنة بـ ATT
حقق أفضل أداء على جميع معماريات ViT المختبرة

أداء النقل عبر الهندسة المعمارية (ViT → CNN):

تحسن متوسط بنسبة 2.3% مقارنة بـ GNS-HFA
تحسن متوسط بنسبة 10.5% مقارنة بـ ATT
حافظ على تأثير هجوم جيد على النماذج المدافعة

أمثلة قيمية محددة (مع Visformer-S كنموذج بديل):

الطريقة	ViT-B/16	DeiT-B	TNT-S	Inc-v3	Inc-v4
GNS-HFA	49.1%	54.1%	81.3%	71.6%	71.3%
COGO	55.2%	64.9%	85.5%	71.8%	72.4%

تجارب الاستبدال

مساهمة مكونات CE و IS:

CE	IS	ViTs	CNNs	CNNs-adv
-	-	46.64%	30.45%	9.80%
✓	-	72.56% (+25.92%)	56.18% (+25.73%)	32.15% (+22.35%)
-	✓	62.38% (+15.74%)	45.85% (+15.40%)	22.77% (+12.97%)
✓	✓	77.97% (+31.33%)	63.73% (+33.28%)	36.75% (+26.95%)

النتائج الرئيسية:

يساهم مكون CE بشكل أكبر، مما يثبت أهمية تعزيز المجال الترددي
يوفر مكون IS تكملة فعالة، والجمع بين الاثنين يعطي أفضل النتائج
يوجد تحسن كبير على جميع أنواع النماذج

حساسية المعاملات الفائقة:

معامل التعزيز γ = 1 يعطي أفضل النتائج
عدد التكرارات N = 10 يحقق توازن الأداء
تأثير عدد أزواج القنوات على النتائج ضئيل، مما يثبت قوة الطريقة

تحليل التدرج

من خلال تحليل مؤشر تشتت التدرج، تم اكتشاف:

يجعل COGO توزيع التدرج أكثر تنوعاً وتوازناً
يقلل الاعتماد على الخصائص الخاصة بالنموذج البديل
يظهر التكامل بين CE و IS بوضوح في الطبقات المختلفة

الأعمال ذات الصلة

أبحاث الهجمات الخصومة على ViT

الطرق المبكرة: موجهة بشكل أساسي نحو CNN، مثل BIM, PGD, MIM
طرق تحويل الإدخال: DIM, TIM تحسن قابلية النقل من خلال تحويل الإدخال
طرق المجال الترددي: SSA تستكشف الضعف في المجال الترددي، لكن لم تُحسّن لـ ViTs

طرق خاصة بـ ViT

TGR: تقلل التباين من خلال قمع التدرجات القصوى
GNS-HFA: تطبيع التدرجات إلى توزيع غاوسي وتعزيز التردد العالي
مساهمة هذه الورقة: تأخذ في الاعتبار للمرة الأولى العلاقة بين التدرجات والخصائص الخاصة بالنموذج، واقتراح تحسين موجه نحو الخصائص المشتركة

تحليل معمارية ViT

يصنف المؤلفون متغيرات ViT إلى فئتين:

النوع الفعال من حيث الحساب: Visformer, PiT وغيرها، تبسيط عمليات الانتباه
النوع الفعال من حيث البيانات: DeiT, CaiT وغيرها، تحسين القدرة التمثيلية من خلال تقطير المعرفة وغيرها

الخلاصة والمناقشة

الاستنتاجات الرئيسية

فعالية التحسين الموجه نحو الخصائص المشتركة: يحسن بشكل كبير قابلية نقل العينات الخصومة من خلال تعزيز الخصائص المشتركة بين النماذج وقمع الخصائص الفردية
أهمية استراتيجية المجال الترددي: تعزيز التردد المتوسط والمنخفض الموجه نحو خصائص ViTs أكثر فعالية من طرق التردد العالي التقليدية
تفوق القمع التكيفي: القمع التكيفي بناءً على الارتباط بين التدرجات والخصائص الفردية يتفوق على التعديل الموحد
قابلية التعميم عبر الهندسة المعمارية: تظهر الطريقة أداء ممتازة في النقل بين ViTs والنقل من ViT إلى CNN

القيود

التكلفة الحسابية: تضيف تحويلات المجال الترددي وتحليل التدرج تكلفة حسابية
حساسية المعاملات الفائقة: على الرغم من أنها نسبياً قوية، لا تزال تتطلب تعديل معاملات مناسب
التحليل النظري: يفتقر إلى تحليل نظري عميق حول سبب كون تعزيز التردد المتوسط والمنخفض أكثر فعالية
الدفاع الخصومة: لم يتم استكشاف الكفاءة ضد طرق الدفاع الموجهة بشكل كافٍ

الاتجاهات المستقبلية

تحسين النظرية: تحليل عميق للأساس النظري للخصائص المشتركة في المجال الترددي
تحسين الكفاءة: تقليل التكلفة الحسابية وتحسين الجدوى العملية
أبحاث الدفاع: استكشاف آليات الدفاع ضد COGO
التطبيق الموسع: توسيع الطريقة لتطبيقها على متغيرات محولات الرؤية الأخرى

التقييم المتعمق

المزايا

ابتكار قوي: تحليل جديد لقابلية نقل العينات الخصومة من منظور الخصائص المشتركة والفردية، فكرة مبتكرة
تصميم طريقة منهجي: يتم تصميم مكونات CE و IS بشكل معقول، مما يشكل إطار تحسين كامل
تجارب شاملة: تغطي معماريات نماذج وسيناريوهات هجوم متعددة، مع نتائج مقنعة
تحسن أداء كبير: تحسن واضح مقارنة بالطرق الموجودة، يصل إلى مستوى SOTA جديد
تحليل عميق: يوفر رؤى عميقة مثل تحليل تشتت التدرج

أوجه القصور

الأساس النظري: الشرح النظري للخصائص المشتركة في التردد المتوسط والمنخفض غير كافٍ
الكفاءة الحسابية: تضيف تحويلات المجال الترددي وتحليل التدرج تعقيداً حسابياً
نطاق التطبيق: موجهة بشكل أساسي نحو ViTs، مع قابلية تطبيق محدودة على معماريات أخرى
الاعتبارات الدفاعية: لم يتم الأخذ في الاعتبار الدفاع التكيفي بشكل كافٍ

التأثير

القيمة الأكاديمية: توفر فكرة تحسين جديدة لأبحاث الهجمات الخصومة
القيمة العملية: يمكن استخدامها لتقييم قوة ViTs
قابلية الاستنساخ: توفر تفاصيل تنفيذ شاملة وإعدادات معاملات فائقة
القيمة الإلهامية: قد يلهم إطار تحليل الخصائص المشتركة والفردية أبحاثاً ذات صلة أخرى

السيناريوهات القابلة للتطبيق

تقييم قوة النموذج: تقييم أمان ViTs تحت الهجمات الخصومة
التدريب الخصومة: توليد عينات تدريب أكثر تحدياً
أبحاث الأمان: فهم وتحسين أمان نماذج التعلم العميق
الهجمات عبر النماذج: في سيناريوهات الصندوق الأسود حيث لا يمكن الحصول على معلومات النموذج الهدف

المراجع

تستشهد الورقة بالأعمال المهمة في المجالات ذات الصلة، بما في ذلك:

أعمال أساسية في محولات الرؤية Dosovitskiy et al., 2020
الطرق الكلاسيكية للهجمات الخصومة Goodfellow, 2014; Madry et al., 2017
طرق الهجوم الخاصة بـ ViT Zhang et al., 2023; Zhu et al., 2024
أبحاث الهجمات في المجال الترددي Long et al., 2022

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة في مجال الهجمات الخصومة، تتمتع بأداء ممتازة من حيث الابتكار المنهجي وتصميم التجارب وتحليل النتائج. توفر طريقة COGO من خلال استراتيجية مزدوجة لتعزيز الخصائص المشتركة وقمع الخصائص الفردية حلاً فعالاً لتحسين قابلية نقل العينات الخصومة، وتتمتع بقيمة مهمة لأبحاث أمان ViT.