2025-11-25T16:19:18.181446

The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition

Yuan, Han, Li et al.
Recently, traffic sign recognition (TSR) systems have become a prominent target for physical adversarial attacks. These attacks typically rely on conspicuous stickers and projections, or using invisible light and acoustic signals that can be easily blocked. In this paper, we introduce a novel attack medium, i.e., fluorescent ink, to design a stealthy and effective physical adversarial patch, namely FIPatch, to advance the state-of-the-art. Specifically, we first model the fluorescence effect in the digital domain to identify the optimal attack settings, which guide the real-world fluorescence parameters. By applying a carefully designed fluorescence perturbation to the target sign, the attacker can later trigger a fluorescent effect using invisible ultraviolet light, causing the TSR system to misclassify the sign and potentially leading to traffic accidents. We conducted a comprehensive evaluation to investigate the effectiveness of FIPatch, which shows a success rate of 98.31% in low-light conditions. Furthermore, our attack successfully bypasses five popular defenses and achieves a success rate of 96.72%.
academic

الحجاب المتوهج: رقعة خصومية فيزيائية خفية وفعالة ضد التعرف على إشارات المرور

المعلومات الأساسية

  • معرّف الورقة: 2409.12394
  • العنوان: The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition
  • المؤلفون: Shuai Yuan, Xingshuo Han, Hongwei Li, Guowen Xu, Wenbo Jiang, Tao Ni, Qingchuan Zhao, Yuguang Fang
  • التصنيف: cs.CV cs.AI
  • المؤتمر: المؤتمر الـ 39 حول أنظمة معالجة المعلومات العصبية (NeurIPS 2025)
  • رابط الورقة: https://arxiv.org/abs/2409.12394

الملخص

تقدم هذه الورقة طريقة هجوم خصومية فيزيائية جديدة ضد أنظمة التعرف على إشارات المرور (TSR). تعتمد طرق الهجوم الحالية على ملصقات واضحة أو إسقاطات أو إشارات ضوء غير مرئي وصوتية يسهل حجبها. يقدم المؤلفون الحبر المتوهج كوسيط هجوم جديد، ويصممون رقعة خصومية فيزيائية خفية وفعالة تسمى FIPatch. تقوم الطريقة أولاً بنمذجة التأثير المتوهج في المجال الرقمي لتحديد معاملات الهجوم المثلى، ثم تطبق اضطرابات متوهجة مصممة بعناية على الإشارة المستهدفة. يمكن للمهاجم تشغيل التأثير المتوهج من خلال ضوء فوق بنفسجي غير مرئي، مما يؤدي إلى سوء تصنيف نظام TSR وقد يسبب حوادث مرورية. تُظهر التجارب أن FIPatch يحقق معدل نجاح بنسبة 98.31% في ظروف الإضاءة المنخفضة، ويمكنه تجاوز خمس طرق دفاع رئيسية برسبة نجاح تبلغ 96.72%.

الخلفية البحثية والدافع

تعريف المشكلة

أنظمة التعرف على إشارات المرور كمكون حاسم في القيادة الذاتية، معرضة للهجوم بواسطة العينات الخصومية. تعاني طرق الهجوم الفيزيائي الخصومية الحالية من القيود التالية:

  1. مشكلة الرؤية: الهجمات القائمة على الملصقات مريبة بصرياً وسهلة الكشف
  2. عدم الانتقائية: بمجرد النشر، تهاجم جميع المركبات بدون تمييز
  3. سهولة الدفاع: الإسقاط بالضوء المرئي يسهل تتبعه، وأشعة الليزر تحت الحمراء يمكن حجبها بالمرشحات
  4. ضعف الجدوى العملية: هجمات الإشارات الصوتية يسهل حجبها بآليات الحماية الفيزيائية

دافع البحث

اكتشف المؤلفون أن الحبر المتوهج يتمتع بمزايا فريدة:

  • الخفاء: شفاف في البيئة العادية، يصعب اكتشافه
  • التحكم: يظهر التأثير المتوهج فقط عند التعرض لضوء فوق بنفسجي بطول موجي محدد
  • مقاومة الدفاع: الضوء المنبعث ضمن الطيف المرئي، يصعب الدفاع عنه بالمرشحات

المساهمات الأساسية

  1. إدخال الحبر المتوهج لأول مرة لبناء رقع خصومية فيزيائية، مما يفتح متجهاً هجومياً جديداً
  2. تصميم إطار عمل هجوم FIPatch يتضمن أربع وحدات: التحديد الآلي، النمذجة المتوهجة، التحسين، وتعزيز الثبات
  3. اقتراح ثلاثة أهداف هجومية: هجمات الإخفاء، هجمات التوليد، وهجمات سوء التصنيف
  4. إجراء تقييم شامل يتحقق من فعالية الهجوم وثباته في العالمين الرقمي والفيزيائي

شرح الطريقة

تعريف المهمة

يهدف هجوم FIPatch إلى تطبيق اضطرابات حبر متوهج على إشارات المرور، بحيث يؤدي التشغيل بضوء فوق بنفسجي إلى ثلاثة أنواع من الأخطاء في نظام TSR:

  • هجمات الإخفاء: جعل النظام غير قادر على اكتشاف إشارة المرور
  • هجمات التوليد: جعل النظام يكتشف إشارات مرور مزيفة
  • هجمات سوء التصنيف: جعل النظام يصنف إشارة المرور بشكل خاطئ

معمارية النموذج

1. وحدة التحديد الآلي لإشارات المرور

تستخدم عملية ثلاثية الخطوات لتحديد منطقة إشارة المرور بدقة:

معادلة الرسم البياني: يتم التطبيق عندما تستوفي الصورة الشرط التالي:

P99(t(x(i,j))) - P1(t(x(i,j))) / max(t(x(i,j))) - min(t(x(i,j))) < Th

كشف حافة Canny: استخدام عتبات مخصصة لكشف حواف إشارات المرور

الكشف القائم على اللون: تحديد نطاقات لون HSV لكشف المناطق الصفراء والزرقاء والحمراء والسوداء

2. وحدة النمذجة المتوهجة

تعريف التوهج: يتم تحديد منطقة التوهج الدائرية بالمعاملات:

θ0 = ((x0, y0), r0, γ0, α0)

حيث:

  • (x0, y0): إحداثيات المركز
  • r0: نصف القطر
  • γ0: لون RGB
  • α0: الشفافية

دالة الاضطراب: يتم تعريف الاضطراب للدائرة الواحدة كالتالي:

π(x; θ0)(i,j) = x(i,j) · (1-α(i,j)) + α(i,j) · γ0

نمذجة شدة التوهج: محاكاة تأثير الضوء فوق البنفسجي من خلال تحويل فضاء اللون LAB:

LAB(xadv)(i,j) = {
    LAB(x)(i,j) · [l1,1,1]T, (i,j) ∈ A ∧ (i,j) ∉ F
    LAB(x)(i,j) · [l2,1,1]T, (i,j) ∈ F  
    LAB(x)(i,j) · [1,1,1]T,  (i,j) ∉ A
}

3. وحدة تحسين التوهج

دالة الهدف:

min Ex∼X,t∼T [ℓgoal + λℓarea]

دوال الخسارة المستندة إلى الهدف:

  • هجمات الإخفاء: ℓgoal = Pr(object) · Pr(class) + βIoU
  • هجمات التوليد: ℓgoal = -Pr(object) · Pr(class)
  • هجمات سوء التصنيف: ℓgoal = log(py)

خسارة المساحة: تقليل مساحة الاضطراب

ℓarea = min Σ(i=1 to K) πri²

تحسين السرب الجزيئي: استخدام خوارزمية PSO لتحسين فضاء المعاملات المنفصلة في الإعدادات ذات الصندوق الأسود

4. وحدة تعزيز الثبات

التوقع المحول (EOT): توسيع توزيع التحويل للتكيف مع التغييرات البيئية الفيزيائية لمادة الحبر المتوهج، بما في ذلك:

  • تغييرات الخلفية
  • تعديل الإضاءة
  • تحويلات المنظور
  • تغييرات المسافة
  • الدوران والحركة الضبابية

تحويل الشفافية: محاكاة تغير شفافية الحبر المتوهج بمرور الوقت

نقاط الابتكار التقني

  1. النمذجة الرقمية للتأثير المتوهج: أول محاولة لتحويل الخصائص الفيزيائية للمواد المتوهجة إلى معاملات وتحسينها للهجوم الخصومي
  2. استراتيجية هجوم متعددة الأهداف: تصميم دوال خسارة مختلفة لمهام الكشف والتصنيف
  3. الأخذ في الاعتبار القيود الفيزيائية: ضمان تطبيق الاضطراب فقط على سطح الإشارة الفعلي من خلال التحديد الآلي
  4. التكيف البيئي: الأخذ في الاعتبار تأثير الإضاءة والمسافة والزاوية وعوامل أخرى في العالم الحقيقي

إعداد التجارب

مجموعات البيانات

  • GTSRB: مجموعة بيانات معيار التعرف على إشارات المرور الألمانية
  • CTSRD: قاعدة بيانات التعرف على إشارات المرور الصينية

مقاييس التقييم

معدل نجاح الهجوم (ASR):

ASR = (1/N) Σ I_{F(x,untri)=y & F(x,tri)≠y}(x)

طرق المقارنة

تقييم 10 نماذج مختلفة:

  • كاشفات: YOLOv3, Faster R-CNN
  • مصنفات: CNN, Inception v3, MobileNet v2, GoogleNet, ResNet50, ResNet101, VGG13, VGG16

تفاصيل التنفيذ

  • حجم الإدخال: 416×416 للكاشفات، 32×32 للمصنفات (299×299 لـ Inception v3)
  • عدد الاستعلامات: 1500
  • معاملات PSO: 30 تكراراً، 5 إعادات عشوائية
  • معدات التجارب الفيزيائية: Tesla Model Y، مصابيح فوق بنفسجية متعددة الطاقة (40W-120W)

نتائج التجارب

النتائج الرئيسية

معدل نجاح الهجوم في العالم الفيزيائي

أداء ASR في ظروف إضاءة بيئية مختلفة:

الإضاءة البيئية (Lux)هجمات التوليد (YOLOv3)هجمات الإخفاء (YOLOv3)هجمات سوء التصنيف (ResNet50)
20098.31%91.59%100%
50098.72%83.64%99.35%
100095.22%69.19%94.26%
200094.06%53.81%90.59%
300089.63%31.48%84.12%

معدل نجاح الهجوم في العالم الرقمي

في الإعدادات ذات الصندوق الأسود، يقترب معدل ASR لمعظم النماذج من 100%، مع معدل نجاح الهجوم المنقول بين 69%-95%.

تجارب الاستئصال

تأثير العوامل البيئية

  1. المسافة والزاوية: معدل ASR لنموذج CNN أكثر من 91% في جميع المسافات، بينما ينخفض Inception v3 إلى 70%-77% على المسافات البعيدة
  2. قوة مصباح الأشعة فوق البنفسجية: عند 40W يصل أقل معدل ASR لـ Inception v3 إلى 77%، وعند 120W يتجاوز معدل ASR لجميع النماذج 97%
  3. تأثير سرعة السيارة: عند السرعة <10 km/h يكون ASR >93%، وعند تجاوز 15 km/h ينخفض معدل ASR بشكل كبير لبعض النماذج
  4. مسافة مصباح الأشعة فوق البنفسجية: لا يزال هناك معدل ASR أكثر من 81% على مسافة 8 أمتار

تحليل تأثير المعاملات

  • نصف القطر: عادة ما يؤدي نصف القطر الأكبر إلى معدل ASR أعلى
  • اللون: يحقق C(255,255,0) و C(127,127,255) أفضل النتائج
  • الموضع: معدل نجاح الهجوم أعلى في منطقة مركز الصورة
  • الشكل: الدوائر أكثر فعالية من الخطوط والمنحنيات

القدرة على تجاوز الدفاع

اختبار 5 طرق دفاع رئيسية:

طريقة الدفاعResNet50Inception v3متوسط انخفاض ASR
تمويه الصورة-0.93%+0.39%تأثير ضئيل
ضغط الميزات-1.65%-0.39%<2%
عشوائية الإدخال-0.29%-0.21%<1%
التدريب الخصومي-0.84%+0.42%تأثير ضئيل
Dropout الدفاعي-2.30%-2.03%الأكثر فعالية (2-3%)

الأعمال ذات الصلة

تصنيف الهجمات الخصومية الفيزيائية

  1. الهجمات القائمة على الملصقات: سهلة النشر لكن مريبة بصرياً، تهاجم بدون تمييز
  2. الهجمات القائمة على إشارات ضوئية:
    • الضوء المرئي (الإسقاط/الليزر): يسهل تتبعه
    • أشعة الليزر تحت الحمراء: يمكن حجبها بمرشحات الأشعة تحت الحمراء
  3. الهجمات القائمة على الإشارات الصوتية: يسهل حجبها بآليات الحماية الفيزيائية

مزايا هذه الورقة

مقارنة بالطرق الحالية، يتمتع FIPatch بـ:

  • خفاء أعلى (حبر شفاف)
  • قدرة أقوى على مقاومة الدفاع (انبعاث ضوء مرئي)
  • آلية تشغيل مرنة (التحكم بضوء فوق بنفسجي)
  • جدوى عملية أفضل (مواد منخفضة التكلفة)

الخلاصة والنقاش

الاستنتاجات الرئيسية

  1. جدوى هجمات الحبر المتوهج: إثبات أول لفعالية المواد المتوهجة في مهاجمة أنظمة TSR
  2. معدل نجاح هجوم عالي: يصل إلى 98.31% في ظروف الإضاءة المنخفضة
  3. قدرة قوية على تجاوز الدفاع: طرق الدفاع الحالية غير فعالة بشكل أساسي، مع تقليل معدل النجاح بحد أقصى 2-3%
  4. التهديد الفعلي: يُظهر تهديداً أماناً كبيراً في البيئات الحقيقية

القيود

  1. الحساسية تجاه الإضاءة البيئية: الإضاءة البيئية القوية (>1000 Lux) تقلل بشكل كبير من فعالية الهجوم
  2. عدم كفاية التقييم على مستوى النظام: الاختبار يتم بشكل أساسي على مستوى مكونات الذكاء الاصطناعي، مع نقص التقييم على نظام القيادة الذاتية الكامل
  3. قيود مسافة الكشف: يتطلب مسافة نسبية قريبة لتنفيذ هجوم فعال

الاتجاهات المستقبلية

  1. التطبيق على الأسطح المنحنية: دراسة التحديات المتعلقة بتطبيق المواد المتوهجة على الأسطح المنحنية
  2. آليات الدفاع: تطوير طرق دفاع فعالة ضد FIPatch
  3. التعاون بين المركبات: الاستفادة من الاستشعار التعاوني بين المركبات لتحسين ثبات النظام

التقييم المتعمق

المزايا

  1. ابتكار قوي: إدخال الحبر المتوهج لأول مرة كوسيط هجوم خصومي، فتح اتجاه بحثي جديد
  2. اكتمال الطريقة: إطار عمل هجوم كامل من النمذجة النظرية إلى النشر العملي
  3. تجارب شاملة: تقييم كامل في العالمين الرقمي والفيزيائي، مع الأخذ في الاعتبار عوامل بيئية متعددة
  4. قيمة عملية عالية: الكشف عن ثغرة أمان جديدة في أنظمة TSR، ذات أهمية أمنية كبيرة

أوجه القصور

  1. الاعتبارات الأخلاقية: على الرغم من الموافقة الأخلاقية، قد تُستخدم طريقة الهجوم بنوايا خبيثة
  2. نقص البحث الدفاعي: الحلول الدفاعية المقترحة بسيطة نسبياً، تفتقر إلى البحث المتعمق
  3. غياب تحليل التكلفة: لم يتم تحليل تكلفة الهجوم وتوازن صعوبة الكشف بشكل تفصيلي
  4. الاستقرار طويل الأجل: لم يتم مناقشة الاستقرار طويل الأجل للحبر المتوهج والتأثيرات البيئية بشكل كافٍ

التأثير

  1. المساهمة الأكاديمية: توفير متجه هجوم جديد وطريقة نمذجة لبحث الهجمات الخصومية
  2. التحذير الأماني: تنبيه مطوري أنظمة القيادة الذاتية إلى تهديدات الهجمات الفيزيائية الجديدة
  3. الدفع التكنولوجي: قد يعزز تطوير أنظمة TSR أكثر ثباتاً وآليات دفاع فعالة

السيناريوهات القابلة للتطبيق

  1. تقييم الأمان: تقييم أمان وثبات أنظمة TSR
  2. بحث الدفاع: استخدام كطريقة هجوم معيارية لتطوير واختبار آليات الدفاع
  3. تعزيز النظام: توجيه التصميم الآمن ونشر أنظمة القيادة الذاتية

المراجع

تستشهد الورقة بعدد كبير من الأعمال ذات الصلة، تشمل بشكل أساسي:

  • نظرية أساسيات العينات الخصومية (Goodfellow et al., Carlini & Wagner وآخرون)
  • طرق الهجمات الخصومية الفيزيائية (Eykholt et al., Song et al. وآخرون)
  • أنظمة التعرف على إشارات المرور (YOLO, Faster R-CNN وآخرون)
  • آليات الدفاع (Cohen et al., Madry et al. وآخرون)

التقييم الشامل: هذه ورقة بحثية عالية الجودة في مجال الأمان، تقدم طريقة هجوم مبتكرة وتجري عليها تحقق تجريبي شامل. على الرغم من وجود بعض القيود، فإن قيمتها الأكاديمية والعملية مهمة جداً، وتلعب دوراً إيجابياً في دفع البحث الأماني لأنظمة القيادة الذاتية.