2025-11-25T16:19:18.181446

The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition

Yuan, Han, Li et al.

Recently, traffic sign recognition (TSR) systems have become a prominent target for physical adversarial attacks. These attacks typically rely on conspicuous stickers and projections, or using invisible light and acoustic signals that can be easily blocked. In this paper, we introduce a novel attack medium, i.e., fluorescent ink, to design a stealthy and effective physical adversarial patch, namely FIPatch, to advance the state-of-the-art. Specifically, we first model the fluorescence effect in the digital domain to identify the optimal attack settings, which guide the real-world fluorescence parameters. By applying a carefully designed fluorescence perturbation to the target sign, the attacker can later trigger a fluorescent effect using invisible ultraviolet light, causing the TSR system to misclassify the sign and potentially leading to traffic accidents. We conducted a comprehensive evaluation to investigate the effectiveness of FIPatch, which shows a success rate of 98.31% in low-light conditions. Furthermore, our attack successfully bypasses five popular defenses and achieves a success rate of 96.72%.

academic

द फ्लोरेसेंट वेल: ट्रैफिक साइन रिकग्निशन के विरुद्ध एक गुप्त और प्रभावी भौतिक प्रतिकूल पैच

मूल जानकारी

पेपर आईडी: 2409.12394
शीर्षक: द फ्लोरेसेंट वेल: ट्रैफिक साइन रिकग्निशन के विरुद्ध एक गुप्त और प्रभावी भौतिक प्रतिकूल पैच
लेखक: शुआई युआन, जिंगशुओ हान, होंगवेई ली, गुओवेन जू, वेनबो जियांग, ताओ नी, किंगचुआन झाओ, युगुआंग फैंग
वर्गीकरण: cs.CV cs.AI
प्रकाशन सम्मेलन: न्यूरल इनफॉर्मेशन प्रोसेसिंग सिस्टम्स पर 39वां सम्मेलन (NeurIPS 2025)
पेपर लिंक: https://arxiv.org/abs/2409.12394

सारांश

यह पेपर ट्रैफिक साइन रिकग्निशन (TSR) प्रणालियों के विरुद्ध एक नोवल भौतिक प्रतिकूल हमले की विधि प्रस्तावित करता है। मौजूदा हमले की विधियां स्पष्ट स्टिकर, प्रोजेक्शन या आसानी से अवरुद्ध किए जा सकने वाले अदृश्य प्रकाश और ध्वनिक संकेतों पर निर्भर करती हैं। लेखकों ने फ्लोरेसेंट स्याही को एक नए हमले के माध्यम के रूप में पेश किया है और FIPatch नामक एक गुप्त और प्रभावी भौतिक प्रतिकूल पैच डिजाइन किया है। यह विधि पहले डिजिटल डोमेन में फ्लोरेसेंट प्रभाव को मॉडल करती है ताकि इष्टतम हमले के पैरामीटर निर्धारित किए जा सकें, फिर लक्ष्य साइन पर सावधानीपूर्वक डिजाइन किए गए फ्लोरेसेंट विक्षोभ को लागू करती है। हमलावर अदृश्य पराबैंगनी प्रकाश के माध्यम से फ्लोरेसेंट प्रभाव को ट्रिगर कर सकता है, जिससे TSR प्रणाली गलत वर्गीकरण करती है और संभावित रूप से ट्रैफिक दुर्घटनाएं हो सकती हैं। प्रयोगों से पता चलता है कि FIPatch कम प्रकाश की स्थितियों में 98.31% की सफलता दर प्राप्त करता है और पांच मुख्यधारा की रक्षा विधियों को 96.72% की सफलता दर के साथ दरकिनार कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

ट्रैफिक साइन रिकग्निशन प्रणाली स्वायत्त ड्राइविंग का एक महत्वपूर्ण घटक है, जो प्रतिकूल नमूनों के हमलों के लिए असुरक्षित है। मौजूदा भौतिक प्रतिकूल हमलों में निम्नलिखित सीमाएं हैं:

दृश्यमानता समस्या: स्टिकर-आधारित हमले दृष्टि से संदिग्ध होते हैं और आसानी से खोजे जा सकते हैं
गैर-चयनात्मकता: एक बार तैनात होने के बाद सभी वाहनों पर अंधाधुंध हमला करते हैं
रक्षा में आसानी: दृश्यमान प्रकाश प्रोजेक्शन को ट्रैक करना आसान है, अवरक्त लेजर को फिल्टर द्वारा अवरुद्ध किया जा सकता है
खराब व्यावहारिकता: ध्वनिक संकेत हमले भौतिक संकेत सुरक्षा तंत्र द्वारा आसानी से अवरुद्ध हो जाते हैं

अनुसंधान प्रेरणा

लेखकों ने पाया कि फ्लोरेसेंट स्याही में अद्वितीय लाभ हैं:

गोपनीयता: सामान्य वातावरण में पारदर्शी, पहचानना कठिन है
नियंत्रणीयता: केवल विशिष्ट तरंग दैर्ध्य पराबैंगनी प्रकाश के तहत फ्लोरेसेंट प्रभाव दिखाई देता है
रक्षा प्रतिरोध: उत्सर्जित प्रकाश दृश्यमान प्रकाश स्पेक्ट्रम में होता है, फिल्टर द्वारा रक्षा करना कठिन है

मुख्य योगदान

पहली बार फ्लोरेसेंट स्याही का परिचय भौतिक प्रतिकूल पैच के निर्माण के लिए, एक नए हमले के वेक्टर को खोलता है
FIPatch हमले की रूपरेखा डिजाइन की, जिसमें स्वचालित स्थिति निर्धारण, फ्लोरेसेंट मॉडलिंग, अनुकूलन और मजबूती वृद्धि के चार मॉड्यूल शामिल हैं
तीन प्रकार के हमले के लक्ष्य प्रस्तावित किए: छिपाव हमला, उत्पादन हमला और गलत पहचान हमला
व्यापक मूल्यांकन किया, डिजिटल और भौतिक दुनिया में हमले की प्रभावशीलता और मजबूती को सत्यापित किया

विधि विवरण

कार्य परिभाषा

FIPatch हमला ट्रैफिक साइन पर फ्लोरेसेंट स्याही विक्षोभ लागू करके, पराबैंगनी प्रकाश ट्रिगर के तहत TSR प्रणाली को निम्नलिखित तीन प्रकार की त्रुटियां करने का लक्ष्य रखता है:

छिपाव हमला: प्रणाली को ट्रैफिक साइन का पता लगाने में असमर्थ बनाता है
उत्पादन हमला: प्रणाली को नकली ट्रैफिक साइन का पता लगाने के लिए बनाता है
गलत पहचान हमला: प्रणाली को ट्रैफिक साइन को गलत श्रेणी में वर्गीकृत करने के लिए बनाता है

मॉडल आर्किटेक्चर

1. स्वचालित ट्रैफिक साइन स्थिति निर्धारण मॉड्यूल

ट्रैफिक साइन क्षेत्र को सटीक रूप से स्थित करने के लिए तीन-चरणीय दृष्टिकोण का उपयोग करता है:

हिस्टोग्राम समानीकरण: जब छवि निम्नलिखित शर्त को पूरा करती है तो लागू किया जाता है:

P99(t(x(i,j))) - P1(t(x(i,j))) / max(t(x(i,j))) - min(t(x(i,j))) < Th

Canny किनारा पहचान: ट्रैफिक साइन किनारों का पता लगाने के लिए कस्टम थ्रेशोल्ड का उपयोग करता है

रंग-आधारित पहचान: पीले, नीले, लाल और काले क्षेत्रों का पता लगाने के लिए HSV रंग सीमा को परिभाषित करता है

2. फ्लोरेसेंट मॉडलिंग मॉड्यूल

फ्लोरेसेंट परिभाषा: वृत्ताकार फ्लोरेसेंट क्षेत्र को पैरामीटर के रूप में परिभाषित किया जाता है:

θ0 = ((x0, y0), r0, γ0, α0)

जहां:

(x0, y0): वृत्त का केंद्र निर्देशांक
r0: त्रिज्या
γ0: RGB रंग
α0: पारदर्शिता

विक्षोभ फ़ंक्शन: एकल वृत्त का विक्षोभ इस प्रकार परिभाषित किया जाता है:

π(x; θ0)(i,j) = x(i,j) · (1-α(i,j)) + α(i,j) · γ0

फ्लोरेसेंट तीव्रता मॉडलिंग: UV प्रकाश प्रभाव को अनुकरण करने के लिए LAB रंग स्थान रूपांतरण के माध्यम से:

LAB(xadv)(i,j) = {
    LAB(x)(i,j) · [l1,1,1]T, (i,j) ∈ A ∧ (i,j) ∉ F
    LAB(x)(i,j) · [l2,1,1]T, (i,j) ∈ F  
    LAB(x)(i,j) · [1,1,1]T,  (i,j) ∉ A
}

3. फ्लोरेसेंट अनुकूलन मॉड्यूल

उद्देश्य फ़ंक्शन:

min Ex∼X,t∼T [ℓgoal + λℓarea]

लक्ष्य-आधारित हानि फ़ंक्शन:

छिपाव हमला: ℓgoal = Pr(object) · Pr(class) + βIoU
उत्पादन हमला: ℓgoal = -Pr(object) · Pr(class)
गलत पहचान हमला: ℓgoal = log(py)

क्षेत्र हानि: विक्षोभ क्षेत्र को कम करता है

ℓarea = min Σ(i=1 to K) πri²

कण झुंड अनुकूलन: ब्लैक-बॉक्स सेटिंग में असतत पैरामीटर स्थान को अनुकूलित करने के लिए PSO एल्गोरिदम का उपयोग करता है

4. मजबूती वृद्धि मॉड्यूल

रूपांतरण अपेक्षा (EOT): फ्लोरेसेंट सामग्री के भौतिक वातावरण परिवर्तनों के अनुकूल होने के लिए रूपांतरण वितरण का विस्तार करता है, जिसमें शामिल हैं:

पृष्ठभूमि परिवर्तन
चमक समायोजन
परिप्रेक्ष्य रूपांतरण
दूरी परिवर्तन
घूर्णन और गति धुंधलापन

पारदर्शिता रूपांतरण: समय के साथ फ्लोरेसेंट स्याही की पारदर्शिता परिवर्तन को अनुकरण करता है

तकनीकी नवाचार बिंदु

फ्लोरेसेंट प्रभाव का डिजिटल मॉडलिंग: पहली बार फ्लोरेसेंट सामग्री के भौतिक गुणों को पैरामीटर किया गया और प्रतिकूल हमले अनुकूलन के लिए उपयोग किया गया
बहु-लक्ष्य हमले की रणनीति: पहचान और वर्गीकरण कार्यों के लिए विभिन्न हानि फ़ंक्शन डिजाइन किए गए
भौतिक बाधाओं पर विचार: स्वचालित स्थिति निर्धारण के माध्यम से यह सुनिश्चित करता है कि विक्षोभ केवल वास्तविक साइन सतह पर लागू हो सकता है
पर्यावरणीय अनुकूलनशीलता: वास्तविक दुनिया में प्रकाश, दूरी, कोण आदि कारकों के प्रभाव पर विचार किया गया

प्रयोग सेटअप

डेटासेट

GTSRB: जर्मन ट्रैफिक साइन रिकग्निशन बेंचमार्क डेटासेट
CTSRD: चीनी ट्रैफिक साइन रिकग्निशन डेटाबेस

मूल्यांकन मेट्रिक्स

हमले की सफलता दर (ASR):

ASR = (1/N) Σ I_{F(x,untri)=y & F(x,tri)≠y}(x)

तुलनात्मक विधियां

10 विभिन्न मॉडलों का मूल्यांकन किया गया:

डिटेक्टर: YOLOv3, Faster R-CNN
वर्गीकारक: CNN, Inception v3, MobileNet v2, GoogleNet, ResNet50, ResNet101, VGG13, VGG16

कार्यान्वयन विवरण

इनपुट आकार: डिटेक्टर 416×416, वर्गीकारक 32×32 (Inception v3 के लिए 299×299)
क्वेरी संख्या: 1500
PSO पैरामीटर: 30 पुनरावृत्तियां, 5 यादृच्छिक पुनः प्रारंभ
भौतिक प्रयोग उपकरण: Tesla Model Y, विभिन्न शक्ति UV लैंप (40W-120W)

प्रयोग परिणाम

मुख्य परिणाम

भौतिक दुनिया में हमले की सफलता दर

विभिन्न पर्यावरणीय प्रकाश स्थितियों में ASR प्रदर्शन:

पर्यावरणीय प्रकाश (Lux)	उत्पादन हमला (YOLOv3)	छिपाव हमला (YOLOv3)	गलत पहचान हमला (ResNet50)
200	98.31%	91.59%	100%
500	98.72%	83.64%	99.35%
1000	95.22%	69.19%	94.26%
2000	94.06%	53.81%	90.59%
3000	89.63%	31.48%	84.12%

डिजिटल दुनिया में हमले की सफलता दर

ब्लैक-बॉक्स सेटिंग में, अधिकांश मॉडलों की ASR 100% के करीब है, स्थानांतरण हमले की सफलता दर 69%-95% के बीच है।

विलोपन प्रयोग

पर्यावरणीय कारकों का प्रभाव

दूरी और कोण: CNN मॉडल सभी दूरियों पर ASR>91%, Inception v3 दूर की दूरी पर 70%-77% तक गिरता है
UV लैंप शक्ति: 40W पर Inception v3 न्यूनतम ASR 77%, 120W पर सभी मॉडलों की ASR>97%
वाहन गति प्रभाव: गति <10km/h पर ASR>93%, 15km/h से अधिक पर कुछ मॉडलों की ASR में उल्लेखनीय गिरावट
UV लैंप दूरी: 8 मीटर दूरी पर भी 81% से अधिक ASR

पैरामीटर प्रभाव विश्लेषण

त्रिज्या: बड़ी त्रिज्या आमतौर पर उच्च ASR लाती है
रंग: C(255,255,0) और C(127,127,255) सर्वोत्तम प्रभाव दिखाते हैं
स्थिति: छवि के केंद्रीय क्षेत्र में हमले की सफलता दर सर्वोच्च है
आकार: वृत्त सीधी रेखा और वक्र से अधिक प्रभावी है

रक्षा बायपास क्षमता

5 मुख्यधारा की रक्षा विधियों का परीक्षण किया गया:

रक्षा विधि	ResNet50	Inception v3	औसत ASR में कमी
छवि चिकनाई	-0.93%	+0.39%	न्यूनतम प्रभाव
विशेषता संपीड़न	-1.65%	-0.39%	<2%
इनपुट यादृच्छिकीकरण	-0.29%	-0.21%	<1%
प्रतिकूल प्रशिक्षण	-0.84%	+0.42%	न्यूनतम प्रभाव
रक्षा Dropout	-2.30%	-2.03%	सबसे प्रभावी (2-3%)

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

फ्लोरेसेंट स्याही हमले की व्यवहार्यता: पहली बार साबित किया कि फ्लोरेसेंट सामग्री TSR प्रणाली को प्रभावी ढंग से हमला कर सकती है
उच्च हमले की सफलता दर: कम प्रकाश की स्थितियों में 98.31% की सफलता दर प्राप्त करता है
मजबूत रक्षा बायपास क्षमता: मौजूदा रक्षा विधियां मूलतः अप्रभावी हैं, अधिकतम 2-3% सफलता दर में कमी
वास्तविक खतरा: वास्तविक वातावरण में महत्वपूर्ण सुरक्षा खतरा प्रदर्शित किया

सीमाएं

पर्यावरणीय प्रकाश संवेदनशीलता: मजबूत पर्यावरणीय प्रकाश (>1000 Lux) हमले के प्रभाव को महत्वपूर्ण रूप से कम करता है
प्रणाली-स्तरीय मूल्यांकन अपर्याप्त: मुख्य रूप से AI घटक स्तर पर परीक्षण किया गया, पूर्ण स्वायत्त ड्राइविंग प्रणाली मूल्यांकन की कमी
पहचान दूरी सीमा: प्रभावी हमले के लिए अपेक्षाकृत कम दूरी की आवश्यकता है

भविष्य की दिशाएं

वक्र सतह अनुप्रयोग: वक्र सतहों पर फ्लोरेसेंट सामग्री लागू करने की चुनौतियों का अनुसंधान
रक्षा तंत्र: FIPatch के विरुद्ध प्रभावी रक्षा विधियां विकसित करना
बहु-वाहन सहयोग: वाहनों के बीच सहयोग संवेदन का उपयोग करके प्रणाली मजबूती में सुधार

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: पहली बार फ्लोरेसेंट स्याही को प्रतिकूल हमले के माध्यम के रूप में पेश किया, एक नई अनुसंधान दिशा खोली
पूर्ण विधि: सिद्धांत मॉडलिंग से वास्तविक तैनाती तक की पूर्ण हमले की रूपरेखा
पर्याप्त प्रयोग: डिजिटल और भौतिक दुनिया का व्यापक मूल्यांकन, कई पर्यावरणीय कारकों पर विचार
उच्च व्यावहारिक मूल्य: TSR प्रणाली के नए सुरक्षा खामियों को प्रकट करता है, महत्वपूर्ण सुरक्षा महत्व रखता है

कमियां

नैतिक विचार: हालांकि नैतिक अनुमोदन का दावा किया गया है, लेकिन हमले की विधि को दुर्भावनापूर्ण रूप से उपयोग किया जा सकता है
अपर्याप्त रक्षा अनुसंधान: प्रस्तावित रक्षा समाधान अपेक्षाकृत सरल हैं, गहन अनुसंधान की कमी
लागत विश्लेषण अनुपस्थित: हमले की लागत और पहचान कठिनाई के बीच संतुलन का विस्तृत विश्लेषण नहीं
दीर्घकालीन स्थिरता: फ्लोरेसेंट स्याही की दीर्घकालीन स्थिरता और पर्यावरणीय प्रभाव पर्याप्त रूप से चर्चा नहीं की गई

प्रभाव

शैक्षणिक योगदान: प्रतिकूल हमले अनुसंधान के लिए एक नए हमले के वेक्टर और मॉडलिंग विधि प्रदान करता है
सुरक्षा चेतावनी: स्वायत्त ड्राइविंग प्रणाली विकास कर्ताओं को नए भौतिक हमले के खतरों के बारे में सचेत करता है
तकनीकी प्रवर्तन: अधिक मजबूत TSR प्रणाली और रक्षा तंत्र के विकास को बढ़ावा दे सकता है

लागू परिदृश्य

सुरक्षा मूल्यांकन: TSR प्रणाली की सुरक्षा और मजबूती का मूल्यांकन करने के लिए
रक्षा अनुसंधान: रक्षा तंत्र विकास और परीक्षण के लिए बेंचमार्क हमले की विधि के रूप में
प्रणाली सुदृढ़ीकरण: स्वायत्त ड्राइविंग प्रणाली की सुरक्षा डिजाइन और तैनाती को निर्देशित करता है

संदर्भ

पेपर में बड़ी संख्या में संबंधित कार्यों का हवाला दिया गया है, मुख्य रूप से शामिल हैं:

प्रतिकूल नमूने मूल सिद्धांत (Goodfellow et al., Carlini & Wagner आदि)
भौतिक प्रतिकूल हमले विधियां (Eykholt et al., Song et al. आदि)
ट्रैफिक साइन रिकग्निशन प्रणाली (YOLO, Faster R-CNN आदि)
रक्षा तंत्र (Cohen et al., Madry et al. आदि)

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला सुरक्षा अनुसंधान पेपर है, जो एक नोवल हमले की विधि प्रस्तावित करता है और पर्याप्त प्रयोग सत्यापन प्रदान करता है। हालांकि कुछ सीमाएं हैं, लेकिन इसका शैक्षणिक मूल्य और व्यावहारिक महत्व दोनों महत्वपूर्ण हैं, स्वायत्त ड्राइविंग प्रणाली सुरक्षा अनुसंधान को आगे बढ़ाने में सकारात्मक भूमिका निभाता है।