2025-11-12T14:07:10.510276

Structured Universal Adversarial Attacks on Object Detection for Video Sequences

Jacob, Shao, Kasneci
Video-based object detection plays a vital role in safety-critical applications. While deep learning-based object detectors have achieved impressive performance, they remain vulnerable to adversarial attacks, particularly those involving universal perturbations. In this work, we propose a minimally distorted universal adversarial attack tailored for video object detection, which leverages nuclear norm regularization to promote structured perturbations concentrated in the background. To optimize this formulation efficiently, we employ an adaptive, optimistic exponentiated gradient method that enhances both scalability and convergence. Our results demonstrate that the proposed attack outperforms both low-rank projected gradient descent and Frank-Wolfe based attacks in effectiveness while maintaining high stealthiness. All code and data are publicly available at https://github.com/jsve96/AO-Exp-Attack.
academic

वीडियो अनुक्रमों पर वस्तु पहचान के लिए संरचित सार्वभौमिक प्रतिकूल हमले

मूल जानकारी

  • पेपर ID: 2510.14460
  • शीर्षक: Structured Universal Adversarial Attacks on Object Detection for Video Sequences
  • लेखक: Sven Jacob (BAuA & TUM), Weijia Shao (BAuA), Gjergji Kasneci (TUM)
  • वर्गीकरण: cs.CV (कंप्यूटर विजन)
  • प्रकाशन तिथि: 16 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.14460v1

सारांश

वीडियो वस्तु पहचान सुरक्षा-महत्वपूर्ण अनुप्रयोगों में महत्वपूर्ण भूमिका निभाती है। हालांकि गहन शिक्षा-आधारित वस्तु पहचान करने वाले प्रभावशाली प्रदर्शन प्राप्त करते हैं, वे प्रतिकूल हमलों के प्रति संवेदनशील रहते हैं, विशेष रूप से सार्वभौमिक विक्षोभ से जुड़े हमले। यह पेपर वीडियो वस्तु पहचान के लिए न्यूनतम विरूपण सार्वभौमिक प्रतिकूल हमले की एक विधि प्रस्तावित करता है, जो पृष्ठभूमि में केंद्रित संरचित विक्षोभ को बढ़ावा देने के लिए परमाणु मानदंड नियमितीकरण का उपयोग करता है। इस सूत्र को कुशलतापूर्वक अनुकूलित करने के लिए, अनुकूली आशावादी घातांकीय ढाल विधि को अपनाया गया है, जो मापनीयता और अभिसरण में सुधार करता है। प्रायोगिक परिणाम दर्शाते हैं कि प्रस्तावित हमले की विधि निम्न-रैंक प्रक्षेपण ढाल वंश और Frank-Wolfe हमलों से बेहतर प्रदर्शन करती है, साथ ही उच्च गोपनीयता बनाए रखती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान वीडियो वस्तु पहचान प्रणालियों के प्रतिकूल हमले की समस्या को संबोधित करता है, विशेष रूप से सुरक्षा-महत्वपूर्ण अनुप्रयोग परिदृश्यों में कमजोरी की समस्या को।

महत्व विश्लेषण

  1. सुरक्षा-महत्वपूर्णता: वीडियो वस्तु पहचान स्वायत्त ड्राइविंग, औद्योगिक सुरक्षा निगरानी, वास्तविक समय निगरानी जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में व्यापक रूप से लागू होती है
  2. वास्तविक खतरा: प्रतिकूल हमले पहचान प्रणाली को विफल कर सकते हैं, गंभीर सुरक्षा दुर्घटनाएं पैदा कर सकते हैं
  3. सार्वभौमिकता चुनौती: सार्वभौमिक प्रतिकूल विक्षोभ (UAP) अधिक खतरनाक हैं क्योंकि वे लक्ष्य मॉडल तक पहुंच के बिना फ्रेम में स्थानांतरित हो सकते हैं

मौजूदा विधियों की सीमाएं

  1. मानदंड बाधा सीमाएं: मौजूदा विधियां मुख्य रूप से ℓ2 और ℓ∞ मानदंड बाधा विक्षोभ पर ध्यान केंद्रित करती हैं
  2. दृश्य पहचान: ℓ1 हमले वीडियो में गतिशील वस्तुओं पर दृश्यमान धब्बे पैदा करते हैं, गोपनीयता को कम करते हैं
  3. अस्थायी सामंजस्य की कमी: प्रत्येक फ्रेम को स्वतंत्र रूप से संसाधित करना वीडियो डेटा की अस्थायी सुसंगतता को नजरअंदाज करता है

अनुसंधान प्रेरणा

मजबूत प्रमुख घटक विश्लेषण और संरचित प्रतिकूल विक्षोभ विधियों के आधार पर, संरचित लेकिन संदिग्ध पृष्ठभूमि संशोधन का उपयोग करके लक्ष्य गायब होने के हमले को प्राप्त करने की एक नई रणनीति प्रस्तावित की गई है।

मुख्य योगदान

  1. नई हमले का सूत्र: परमाणु मानदंड नियमितीकरण के आधार पर न्यूनतम विरूपण सार्वभौमिक हमले का सूत्र प्रस्तावित करता है, जो वीडियो फ्रेम के बीच ऑर्थोगोनल स्पेस पैटर्न के संरचित विक्षोभ को बढ़ावा देता है
  2. कुशल अनुकूलन एल्गोरिथ्म: अनुकूली आशावादी घातांकीय ढाल वंश विधि को अनुकूलित करता है, परमाणु मानदंड बाधा के तहत मापनीय अनुकूलन को लागू करता है
  3. व्यापक प्रायोगिक मूल्यांकन: सार्वजनिक वीडियो डेटासेट और अत्याधुनिक वीडियो वस्तु पहचान मॉडल पर व्यापक मूल्यांकन
  4. प्रदर्शन लाभ: मौजूदा परमाणु मानदंड हमले विधियों की तुलना में, हमले की सफलता दर और कम्प्यूटेशनल दक्षता दोनों में बेहतर प्रदर्शन

विधि विवरण

कार्य परिभाषा

वीडियो फ्रेम अनुक्रम {xb∣1≤b≤B}\{x_b|1 \leq b \leq B\} दिया गया है, लक्ष्य एक सार्वभौमिक प्रतिकूल विक्षोभ δ\delta खोजना है, जो सभी फ्रेम पर लागू होने के बाद लक्ष्य पहचान करने वाले ff को विफल कर सकता है, साथ ही विक्षोभ को न्यूनतम और संरचित रखता है।

मॉडल आर्किटेक्चर

हानि फ़ंक्शन डिज़ाइन

हानि फ़ंक्शन को अग्रभूमि और पृष्ठभूमि हानि में विभाजित किया गया है: L=Lfg+LbgL = L_{fg} + L_{bg}

जहां:

  • अग्रभूमि हानि: Lfg=1∣F∣∑i∈FCE(pi,yi)L_{fg} = \frac{1}{|F|}\sum_{i \in F} CE(p_i, y_i)
  • पृष्ठभूमि हानि: Lbg=1∣B∣∑i∈BCE(pi,yi)L_{bg} = \frac{1}{|B|}\sum_{i \in B} CE(p_i, y_i)
  • आत्मविश्वास हानि: Lconf=∑i∈[S]ξi⋅1(ξi>τ)L_{conf} = \sum_{i \in [S]} \xi_i \cdot \mathbf{1}(\xi_i > \tau)

कुल हानि: Ltotal=αLfg+γLconf+βLbgL_{total} = \alpha L_{fg} + \gamma L_{conf} + \beta L_{bg}

नियमितीकरण डिज़ाइन

Frobenius मानदंड और परमाणु मानदंड का संयोजन अपनाया गया है: R(δ)=λ1∣∣δ∣∣∗+λ2∣∣δ∣∣FR(\delta) = \lambda_1 ||\delta||_* + \lambda_2 ||\delta||_F

अनुकूलन उद्देश्य

सार्वभौमिक हमले की पूर्ण अनुकूलन समस्या: min⁡δ∈RH×W×C−1B∑b=1BLtotal(f(xb+δ),f(xb))+∑c=1C(λ1∣∣δc∣∣∗+λ22∣∣δc∣∣F2)\min_{\delta \in \mathbb{R}^{H \times W \times C}} -\frac{1}{B}\sum_{b=1}^{B} L_{total}(f(x_b + \delta), f(x_b)) + \sum_{c=1}^{C}(\lambda_1||\delta_c||_* + \frac{\lambda_2}{2}||\delta_c||_F^2)

AO-Exp एल्गोरिथ्म

मुख्य विचार

अनुकूली आशावादी घातांकीय ढाल विधि को अपनाता है, SVD अपघटन के माध्यम से निर्णय चर को बनाए रखता है: δct=Uc,tdiag(zct)Vc,tT\delta_c^t = U_{c,t} \text{diag}(z_c^t) V_{c,t}^T

एल्गोरिथ्म चरण

  1. आशावादी अपडेट: ηct←ηct−1+t2∣∣∇G(δct)−∇G(δct−1)∣∣∞2\eta_c^t \leftarrow \eta_c^{t-1} + \frac{t^2}{||\nabla G(\delta_c^t) - \nabla G(\delta_c^{t-1})||_\infty^2}
  2. एकवचन मान अपडेट: zc,it+1=ηctλ2W0(λ2ηctexp⁡(λ2+max⁡{θc,it−λ1,0}ηt))−1z_{c,i}^{t+1} = \frac{\eta_c^t}{\lambda_2} W_0\left(\frac{\lambda_2}{\eta_c^t} \exp\left(\frac{\lambda_2 + \max\{\theta_{c,i}^t - \lambda_1, 0\}}{\eta_t}\right)\right) - 1
  3. विक्षोभ पुनर्निर्माण: δct+1=2t(t+1)∑s=1ts⋅Uc,tdiag(zs,1:kc)Vc,tT\delta_c^{t+1} = \frac{2}{t(t+1)} \sum_{s=1}^{t} s \cdot U_{c,t} \text{diag}(z_{s,1:k}^c) V_{c,t}^T

तकनीकी नवाचार बिंदु

  1. संरचित पृष्ठभूमि विक्षोभ: परमाणु मानदंड नियमितीकरण के माध्यम से निम्न-रैंक संरचना को बढ़ावा देता है, पृष्ठभूमि क्षेत्र में केंद्रित
  2. अस्थायी सामंजस्य: सार्वभौमिक विक्षोभ फ्रेम में अस्थायी सामंजस्य सुनिश्चित करता है
  3. कुशल अनुकूलन: AO-Exp विधि परमाणु मानदंड बाधा के तहत तेजी से अभिसरण को लागू करती है
  4. निम्न-रैंक अनुकूलन: शीर्ष-k एकवचन मानों का चयन करके जानकारी को और संपीड़ित करता है

प्रायोगिक सेटअप

डेटासेट

  1. PETS 2009 S2L1: 7 दृश्य, 768×576 रिज़ॉल्यूशन, औसत 795 फ्रेम/दृश्य
  2. EPFL-RLC: 3 दृश्य, 1920×1080 रिज़ॉल्यूशन, औसत 5000 फ्रेम/दृश्य
  3. CW4C: 15 दृश्य, 1920×880 रिज़ॉल्यूशन, औसत 7200 फ्रेम/दृश्य

मूल्यांकन मेट्रिक्स

  1. IoU संचयी मान (IoUacc): पूरे अनुक्रम पर हमले के प्रभाव का मूल्यांकन
  2. प्रतिकूल बाउंडिंग बॉक्स अनुपात (advBR): प्रतिकूल नमूनों और स्वच्छ नमूनों के बाउंडिंग बॉक्स संख्या का अनुपात
  3. औसत निरपेक्ष विक्षोभ (MAP): धारणा को मापता है
  4. परमाणु मानदंड ∣∣δ∣∣∗||\delta||_*: विक्षोभ की संरचितता का मूल्यांकन

तुलना विधियां

  1. LoRa-PGD: निम्न-रैंक प्रक्षेपण ढाल वंश हमला
  2. FW-Nucl: Frank-Wolfe परमाणु मानदंड समूह हमला
  3. AO-Exp वेरिएंट: निम्न-रैंक अनुकूलन संस्करण सहित

कार्यान्वयन विवरण

  • पुनरावृत्ति संख्या: 100 (AO-Exp और LoRa-PGD), 30 (FW-Nucl)
  • नियमितीकरण पैरामीटर: डेटासेट के अनुसार λ1 और λ2 को समायोजित किया गया
  • लक्ष्य मॉडल: Mask R-CNN

प्रायोगिक परिणाम

मुख्य परिणाम

डेटासेटविधिIoUacc(↓)advBR(↓)MAP(↓)∥∥δ∥∥∗\|\|\delta\|\|_*(↓)
PETS2009FW-Nucl4.77±1.091.04±0.251.2±0.336.5±5.84
LoRa-PGD-1001.22±0.910.63±0.424.0±0.360.3±10.3
AO-Exp0.29±0.270.06±0.042.9±0.141.3±16.6
EPFL-RLCFW-Nucl4.83±0.960.86±0.145.4±2.037.54±1.53
LoRa-PGD-1000.20±0.060.37±0.1114.0±3.043.5±4.3
AO-Exp0.9±0.370.22±0.076.0±4.027.52±15.8

मुख्य निष्कर्ष

  1. हमले का प्रभाव: AO-Exp सभी डेटासेट पर सबसे कम IoUacc और advBR प्राप्त करता है
  2. गोपनीयता: MAP मेट्रिक दर्शाता है कि AO-Exp अच्छी दृश्य गोपनीयता बनाए रखता है
  3. संरचितता की डिग्री: परमाणु मानदंड परिणाम दर्शाते हैं कि AO-Exp अधिक संरचित विक्षोभ उत्पन्न करता है

विलोपन प्रयोग

  1. एकवचन मान संख्या का प्रभाव: EPFL डेटासेट पर विभिन्न k मानों का advBR पर प्रभाव विश्लेषण
  2. निम्न-रैंक अनुकूलन प्रभाव: AO-Exp (LoRa) संस्करण परमाणु मानदंड को काफी कम करता है, तुलनीय प्रदर्शन बनाए रखता है

दृश्य विश्लेषण

  • ℓ1 हमले गतिशील वस्तुओं के बाद झिलमिलाहट शोर उत्पन्न करते हैं
  • परमाणु मानदंड हमले अधिक संरचित स्थानिक सुसंगत विक्षोभ उत्पन्न करते हैं, मुख्य रूप से पृष्ठभूमि क्षेत्र में केंद्रित

संबंधित कार्य

प्रतिकूल हमले अनुसंधान की वर्तमान स्थिति

  1. छवि वर्गीकरण हमले: अनुसंधान अपेक्षाकृत परिपक्व है, विधियां समृद्ध हैं
  2. वस्तु पहचान हमले: अपेक्षाकृत कम, विशेष रूप से वीडियो परिदृश्य में
  3. सार्वभौमिक प्रतिकूल विक्षोभ: इनपुट-स्वतंत्र, सभी इनपुट में एकीकृत रूप से लागू

निम्न-रैंक संरचना अनुसंधान

  1. मैनिफोल्ड परिकल्पना: उच्च-आयामी डेटा निम्न-आयामी मैनिफोल्ड के पास रहने की प्रवृत्ति रखता है
  2. आयाम कमी विधियां: PCA, UMAP, ऑटोएनकोडर आदि
  3. प्रतिकूल अनुप्रयोग: प्रतिकूल हमलों में परमाणु मानदंड नियमितीकरण का अनुप्रयोग

इस पेपर के लाभ

  1. अस्थायी सामंजस्य: वीडियो डेटा की अस्थायी विशेषताओं पर विचार करता है
  2. संरचित डिज़ाइन: पृष्ठभूमि संरचित विक्षोभ को बढ़ावा देने के लिए परमाणु मानदंड का उपयोग करता है
  3. कुशल अनुकूलन: AO-Exp विधि कम्प्यूटेशनल दक्षता में सुधार करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. वीडियो वस्तु पहचान के लिए एक नई संरचित सार्वभौमिक प्रतिकूल हमले की विधि प्रस्तावित की गई है
  2. परमाणु मानदंड नियमितीकरण पृष्ठभूमि क्षेत्र में संरचित विक्षोभ को प्रभावी रूप से बढ़ावा देता है
  3. AO-Exp एल्गोरिथ्म प्रभाव और दक्षता दोनों में मौजूदा विधियों से बेहतर है
  4. विधि कई डेटासेट पर लगातार बाउंडिंग बॉक्स को दबाती है

सीमाएं

  1. स्थिर कैमरा धारणा: वर्तमान विधि स्थिर कैमरा सेटअप मानती है, गतिशील कैमरा परिदृश्यों की प्रयोज्यता को सीमित करती है
  2. हाइपरपैरामीटर संवेदनशीलता: हमले के प्रदर्शन परमाणु मानदंड वजन और Frobenius नियमितीकरण जैसे हाइपरपैरामीटर के चयन के प्रति संवेदनशील हैं
  3. कम्प्यूटेशनल जटिलता: प्रत्येक पुनरावृत्ति को SVD अपघटन की आवश्यकता होती है, कम्प्यूटेशनल लागत बढ़ाता है

भविष्य की दिशाएं

  1. गतिशील कैमरा विस्तार: गतिशील कैमरा सेटअप तक विस्तार
  2. वस्तु ट्रैकिंग अनुप्रयोग: विधि को वस्तु ट्रैकिंग कार्य तक विस्तारित करना
  3. स्व-अनुकूली हाइपरपैरामीटर: स्व-अनुकूली या सीखे गए हाइपरपैरामीटर रणनीति विकसित करना
  4. रक्षा तंत्र: संरचित अस्थायी सुसंगत प्रतिकूल हमलों के खिलाफ प्रतिरोध और रक्षा का अन्वेषण

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार: पहली बार परमाणु मानदंड नियमितीकरण को वीडियो वस्तु पहचान प्रतिकूल हमलों में व्यवस्थित रूप से लागू किया गया है
  2. ठोस सैद्धांतिक आधार: मजबूत PCA और संरचित विक्षोभ पर आधारित ठोस सैद्धांतिक आधार
  3. पर्याप्त प्रयोग: कई डेटासेट पर व्यापक मूल्यांकन
  4. उच्च व्यावहारिक मूल्य: सुरक्षा-महत्वपूर्ण अनुप्रयोगों की महत्वपूर्ण समस्या को संबोधित करता है
  5. खुला स्रोत योगदान: कोड और डेटा पुनरुत्पादन के लिए सार्वजनिक रूप से उपलब्ध

कमियां

  1. अनुप्रयोग परिदृश्य सीमाएं: केवल स्थिर कैमरा परिदृश्यों के लिए उपयुक्त
  2. रक्षा विचार अपर्याप्त: मौजूदा रक्षा विधियों के मूल्यांकन की कमी
  3. भौतिक दुनिया सत्यापन: वास्तविक भौतिक वातावरण में सत्यापन प्रयोगों की कमी
  4. कम्प्यूटेशनल लागत विश्लेषण: SVD अपघटन की कम्प्यूटेशनल ओवरहेड का विश्लेषण पर्याप्त नहीं है

प्रभाव

  1. शैक्षणिक योगदान: वीडियो प्रतिकूल हमले अनुसंधान के लिए नई सोच प्रदान करता है
  2. सुरक्षा जागरूकता: वीडियो पहचान प्रणाली की कमजोरियों के प्रति जागरूकता बढ़ाता है
  3. विधि प्रेरणा: परमाणु मानदंड नियमितीकरण अन्य संरचित हमले अनुसंधान को प्रेरित कर सकता है

प्रयोज्य परिदृश्य

  1. सुरक्षा मूल्यांकन: औद्योगिक सुरक्षा निगरानी प्रणालियों की मजबूती का मूल्यांकन
  2. अनुसंधान उपकरण: प्रतिकूल मजबूती अनुसंधान के लिए बेंचमार्क विधि
  3. रक्षा विकास: लक्षित रक्षा विधियों को विकसित करने के लिए हमले के नमूने प्रदान करता है

संदर्भ

पेपर 41 संबंधित संदर्भों का हवाला देता है, जो प्रतिकूल हमलों, वस्तु पहचान, वीडियो विश्लेषण और अन्य कई क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करता है, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार और तुलना आधारभूत प्रदान करता है।

समग्र मूल्यांकन: यह वीडियो वस्तु पहचान प्रतिकूल हमले के क्षेत्र में महत्वपूर्ण योगदान वाला एक उच्च-गुणवत्ता वाला पेपर है। विधि में मजबूत नवाचार है, प्रायोगिक मूल्यांकन व्यापक है, और सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए महत्वपूर्ण व्यावहारिक महत्व है। हालांकि कुछ सीमाएं हैं, लेकिन यह क्षेत्र के विकास के लिए मूल्यवान अंतर्दृष्टि और भविष्य की अनुसंधान दिशाएं प्रदान करता है।