2025-11-25T16:19:18.181446

The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition

Yuan, Han, Li et al.
Recently, traffic sign recognition (TSR) systems have become a prominent target for physical adversarial attacks. These attacks typically rely on conspicuous stickers and projections, or using invisible light and acoustic signals that can be easily blocked. In this paper, we introduce a novel attack medium, i.e., fluorescent ink, to design a stealthy and effective physical adversarial patch, namely FIPatch, to advance the state-of-the-art. Specifically, we first model the fluorescence effect in the digital domain to identify the optimal attack settings, which guide the real-world fluorescence parameters. By applying a carefully designed fluorescence perturbation to the target sign, the attacker can later trigger a fluorescent effect using invisible ultraviolet light, causing the TSR system to misclassify the sign and potentially leading to traffic accidents. We conducted a comprehensive evaluation to investigate the effectiveness of FIPatch, which shows a success rate of 98.31% in low-light conditions. Furthermore, our attack successfully bypasses five popular defenses and achieves a success rate of 96.72%.
academic

The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition

基本信息

  • 论文ID: 2409.12394
  • 标题: The Fluorescent Veil: A Stealthy and Effective Physical Adversarial Patch Against Traffic Sign Recognition
  • 作者: Shuai Yuan, Xingshuo Han, Hongwei Li, Guowen Xu, Wenbo Jiang, Tao Ni, Qingchuan Zhao, Yuguang Fang
  • 分类: cs.CV cs.AI
  • 发表会议: 39th Conference on Neural Information Processing Systems (NeurIPS 2025)
  • 论文链接: https://arxiv.org/abs/2409.12394

摘要

本文针对交通标志识别(TSR)系统提出了一种新颖的物理对抗攻击方法。现有攻击方法依赖明显的贴纸、投影或容易被阻挡的不可见光和声学信号。作者引入荧光墨水作为新的攻击媒介，设计了一种隐蔽且有效的物理对抗补丁FIPatch。该方法首先在数字域建模荧光效应以确定最优攻击参数，然后在目标标志上应用精心设计的荧光扰动，攻击者可通过不可见的紫外光触发荧光效应，导致TSR系统误分类并可能引发交通事故。实验表明，FIPatch在低光条件下成功率达98.31%，并能绕过五种主流防御方法，成功率达96.72%。

研究背景与动机

问题定义

交通标志识别系统作为自动驾驶的关键组件，容易受到对抗样本攻击。现有物理对抗攻击存在以下局限性：

  1. 可见性问题：基于贴纸的攻击在视觉上可疑，容易被发现
  2. 无选择性：一旦部署就会无差别攻击所有车辆
  3. 易防御性：可见光投影容易被追踪，红外激光可被滤波器阻挡
  4. 实用性差：声学信号攻击容易被物理信号保护机制阻挡

研究动机

作者发现荧光墨水具有独特优势：

  • 隐蔽性：在正常环境下透明，难以察觉
  • 可控性：只在特定波长紫外光照射下显现荧光效应
  • 抗防御性：发出的光在可见光谱范围内，难以通过滤波器防御

核心贡献

  1. 首次引入荧光墨水构建物理对抗补丁，开创了新的攻击向量
  2. 设计了FIPatch攻击框架，包含自动定位、荧光建模、优化和鲁棒性提升四个模块
  3. 提出了三种攻击目标：隐藏攻击、生成攻击和误识别攻击
  4. 进行了全面评估，在数字和物理世界中验证了攻击的有效性和鲁棒性

方法详解

任务定义

FIPatch攻击旨在通过在交通标志上应用荧光墨水扰动，在紫外光触发下使TSR系统产生以下三种错误：

  • 隐藏攻击：使系统无法检测到交通标志
  • 生成攻击：使系统检测到伪造的交通标志
  • 误识别攻击：使系统将交通标志分类为错误类别

模型架构

1. 自动交通标志定位模块

采用三步骤精确定位交通标志区域：

直方图均衡化：当图像满足以下条件时应用：

P99(t(x(i,j))) - P1(t(x(i,j))) / max(t(x(i,j))) - min(t(x(i,j))) < Th

Canny边缘检测：使用自定义阈值检测交通标志边缘

基于颜色的检测：定义HSV颜色范围检测黄色、蓝色、红色和黑色区域

2. 荧光建模模块

荧光定义：圆形荧光区域参数化为：

θ0 = ((x0, y0), r0, γ0, α0)

其中：

  • (x0, y0)：圆心坐标
  • r0：半径
  • γ0：RGB颜色
  • α0：透明度

扰动函数：单个圆形的扰动定义为：

π(x; θ0)(i,j) = x(i,j) · (1-α(i,j)) + α(i,j) · γ0

荧光强度建模：通过LAB色彩空间转换模拟UV光照效果：

LAB(xadv)(i,j) = {
    LAB(x)(i,j) · [l1,1,1]T, (i,j) ∈ A ∧ (i,j) ∉ F
    LAB(x)(i,j) · [l2,1,1]T, (i,j) ∈ F  
    LAB(x)(i,j) · [1,1,1]T,  (i,j) ∉ A
}

3. 荧光优化模块

目标函数：

min Ex∼X,t∼T [ℓgoal + λℓarea]

基于目标的损失函数：

  • 隐藏攻击：ℓgoal = Pr(object) · Pr(class) + βIoU
  • 生成攻击：ℓgoal = -Pr(object) · Pr(class)
  • 误识别攻击：ℓgoal = log(py)

面积损失：最小化扰动面积

ℓarea = min Σ(i=1 to K) πri²

粒子群优化：在黑盒设置下使用PSO算法优化离散参数空间

4. 鲁棒性提升模块

变换期望(EOT)：扩展变换分布以适应荧光材料的物理环境变化，包括：

  • 背景变化
  • 亮度调节
  • 透视变换
  • 距离变化
  • 旋转和运动模糊

透明度变换：模拟荧光墨水随时间的透明度变化

技术创新点

  1. 荧光效应的数字化建模：首次将荧光材料的物理特性参数化并用于对抗攻击优化
  2. 多目标攻击策略：针对检测和分类任务设计不同的损失函数
  3. 物理约束的考虑：通过自动定位确保扰动只能应用在实际标志表面
  4. 环境适应性：考虑了真实世界中光照、距离、角度等因素的影响

实验设置

数据集

  • GTSRB：德国交通标志识别基准数据集
  • CTSRD：中国交通标志识别数据库

评价指标

攻击成功率(ASR)：

ASR = (1/N) Σ I_{F(x,untri)=y & F(x,tri)≠y}(x)

对比方法

评估了10个不同模型：

  • 检测器：YOLOv3, Faster R-CNN
  • 分类器：CNN, Inception v3, MobileNet v2, GoogleNet, ResNet50, ResNet101, VGG13, VGG16

实现细节

  • 输入尺寸：检测器416×416，分类器32×32(Inception v3为299×299)
  • 查询次数：1500次
  • PSO参数：30次迭代，5次随机重启
  • 物理实验设备：Tesla Model Y，多种功率UV灯(40W-120W)

实验结果

主要结果

物理世界攻击成功率

在不同环境光照条件下的ASR表现：

环境光照(Lux)生成攻击(YOLOv3)隐藏攻击(YOLOv3)误识别攻击(ResNet50)
20098.31%91.59%100%
50098.72%83.64%99.35%
100095.22%69.19%94.26%
200094.06%53.81%90.59%
300089.63%31.48%84.12%

数字世界攻击成功率

在黑盒设置下，大部分模型ASR接近100%，转移攻击成功率在69%-95%之间。

消融实验

环境因素影响

  1. 距离和角度：CNN模型在所有距离下ASR>91%，Inception v3在远距离下降至70%-77%
  2. UV灯功率：40W时Inception v3最低ASR为77%，120W时所有模型ASR>97%
  3. 车速影响：速度<10km/h时ASR>93%，超过15km/h时部分模型ASR显著下降
  4. UV灯距离：8米距离下仍有81%以上ASR

参数影响分析

  • 半径：更大半径通常带来更高ASR
  • 颜色：C(255,255,0)和C(127,127,255)效果最佳
  • 位置：图像中心区域攻击成功率最高
  • 形状：圆形比直线和曲线更有效

防御绕过能力

测试了5种主流防御方法：

防御方法ResNet50Inception v3平均ASR下降
图像平滑-0.93%+0.39%微小影响
特征压缩-1.65%-0.39%<2%
输入随机化-0.29%-0.21%<1%
对抗训练-0.84%+0.42%微小影响
防御性Dropout-2.30%-2.03%最有效(2-3%)

相关工作

物理对抗攻击分类

  1. 基于贴纸的攻击：易部署但视觉可疑，无差别攻击
  2. 基于光信号的攻击：
    • 可见光(投影/激光)：容易被追踪
    • 红外激光：可被IR滤波器阻挡
  3. 基于声学信号的攻击：容易被物理信号保护机制阻挡

本文优势

相比现有方法，FIPatch具有：

  • 更高的隐蔽性(透明墨水)
  • 更强的抗防御能力(可见光发射)
  • 灵活的触发机制(UV光控制)
  • 更好的实用性(低成本材料)

结论与讨论

主要结论

  1. 荧光墨水攻击的可行性：首次证明荧光材料可有效攻击TSR系统
  2. 高攻击成功率：在低光条件下达到98.31%的成功率
  3. 强防御绕过能力：现有防御方法基本无效，最多降低2-3%成功率
  4. 实际威胁性：在真实环境中展现了显著的安全威胁

局限性

  1. 环境光敏感性：强环境光(>1000 Lux)会显著降低攻击效果
  2. 系统级评估不足：主要在AI组件层面测试，缺乏完整自动驾驶系统评估
  3. 检测距离限制：需要相对较近的距离进行有效攻击

未来方向

  1. 曲面应用：研究在弯曲表面上应用荧光材料的挑战
  2. 防御机制：开发针对FIPatch的有效防御方法
  3. 多车协作：利用车辆间协作感知提升系统鲁棒性

深度评价

优点

  1. 创新性强：首次引入荧光墨水作为对抗攻击媒介，开辟了新的研究方向
  2. 方法完整：从理论建模到实际部署的完整攻击框架
  3. 实验充分：包含数字和物理世界的全面评估，考虑了多种环境因素
  4. 实用价值高：揭示了TSR系统的新型安全漏洞，具有重要的安全意义

不足

  1. 伦理考虑：虽然声明了伦理审批，但攻击方法可能被恶意利用
  2. 防御研究不足：提出的防御方案较为简单，缺乏深入研究
  3. 成本分析缺失：未详细分析攻击成本和检测难度的权衡
  4. 长期稳定性：荧光墨水的长期稳定性和环境影响未充分讨论

影响力

  1. 学术贡献：为对抗攻击研究提供了新的攻击向量和建模方法
  2. 安全警示：提醒自动驾驶系统开发者注意新型物理攻击威胁
  3. 技术推动：可能促进更鲁棒的TSR系统和防御机制的发展

适用场景

  1. 安全评估：用于评估TSR系统的安全性和鲁棒性
  2. 防御研究：作为基准攻击方法用于开发和测试防御机制
  3. 系统加固：指导自动驾驶系统的安全设计和部署

参考文献

论文引用了大量相关工作，主要包括：

  • 对抗样本基础理论(Goodfellow et al., Carlini & Wagner等)
  • 物理对抗攻击方法(Eykholt et al., Song et al.等)
  • 交通标志识别系统(YOLO, Faster R-CNN等)
  • 防御机制(Cohen et al., Madry et al.等)

总体评价：这是一篇高质量的安全研究论文，提出了创新的攻击方法并进行了充分的实验验证。虽然存在一些局限性，但其学术价值和实际意义都很重要，对推动自动驾驶系统安全研究具有积极作用。