2025-11-13T21:49:11.069891

SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness

Kodge, Ravikumar, Saha et al.
Label corruption, where training samples are mislabeled due to non-expert annotation or adversarial attacks, significantly degrades model performance. Acquiring large, perfectly labeled datasets is costly, and retraining models from scratch is computationally expensive. To address this, we introduce Scaled Activation Projection (SAP), a novel SVD (Singular Value Decomposition)-based corrective machine unlearning algorithm. SAP mitigates label noise by identifying a small subset of trusted samples using cross-entropy loss and projecting model weights onto a clean activation space estimated using SVD on these trusted samples. This process suppresses the noise introduced in activations due to the mislabeled samples. In our experiments, we demonstrate SAP's effectiveness on synthetic noise with different settings and real-world label noise. SAP applied to the CIFAR dataset with 25% synthetic corruption show upto 6% generalization improvements. Additionally, SAP can improve the generalization over noise robust training approaches on CIFAR dataset by ~3.2% on average. Further, we observe generalization improvements of 2.31% for a Vision Transformer model trained on naturally corrupted Clothing1M.
academic

SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness

基本信息

  • 论文ID: 2403.08618
  • 标题: SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness
  • 作者: Sangamesh Kodge, Deepak Ravikumar, Gobinda Saha, Kaushik Roy (Purdue University)
  • 分类: cs.LG cs.AI stat.ML
  • 发表时间: 2025年1月2日 (arXiv v2)
  • 论文链接: https://arxiv.org/abs/2403.08618
  • 代码链接: https://github.com/sangamesh-kodge/SAP.git

摘要

标签损坏是深度学习中的一个重要问题，由于非专业标注或对抗攻击导致的训练样本错误标记会显著降低模型性能。获取大规模完美标记的数据集成本高昂，从头重新训练模型计算开销巨大。为此，本文提出了缩放激活投影(SAP)，一种基于奇异值分解(SVD)的修正机器遗忘算法。SAP通过使用交叉熵损失识别少量可信样本，并将模型权重投影到基于这些可信样本使用SVD估计的干净激活空间来缓解标签噪声。实验表明，SAP在CIFAR数据集上25%合成损坏的情况下可获得高达6%的泛化改进，在噪声鲁棒训练方法基础上平均提升约3.2%，在自然损坏的Clothing1M数据集上的Vision Transformer模型获得2.31%的泛化改进。

研究背景与动机

问题定义

  1. 标签噪声问题：大规模数据集中普遍存在标签错误，这些错误可能来源于：
    • 人工标注错误
    • 自动标注系统(如大语言模型)的误判
    • 恶意数据投毒攻击
  2. 现有解决方案的局限性：
    • 数据清洗方法：需要重新训练模型，计算成本高
    • 噪声鲁棒训练：虽然能提高鲁棒性，但无法完全消除性能差距
    • 传统机器遗忘：需要明确区分错误标记和难学习样本，实际应用困难
  3. 研究动机：
    • 避免从头重新训练的高计算成本
    • 无需显式识别错误标记样本
    • 通过单次权重更新实现高效的噪声缓解

核心贡献

  1. 提出SAP算法：基于SVD的修正机器遗忘算法，通过激活投影缓解标签噪声影响
  2. 自动化可信样本选择：使用交叉熵损失自动识别可信样本，避免人工标注
  3. 单步权重更新：通过一次SVD计算和权重投影实现高效的模型修正
  4. 广泛实验验证：在合成噪声和真实世界噪声场景下验证有效性，支持多种模型架构

方法详解

任务定义

给定包含标签噪声的训练数据集 DTrD_{Tr}，目标是修正已训练模型参数 θ∗θ^*，使其在测试集上的泛化性能接近在干净数据上训练的模型，而无需重新训练。

模型架构

1. 权重更新机制

对于线性层 aout=ainWTa_{out} = a_{in}W^T，SAP通过激活对齐矩阵 WpW_p 投影输入激活：

a^out=(ainWp)WT=ain(WWpT)T=ainW^T\hat{a}_{out} = (a_{in}W_p)W^T = a_{in}(WW_p^T)^T = a_{in}\hat{W}^T

权重更新规则为：W^=WWpT\hat{W} = WW_p^T

2. 可信数据估计

使用交叉熵损失选择 NTrustN_{Trust} 个损失最低的样本作为可信集合：

DTrust=arg⁡min⁡S∑(xi,yi)∈SL(θ∗,xi,yi)D_{Trust} = \arg\min_S \sum_{(x_i,y_i) \in S} L(θ^*, x_i, y_i)

其中 S={Si⊆DTr∣∣Si∣=NTrust}S = \{S_i \subseteq D_{Tr} | |S_i| = N_{Trust}\}

3. 表示矩阵构建

  • 线性层：Rlinear=[(aiin)i=1NTrust]R_{linear} = [(a_i^{in})_{i=1}^{N_{Trust}}]
  • 卷积层：通过unfold操作将卷积转换为矩阵乘法，Rconv=[(unfold(aiin)T)i=1NTrust]R_{conv} = [(unfold(a_i^{in})^T)_{i=1}^{N_{Trust}}]

4. SVD分解与重要性缩放

对表示矩阵进行SVD分解：Rl=UlΣlVlTR^l = U^l Σ^l V^{lT}

计算重要性权重： λi=ασ~i(α−1)σ~i+1λ_i = \frac{α\tilde{σ}_i}{(α-1)\tilde{σ}_i + 1}

其中 σ~i=σi2/∑j=1dσj2\tilde{σ}_i = σ_i^2 / \sum_{j=1}^d σ_j^2 是归一化奇异值，αα 是缩放系数。

5. 激活对齐矩阵

构建投影矩阵：Wp=UΛUTW_p = UΛU^T，其中 Λ=diag(λ1,λ2,...,λd)Λ = diag(λ_1, λ_2, ..., λ_d)

技术创新点

  1. 自动化处理：无需手动标识错误样本，通过损失函数自动选择可信样本
  2. 高效更新：单次SVD计算和矩阵乘法完成权重更新，避免迭代优化
  3. 激活空间投影：通过投影到干净激活空间抑制噪声激活的影响
  4. 架构无关：适用于线性层和卷积层，支持多种网络架构

实验设置

数据集

  1. 合成噪声数据集：
    • CIFAR-10/CIFAR-100
    • 三种噪声类型：对称噪声、非对称噪声、层次噪声
    • 噪声强度：10%和25%
  2. 真实世界噪声数据集：
    • Mini-WebVision
    • Clothing1M

评价指标

  • 测试集准确率
  • 与基线方法的性能对比
  • 泛化改进幅度

对比方法

  • Retrain：在干净数据上重新训练的理想模型
  • Vanilla：在噪声数据上训练的基础模型
  • Finetune：在少量干净数据上微调
  • SSD：基于选择性突触抑制的遗忘算法
  • SCRUB：最先进的机器遗忘算法

实现细节

  • 可信样本数量：1000个
  • 缩放系数α的搜索范围：2000, 300000
  • 模型架构：VGG11、ResNet18、ResNet50、ViT-B/16
  • 优化器：SGD，学习率0.01，权重衰减5×10^-4

实验结果

主要结果

合成噪声实验

在CIFAR-10和CIFAR-100数据集上的结果表明：

数据集噪声强度VanillaSAP改进幅度
CIFAR-1025%76.68±0.4882.27±0.15+5.59%
CIFAR-10025%50.64±0.6053.31±0.78+2.67%

SAP在所有噪声设置下均优于其他遗忘方法，平均改进1.36%(CIFAR-10)和0.39%(CIFAR-100)。

噪声鲁棒训练增强

SAP可以进一步提升现有噪声鲁棒方法的性能：

方法CIFAR-10基线SAP增强改进幅度
MixUp83.12±0.4486.45±0.52+3.33%
SAM83.29±0.2887.29±0.08+4.0%
平均83.6987.14+3.45%

真实世界噪声

在真实噪声数据集上的结果：

数据集模型VanillaSAP改进幅度
Clothing1MResNet5067.48±0.6469.64±0.57+2.16%
Clothing1MViT-B/1669.12±0.4571.43±0.60+2.31%

消融实验

可信样本数量影响

实验显示增加可信样本数量到1000个后收益递减，因此选择1000个样本平衡性能和计算效率。

缩放系数α的影响

α=30000在多种合成噪声设置下表现最佳，过大或过小的α值都会降低性能。

实验发现

  1. 计算效率：SAP只需16次超参数搜索，而SCRUB需要675次
  2. 鲁棒性：在不同噪声类型和强度下均表现稳定
  3. 可扩展性：成功应用于大规模数据集和Transformer模型
  4. 决策边界优化：可视化实验显示SAP能平滑决策边界，减少过拟合

相关工作

标签噪声处理方法分类

  1. 数据清洗方法：
    • 数据过滤：移除错误标记样本
    • 样本选择：动态选择训练样本
    • 标签修正：纠正错误标签
  2. 噪声鲁棒训练：
    • 正则化技术：Dropout、标签平滑
    • 鲁棒损失函数：对称交叉熵、MAE
    • 数据增强：MixUp、MentorMix
  3. 修正机器遗忘：
    • 传统遗忘关注隐私保护
    • 修正遗忘专注于提升泛化性能

本文优势

相比现有方法，SAP具有以下优势：

  • 无需显式识别错误样本
  • 单次更新避免迭代优化的不稳定性
  • 超参数调整简单，计算效率高

结论与讨论

主要结论

  1. 有效性验证：SAP在合成和真实噪声场景下均显著提升模型泛化性能
  2. 效率优势：单次权重更新和简单超参数调整使SAP具有显著的计算优势
  3. 广泛适用性：支持多种网络架构和数据集规模
  4. 实用价值：可与现有噪声鲁棒方法结合使用，进一步提升性能

局限性

  1. 可信样本假设：依赖于低损失样本确实是正确标记的假设
  2. 超参数敏感性：缩放系数α的选择对性能有重要影响
  3. 噪声类型限制：主要针对标签噪声，对其他类型噪声的处理能力有限
  4. 理论分析不足：缺乏对方法有效性的理论保证

未来方向

  1. 理论分析：建立SAP有效性的理论基础
  2. 自适应参数选择：开发自动选择最优α的方法
  3. 扩展应用：探索在其他类型噪声和任务中的应用
  4. 与其他技术结合：研究与数据增强、对抗训练等技术的结合

深度评价

优点

  1. 方法创新性：
    • 首次将SVD应用于修正机器遗忘
    • 激活投影的思想新颖且有效
    • 自动化可信样本选择避免人工干预
  2. 实验充分性：
    • 涵盖多种噪声类型和数据集
    • 与多个基线方法进行对比
    • 包含消融实验和参数敏感性分析
  3. 实用价值：
    • 计算效率高，易于部署
    • 可与现有方法结合使用
    • 支持多种网络架构
  4. 结果说服力：
    • 一致的性能提升
    • 统计显著性验证
    • 可视化分析增强理解

不足

  1. 理论基础薄弱：
    • 缺乏对方法有效性的理论分析
    • 未解释为什么SVD投影能有效抑制噪声
  2. 假设限制：
    • 低损失样本为正确标记的假设可能不总是成立
    • 对噪声分布的假设较强
  3. 参数调整：
    • α的选择缺乏理论指导
    • 不同数据集可能需要不同的α值
  4. 比较局限：
    • 与最新的噪声鲁棒方法比较不够充分
    • 缺乏与数据清洗方法的直接比较

影响力

  1. 学术贡献：
    • 为机器遗忘领域提供新的研究方向
    • 激活投影思想可能启发其他应用
  2. 实际应用：
    • 为处理现实世界标签噪声提供实用工具
    • 可集成到现有训练流程中
  3. 可复现性：
    • 提供完整的代码实现
    • 实验设置描述详细

适用场景

  1. 数据集标签质量不高的场景
  2. 无法重新标注数据的情况
  3. 需要快速修正已训练模型的应用
  4. 计算资源受限的环境

参考文献

论文引用了相关领域的重要工作，包括：

  • 机器遗忘：SCRUB、SSD等方法
  • 标签噪声处理：MixUp、MentorMix、SAM等
  • 数据清洗：Confident Learning等
  • 基础理论：SVD分解、激活分析等

总体评价：本文提出的SAP方法在标签噪声处理方面具有重要价值，通过巧妙的激活投影设计实现了高效的模型修正。虽然在理论分析方面有所不足，但实验验证充分，实用价值显著，为相关领域提供了有价值的贡献。