2025-11-25T00:34:17.070097

A Unified Approach Towards Active Learning and Out-of-Distribution Detection

Schmidt, Schenk, Schwinn et al.
When applying deep learning models in open-world scenarios, active learning (AL) strategies are crucial for identifying label candidates from a nearly infinite amount of unlabeled data. In this context, robust out-of-distribution (OOD) detection mechanisms are essential for handling data outside the target distribution of the application. However, current works investigate both problems separately. In this work, we introduce SISOM as the first unified solution for both AL and OOD detection. By leveraging feature space distance metrics SISOM combines the strengths of the currently independent tasks to solve both effectively. We conduct extensive experiments showing the problems arising when migrating between both tasks. In these evaluations SISOM underlined its effectiveness by achieving first place in two of the widely used OpenOOD benchmarks and second place in the remaining one. In AL, SISOM outperforms others and delivers top-1 performance in three benchmarks
academic

A Unified Approach Towards Active Learning and Out-of-Distribution Detection

基本信息

  • 论文ID: 2405.11337
  • 标题: A Unified Approach Towards Active Learning and Out-of-Distribution Detection
  • 作者: Sebastian Schmidt, Leonard Schenk, Leo Schwinn, Stephan Günnemann
  • 分类: cs.CV
  • 发表时间: 2024年5月（arXiv v3: 2025年10月12日）
  • 论文链接: https://arxiv.org/abs/2405.11337

摘要

在开放世界场景中应用深度学习模型时，主动学习(AL)策略对于从大量无标签数据中识别标签候选至关重要。在此背景下，鲁棒的分布外(OOD)检测机制对于处理应用目标分布之外的数据是必需的。然而，当前工作分别研究这两个问题。本文引入了SISOM作为AL和OOD检测的首个统一解决方案。通过利用特征空间距离度量，SISOM结合了当前独立任务的优势来有效解决两个问题。在OpenOOD基准测试中，SISOM在近OOD数据上取得了一个第一名和两个前三名的成绩，在AL任务上也实现了顶级性能。

研究背景与动机

问题定义

  1. 主动学习挑战：大规模深度学习模型需要大量标注数据，但标注成本高昂，需要智能选择最有价值的样本进行标注
  2. 分布外检测需求：模型在实际部署时会遇到训练分布之外的数据，需要可靠的OOD检测机制
  3. 独立处理的局限性：现有方法将AL和OOD检测视为独立任务，导致设计目标冲突和系统复杂性

研究动机

  • 实际应用需求：移动机器人、自动驾驶等实际应用需要同时处理标签效率和分布外数据问题
  • 任务关联性发现：作者观察到近OOD数据和未标注数据在潜在空间中存在重叠和模糊性
  • 统一方法的优势：统一处理可以消除独立设计阶段的开销，避免冲突的设计目标

核心洞察

论文通过UMAP可视化发现，近OOD数据和未标注的AL候选数据在特征空间中位置相近，都倾向于位于现有聚类之间或决策边界附近，这为统一方法提供了理论基础。

核心贡献

  1. 首个统一方法：提出SISOM作为首个专门设计用于同时解决AL和OOD检测的统一方法
  2. 特征空间分析技术：引入潜在空间分析，实现训练后特征空间细化的优化循环
  3. 自平衡融合机制：提出不确定性和多样性度量的自平衡融合方法
  4. 优异实验性能：在常见图像AL和OOD基准测试中对抗高度专业化的最先进方法取得优异表现

方法详解

任务定义

主动学习：从初始标注池L和未标注池U开始，模型f通过查询策略Q(x,f)选择新样本A进行标注，目标是用最少的标注获得最佳性能。

OOD检测：给定训练在分布Ω上的模型f，判断测试样本x̃是来自分布内(InD)还是分布外(OOD)：

\text{InD} & \text{if } S(x; f) \geq \lambda \\ \text{OOD} & \text{if } S(x; f) < \lambda \end{cases}$$ ### SISOM方法架构 SISOM包含五个核心组件： #### 1. Coverage (覆盖) 构建信息丰富的特征空间表示，连接多个网络层： $$z = h_1(x) \oplus \cdots \oplus h_j(x) \oplus \cdots \oplus h_n(x)$$ #### 2. Feature Enhancement (特征增强) 使用KL散度梯度加权特征： $$g = \frac{\partial D_{KL}(u||f(x))}{\partial z}$$ $$\tilde{z} = \sigma(z \odot g)$$ 其中u是均匀分布，⊙表示Hadamard积。 #### 3. Distance Ratio (距离比率) 定义内类距离和外类距离： $$d_{in}(\tilde{z}) = \min_{z' \in Z_L(c'=c)} ||\tilde{z} - \tilde{z}'||_2$$ $$d_{out}(\tilde{z}) = \min_{z' \in Z_L(c' \neq c)} ||\tilde{z} - \tilde{z}'||_2$$ SISOM评分： $$r(x) = \frac{d_{in}}{d_{out}}$$ #### 4. Feature Space Analysis (特征空间分析) 计算平均距离比率作为特征空间可分性的代理： $$r_{avg} = \frac{1}{|L|} \sum_{z \in L} \frac{d_{in}(\sigma(z \odot g))}{d_{out}(\sigma(z \odot g))}$$ 自适应融合不确定性和多样性： $$\hat{r}_i = \min(r_{avg}, 1) \cdot E_i + \max(1 - r_{avg}, 0) \cdot r_i$$ #### 5. Sigmoid Steepness (Sigmoid陡度) 优化每层的sigmoid函数陡度参数α以改善特征空间可分性： $$\alpha_{opt} = \arg\min_\alpha r_{avg}(\alpha)$$ ### 技术创新点 1. **统一度量设计**：距离比率同时捕获AL和OOD检测需求 2. **自适应融合**：根据特征空间质量自动平衡不确定性和多样性 3. **多层特征整合**：利用网络多层信息增强表示能力 4. **梯度加权**：通过KL散度梯度突出重要神经元 ## 实验设置 ### 数据集 **主动学习**： - CIFAR-10/100：查询大小q=1000/2000 - SVHN：查询大小q=500 - 使用ResNet18/34架构 **OOD检测**： - 遵循OpenOOD基准设置 - CIFAR-10: 近OOD(CIFAR-100, Tiny ImageNet), 远OOD(MNIST, SVHN等) - CIFAR-100: 近OOD(CIFAR-10, Tiny ImageNet), 远OOD(MNIST, SVHN等) - ImageNet-1k: 近OOD(SSB-hard, NINCO), 远OOD(iNaturalist等) ### 评价指标 - **主动学习**：分类准确率随标注数据百分比的变化 - **OOD检测**：AUROC (Area Under ROC Curve) ### 对比方法 **主动学习基线**： - CoreSet, Badge, Learning Loss, CoreGCN - 半监督设置：TypiClust, ProbCover, PT4AL **OOD检测基线**： - NAC, KNN, MSP, Energy, ReAct, SCALE等17种方法 ## 实验结果 ### 主要结果 #### 主动学习性能 - **CIFAR-10**：SISOM和SISOMe在所有选择周期中超越其他方法 - **CIFAR-100**：在后期选择步骤中达到最高性能 - **半监督设置**：SISOM显著受益于预训练，超越PT4AL #### OOD检测性能 | 数据集 | SISOMe | SISOM | 最佳基线 | |--------|--------|-------|----------| | CIFAR-10 (近OOD) | **91.76** | 91.40 | 91.13 | | CIFAR-100 (近OOD) | 81.10 | 79.42 | **81.31** | | ImageNet (近OOD) | 78.59 | 77.33 | **95.22** | **综合排名**：SISOMe在三个基准测试中均获得前三名，总体排名第一。 ### 消融实验 1. **最优Sigmoid陡度**：在CIFAR-100和ImageNet上提升性能 2. **减少子集选择**：显著提高推理速度，性能略有提升 3. **特征增强效果**：KL散度梯度加权显著改善特征空间可分性 ### 运行时分析 | 方法 | SISOM | SISOMe | Badge | CoreSet | |------|-------|--------|-------|---------| | 时间(秒) | 1477±896 | 954±126 | 33664±6682 | 2604±1572 | 通过5%子集选择，SISOMe运行时间减少到266秒，性能略有提升。 ### 全生命周期实验 使用AL训练的检查点进行OOD检测，SISOMe在近OOD和远OOD上均取得最佳性能，证明了统一方法的有效性。 ## 相关工作 ### 主动学习 - **不确定性方法**：Monte Carlo Dropout, 集成方法 - **多样性方法**：CoreSet, Badge等基于梯度的方法 - **混合方法**：结合不确定性和多样性的方法 ### OOD检测 - **预处理方法**：数据增强、混合训练 - **后处理方法**：神经元过滤、权重操作 - **基于logits**：温度缩放、能量评分 - **特征空间方法**：马氏距离、k-近邻 ### 开集主动学习 现有方法主要使用独立模块处理AL和OOD，本文首次探索两任务的内在关联。 ## 结论与讨论 ### 主要结论 1. **统一可行性**：首次证明AL和OOD检测可以通过单一方法有效解决 2. **性能优越性**：在两个任务上均达到或接近最先进性能 3. **实用价值**：简化了实际应用的部署复杂度 ### 局限性 1. **计算复杂度**：距离计算带来额外开销，尽管通过子集选择可以缓解 2. **特征空间依赖**：方法性能依赖于特征空间的可分性 3. **超参数敏感性**：sigmoid陡度参数需要针对不同数据集调优 ### 未来方向 1. **开集主动学习**：将统一方法扩展到开集AL场景 2. **复杂任务**：扩展到目标检测、语义分割等更复杂任务 3. **批次多样化**：研究批次多样化技术对双任务方法的影响 ## 深度评价 ### 优点 1. **创新性强**：首次提出AL和OOD检测的统一方法，具有重要理论和实践价值 2. **方法设计巧妙**：距离比率设计既简单又有效，自适应融合机制体现了深刻洞察 3. **实验全面**：涵盖多个数据集和基线，包含消融实验和运行时分析 4. **理论基础扎实**：通过可视化分析揭示了两任务的内在关联 ### 不足 1. **理论分析不足**：缺乏对方法收敛性和泛化能力的理论保证 2. **适用范围限制**：主要在图像分类任务上验证，其他领域的适用性未知 3. **参数调优复杂**：多个超参数需要针对不同数据集调优，可能影响实用性 ### 影响力 1. **学术贡献**：为AL和OOD检测的统一研究开辟了新方向 2. **实用价值**：对移动机器人、自动驾驶等实际应用具有重要意义 3. **可复现性**：提供了详细的实现细节和代码，便于复现和扩展 ### 适用场景 1. **资源受限环境**：需要同时考虑标注效率和分布外检测的应用 2. **实时系统**：通过子集选择可以在保持性能的同时提高效率 3. **开放世界应用**：自动驾驶、机器人导航等面临分布变化的场景 ## 参考文献 论文引用了大量相关工作，主要包括： - Active Learning: Settles (2010), Sener & Savarese (2018), Ash et al. (2020) - OOD Detection: Yang et al. (2022), Liu et al. (2020), Sun et al. (2022) - OpenOOD Benchmark: Yang et al. (2022), Zhang et al. (2023) --- **总体评价**：这是一篇高质量的研究论文，提出了创新的统一方法解决两个重要问题，实验验证充分，对相关领域具有重要推动作用。尽管存在一些理论和实用性方面的不足，但其开创性贡献和优异性能使其成为该领域的重要工作。