2025-11-25T00:34:17.070097

A Unified Approach Towards Active Learning and Out-of-Distribution Detection

Schmidt, Schenk, Schwinn et al.
When applying deep learning models in open-world scenarios, active learning (AL) strategies are crucial for identifying label candidates from a nearly infinite amount of unlabeled data. In this context, robust out-of-distribution (OOD) detection mechanisms are essential for handling data outside the target distribution of the application. However, current works investigate both problems separately. In this work, we introduce SISOM as the first unified solution for both AL and OOD detection. By leveraging feature space distance metrics SISOM combines the strengths of the currently independent tasks to solve both effectively. We conduct extensive experiments showing the problems arising when migrating between both tasks. In these evaluations SISOM underlined its effectiveness by achieving first place in two of the widely used OpenOOD benchmarks and second place in the remaining one. In AL, SISOM outperforms others and delivers top-1 performance in three benchmarks
academic

능동 학습과 분포 외 탐지를 향한 통합 접근법

기본 정보

  • 논문 ID: 2405.11337
  • 제목: A Unified Approach Towards Active Learning and Out-of-Distribution Detection
  • 저자: Sebastian Schmidt, Leonard Schenk, Leo Schwinn, Stephan Günnemann
  • 분류: cs.CV
  • 발표 시간: 2024년 5월 (arXiv v3: 2025년 10월 12일)
  • 논문 링크: https://arxiv.org/abs/2405.11337

초록

개방형 세계 시나리오에서 심층 학습 모델을 적용할 때, 능동 학습(AL) 전략은 대량의 레이블이 없는 데이터에서 레이블 후보를 식별하는 데 필수적입니다. 이러한 맥락에서 견고한 분포 외(OOD) 탐지 메커니즘은 응용 목표 분포 외의 데이터를 처리하는 데 필요합니다. 그러나 현재 연구는 이 두 문제를 별도로 다룹니다. 본 논문은 AL과 OOD 탐지를 위한 첫 번째 통합 솔루션인 SISOM을 소개합니다. 특징 공간 거리 메트릭을 활용하여 SISOM은 현재의 독립적인 작업의 장점을 결합하여 두 문제를 효과적으로 해결합니다. OpenOOD 벤치마크에서 SISOM은 근처 OOD 데이터에서 1위 1개와 상위 3위 2개를 달성했으며, AL 작업에서도 최고 수준의 성능을 구현했습니다.

연구 배경 및 동기

문제 정의

  1. 능동 학습 과제: 대규모 심층 학습 모델은 대량의 주석 데이터가 필요하지만 주석 비용이 높으므로 주석을 달 가장 가치 있는 샘플을 지능적으로 선택해야 함
  2. 분포 외 탐지 필요성: 모델이 실제 배포 시 훈련 분포 외의 데이터를 만나므로 신뢰할 수 있는 OOD 탐지 메커니즘이 필요함
  3. 독립적 처리의 한계: 기존 방법은 AL과 OOD 탐지를 독립적인 작업으로 취급하여 설계 목표의 충돌과 시스템 복잡성 증가

연구 동기

  • 실제 응용 필요성: 이동 로봇, 자동 운전 등의 실제 응용은 레이블 효율성과 분포 외 데이터 문제를 동시에 처리해야 함
  • 작업 관련성 발견: 저자는 근처 OOD 데이터와 레이블이 없는 데이터가 잠재 공간에서 겹치고 모호함을 관찰
  • 통합 방법의 장점: 통합 처리는 독립적인 설계 단계의 오버헤드를 제거하고 충돌하는 설계 목표를 회피

핵심 통찰력

논문은 UMAP 시각화를 통해 근처 OOD 데이터와 레이블이 없는 AL 후보 데이터가 특징 공간에서 위치가 유사하며, 기존 클러스터 사이 또는 결정 경계 근처에 위치하는 경향이 있음을 발견하여 통합 방법의 이론적 기초를 제공합니다.

핵심 기여

  1. 첫 번째 통합 방법: AL과 OOD 탐지를 동시에 해결하기 위해 특별히 설계된 첫 번째 통합 방법인 SISOM 제안
  2. 특징 공간 분석 기술: 훈련 후 특징 공간 정제의 최적화 루프를 구현하는 잠재 공간 분석 도입
  3. 자체 균형 융합 메커니즘: 불확실성과 다양성 메트릭의 자체 균형 융합 방법 제안
  4. 우수한 실험 성능: 일반적인 이미지 AL 및 OOD 벤치마크에서 고도로 전문화된 최첨단 방법에 대해 우수한 성능 달성

방법 상세 설명

작업 정의

능동 학습: 초기 주석 풀 L과 레이블이 없는 풀 U에서 시작하여 모델 f는 쿼리 전략 Q(x,f)를 통해 주석을 달 새로운 샘플 A를 선택하며, 목표는 최소한의 주석으로 최고의 성능을 얻는 것입니다.

OOD 탐지: 분포 Ω에서 훈련된 모델 f가 주어졌을 때, 테스트 샘플 x̃이 분포 내(InD)에서 나왔는지 분포 외(OOD)에서 나왔는지 판단합니다:

\text{InD} & \text{if } S(x; f) \geq \lambda \\ \text{OOD} & \text{if } S(x; f) < \lambda \end{cases}$$ ### SISOM 방법 아키텍처 SISOM은 5개의 핵심 구성 요소를 포함합니다: #### 1. Coverage (커버리지) 정보가 풍부한 특징 공간 표현 구성, 여러 네트워크 레이어 연결: $$z = h_1(x) \oplus \cdots \oplus h_j(x) \oplus \cdots \oplus h_n(x)$$ #### 2. Feature Enhancement (특징 강화) KL 발산 그래디언트 가중 특징 사용: $$g = \frac{\partial D_{KL}(u||f(x))}{\partial z}$$ $$\tilde{z} = \sigma(z \odot g)$$ 여기서 u는 균등 분포이고 ⊙는 Hadamard 곱을 나타냅니다. #### 3. Distance Ratio (거리 비율) 클래스 내 거리와 클래스 간 거리 정의: $$d_{in}(\tilde{z}) = \min_{z' \in Z_L(c'=c)} ||\tilde{z} - \tilde{z}'||_2$$ $$d_{out}(\tilde{z}) = \min_{z' \in Z_L(c' \neq c)} ||\tilde{z} - \tilde{z}'||_2$$ SISOM 점수: $$r(x) = \frac{d_{in}}{d_{out}}$$ #### 4. Feature Space Analysis (특징 공간 분석) 특징 공간 분리성의 프록시로 평균 거리 비율 계산: $$r_{avg} = \frac{1}{|L|} \sum_{z \in L} \frac{d_{in}(\sigma(z \odot g))}{d_{out}(\sigma(z \odot g))}$$ 불확실성과 다양성의 적응형 융합: $$\hat{r}_i = \min(r_{avg}, 1) \cdot E_i + \max(1 - r_{avg}, 0) \cdot r_i$$ #### 5. Sigmoid Steepness (시그모이드 가파름) 특징 공간 분리성을 개선하기 위해 각 레이어의 시그모이드 함수 가파름 매개변수 α 최적화: $$\alpha_{opt} = \arg\min_\alpha r_{avg}(\alpha)$$ ### 기술 혁신 포인트 1. **통합 메트릭 설계**: 거리 비율은 AL과 OOD 탐지 요구사항을 동시에 포착 2. **적응형 융합**: 특징 공간 품질에 따라 불확실성과 다양성을 자동으로 균형 3. **다층 특징 통합**: 네트워크 다층 정보를 활용하여 표현 능력 강화 4. **그래디언트 가중**: KL 발산 그래디언트를 통해 중요한 뉴런 강조 ## 실험 설정 ### 데이터셋 **능동 학습**: - CIFAR-10/100: 쿼리 크기 q=1000/2000 - SVHN: 쿼리 크기 q=500 - ResNet18/34 아키텍처 사용 **OOD 탐지**: - OpenOOD 벤치마크 설정 준수 - CIFAR-10: 근처 OOD(CIFAR-100, Tiny ImageNet), 원거리 OOD(MNIST, SVHN 등) - CIFAR-100: 근처 OOD(CIFAR-10, Tiny ImageNet), 원거리 OOD(MNIST, SVHN 등) - ImageNet-1k: 근처 OOD(SSB-hard, NINCO), 원거리 OOD(iNaturalist 등) ### 평가 지표 - **능동 학습**: 주석 데이터 백분율에 따른 분류 정확도 변화 - **OOD 탐지**: AUROC (Area Under ROC Curve) ### 비교 방법 **능동 학습 기준선**: - CoreSet, Badge, Learning Loss, CoreGCN - 준지도 설정: TypiClust, ProbCover, PT4AL **OOD 탐지 기준선**: - NAC, KNN, MSP, Energy, ReAct, SCALE 등 17가지 방법 ## 실험 결과 ### 주요 결과 #### 능동 학습 성능 - **CIFAR-10**: SISOM과 SISOMe이 모든 선택 주기에서 다른 방법을 초과 - **CIFAR-100**: 후기 선택 단계에서 최고 성능 달성 - **준지도 설정**: SISOM은 사전 훈련으로부터 상당한 이득을 얻어 PT4AL 초과 #### OOD 탐지 성능 | 데이터셋 | SISOMe | SISOM | 최고 기준선 | |--------|--------|-------|----------| | CIFAR-10 (근처 OOD) | **91.76** | 91.40 | 91.13 | | CIFAR-100 (근처 OOD) | 81.10 | 79.42 | **81.31** | | ImageNet (근처 OOD) | 78.59 | 77.33 | **95.22** | **종합 순위**: SISOMe은 세 벤치마크 모두에서 상위 3위를 획득하여 전체 순위 1위입니다. ### 절제 실험 1. **최적 시그모이드 가파름**: CIFAR-100과 ImageNet에서 성능 향상 2. **부분집합 선택 감소**: 추론 속도를 크게 향상시키고 성능은 약간 향상 3. **특징 강화 효과**: KL 발산 그래디언트 가중은 특징 공간 분리성을 크게 개선 ### 실행 시간 분석 | 방법 | SISOM | SISOMe | Badge | CoreSet | |------|-------|--------|-------|---------| | 시간(초) | 1477±896 | 954±126 | 33664±6682 | 2604±1572 | 5% 부분집합 선택을 통해 SISOMe 실행 시간이 266초로 감소하고 성능은 약간 향상됩니다. ### 전체 생명주기 실험 AL 훈련의 체크포인트를 사용하여 OOD 탐지를 수행하면 SISOMe은 근처 OOD와 원거리 OOD 모두에서 최고 성능을 달성하여 통합 방법의 효과성을 증명합니다. ## 관련 연구 ### 능동 학습 - **불확실성 방법**: Monte Carlo Dropout, 앙상블 방법 - **다양성 방법**: CoreSet, Badge 등 그래디언트 기반 방법 - **혼합 방법**: 불확실성과 다양성을 결합하는 방법 ### OOD 탐지 - **전처리 방법**: 데이터 증강, 혼합 훈련 - **후처리 방법**: 뉴런 필터링, 가중치 조작 - **로짓 기반**: 온도 스케일링, 에너지 점수 - **특징 공간 방법**: 마할라노비스 거리, k-최근접 이웃 ### 개방형 능동 학습 기존 방법은 주로 독립적인 모듈을 사용하여 AL과 OOD를 처리하며, 본 논문은 두 작업의 내재적 관계를 처음으로 탐색합니다. ## 결론 및 논의 ### 주요 결론 1. **통합 가능성**: AL과 OOD 탐지를 단일 방법으로 효과적으로 해결할 수 있음을 처음으로 증명 2. **성능 우수성**: 두 작업 모두에서 최첨단 성능에 도달하거나 근접 3. **실용적 가치**: 실제 응용의 배포 복잡성 단순화 ### 한계 1. **계산 복잡성**: 거리 계산으로 인한 추가 오버헤드, 부분집합 선택으로 완화 가능 2. **특징 공간 의존성**: 방법 성능은 특징 공간의 분리성에 의존 3. **하이퍼파라미터 민감성**: 시그모이드 가파름 매개변수는 다양한 데이터셋에 대해 조정 필요 ### 향후 방향 1. **개방형 능동 학습**: 통합 방법을 개방형 AL 시나리오로 확장 2. **복잡한 작업**: 객체 탐지, 의미론적 분할 등 더 복잡한 작업으로 확장 3. **배치 다양화**: 배치 다양화 기술이 이중 작업 방법에 미치는 영향 연구 ## 심층 평가 ### 장점 1. **높은 혁신성**: AL과 OOD 탐지의 통합 방법을 처음으로 제안하여 중요한 이론 및 실제 가치 보유 2. **교묘한 방법 설계**: 거리 비율 설계는 단순하면서도 효과적이며, 적응형 융합 메커니즘은 깊은 통찰력 반영 3. **포괄적인 실험**: 여러 데이터셋과 기준선을 포함하며 절제 실험과 실행 시간 분석 포함 4. **견고한 이론적 기초**: 시각화 분석을 통해 두 작업의 내재적 관계 규명 ### 부족한 점 1. **이론 분석 부족**: 방법의 수렴성과 일반화 능력에 대한 이론적 보장 부족 2. **적용 범위 제한**: 주로 이미지 분류 작업에서 검증되었으며 다른 분야의 적용 가능성 미지수 3. **매개변수 조정 복잡성**: 여러 하이퍼파라미터가 다양한 데이터셋에 대해 조정 필요하여 실용성에 영향 가능 ### 영향력 1. **학술적 기여**: AL과 OOD 탐지의 통합 연구를 위한 새로운 방향 개척 2. **실용적 가치**: 이동 로봇, 자동 운전 등 실제 응용에 중요한 의미 3. **재현성**: 상세한 구현 세부사항과 코드 제공으로 재현 및 확장 용이 ### 적용 시나리오 1. **자원 제한 환경**: 주석 효율성과 분포 외 탐지를 동시에 고려해야 하는 응용 2. **실시간 시스템**: 부분집합 선택을 통해 성능 유지 동시에 효율성 향상 3. **개방형 세계 응용**: 자동 운전, 로봇 네비게이션 등 분포 변화에 직면한 시나리오 ## 참고문헌 논문은 많은 관련 연구를 인용하며, 주요 내용은 다음을 포함합니다: - Active Learning: Settles (2010), Sener & Savarese (2018), Ash et al. (2020) - OOD Detection: Yang et al. (2022), Liu et al. (2020), Sun et al. (2022) - OpenOOD Benchmark: Yang et al. (2022), Zhang et al. (2023) --- **종합 평가**: 이는 두 가지 중요한 문제를 해결하기 위한 혁신적인 통합 방법을 제안하는 고품질 연구 논문으로, 충분한 실험 검증을 통해 관련 분야에 중요한 추진력을 제공합니다. 일부 이론 및 실용성 측면의 부족에도 불구하고, 개척적 기여와 우수한 성능으로 인해 해당 분야의 중요한 연구가 되었습니다.