2025-11-22T20:19:15.981080

Diffusion-Classifier Synergy: Reward-Aligned Learning via Mutual Boosting Loop for FSCIL

Wu, Zhao, Chen et al.

Few-Shot Class-Incremental Learning (FSCIL) challenges models to sequentially learn new classes from minimal examples without forgetting prior knowledge, a task complicated by the stability-plasticity dilemma and data scarcity. Current FSCIL methods often struggle with generalization due to their reliance on limited datasets. While diffusion models offer a path for data augmentation, their direct application can lead to semantic misalignment or ineffective guidance. This paper introduces Diffusion-Classifier Synergy (DCS), a novel framework that establishes a mutual boosting loop between diffusion model and FSCIL classifier. DCS utilizes a reward-aligned learning strategy, where a dynamic, multi-faceted reward function derived from the classifier's state directs the diffusion model. This reward system operates at two levels: the feature level ensures semantic coherence and diversity using prototype-anchored maximum mean discrepancy and dimension-wise variance matching, while the logits level promotes exploratory image generation and enhances inter-class discriminability through confidence recalibration and cross-session confusion-aware mechanisms. This co-evolutionary process, where generated images refine the classifier and an improved classifier state yields better reward signals, demonstrably achieves state-of-the-art performance on FSCIL benchmarks, significantly enhancing both knowledge retention and new class learning.

academic

확산-분류기 시너지: FSCIL을 위한 보상 정렬 학습 및 상호 부스팅 루프

기본 정보

논문 ID: 2510.03608
제목: Diffusion-Classifier Synergy: Reward-Aligned Learning via Mutual Boosting Loop for FSCIL
저자: Ruitao Wu, Yifan Zhao, Guangyao Chen, Jia Li
분류: cs.CV
발표 학회: NeurIPS 2025
논문 링크: https://arxiv.org/abs/2510.03608

초록

소수 샷 클래스 증분 학습(Few-Shot Class-Incremental Learning, FSCIL)은 극소수의 샘플로부터 새로운 클래스를 순차적으로 학습하면서 동시에 이전 지식을 잊지 않아야 하는 과제로, 안정성-가소성 딜레마와 데이터 부족으로 인해 복잡해진다. 현재 FSCIL 방법들은 제한된 데이터셋에 의존하기 때문에 일반화 능력에 어려움을 겪고 있다. 확산 모델이 데이터 증강을 위한 경로를 제공하지만, 직접 적용하면 의미론적 오정렬이나 부적절한 지도가 발생할 수 있다. 본 논문은 확산-분류기 협력(DCS) 프레임워크를 제안하며, 이는 확산 모델과 FSCIL 분류기 간의 상호 촉진 루프를 구축한다. DCS는 보상 정렬 학습 전략을 채택하여 분류기 상태에서 파생된 동적 다면 보상 함수를 통해 확산 모델을 지도한다. 이 보상 시스템은 두 가지 수준에서 작동한다: 특징 수준에서는 프로토타입 앵커링 최대 평균 차이와 차원 분산 매칭을 통해 의미론적 일관성과 다양성을 보장하고, 로짓 수준에서는 신뢰도 재보정과 교차 세션 혼동 인식 메커니즘을 통해 탐색적 이미지 생성을 촉진하고 클래스 간 구별 가능성을 향상시킨다. 이러한 공동 진화 과정에서 생성된 이미지는 분류기를 최적화하고, 개선된 분류기 상태는 더 나은 보상 신호를 생성하여 FSCIL 벤치마크에서 최첨단 성능을 달성하고 지식 보존과 새로운 클래스 학습 능력을 크게 향상시킨다.

연구 배경 및 동기

문제 정의

소수 샷 클래스 증분 학습(FSCIL)은 매우 도전적인 과제로, 모델이 다음을 요구한다:

순차 학습: 연속적인 데이터 스트림에서 새로운 클래스 학습
소수 샷 제약: 새로운 클래스는 소수의 훈련 샘플만 보유(일반적으로 5-shot)
망각 방지: 이전에 학습한 클래스에 대한 지식 유지

핵심 과제

안정성-가소성 딜레마: 새로운 지식 학습과 기존 지식 보존 간의 균형 유지
데이터 부족: 새로운 클래스의 극소수 샘플로 인한 신뢰할 수 없는 경험적 위험 최소화
불충분한 일반화 능력: 기존 방법들이 제한된 초기 데이터셋에 과도하게 의존

기존 방법의 한계

전통적인 FSCIL 방법은 주로 두 가지 문제를 가지고 있다:

의미론적 오정렬 및 다양성 부족: 확산 모델에서 직접 생성한 이미지는 의미론적 편차나 다양성 부족이 있을 수 있다
피드백 메커니즘 부재: 확산 모델이 분류기의 현재 상태에 따라 출력을 조정할 메커니즘 부재

핵심 기여

DCS 프레임워크 제안: 확산 모델과 FSCIL 분류기 간의 상호 촉진 루프를 최초로 제안하며, DAS 알고리즘을 통해 보상 정렬 생성 구현
다층 보상 설계: 특징 수준과 로짓 수준에서 작동하는 다면 보상 함수 설계
- 특징 수준: 의미론적 일관성 보장 및 클래스 내 다양성 촉진
- 로짓 수준: 탐색적이고 일반화된 클래스 내 이미지 생성 지도 및 클래스 간 구별 가능성 향상
최첨단 성능: FSCIL 벤치마크 데이터셋에서 최첨단 결과 달성, 기존 클래스 지식 보존 및 새로운 클래스 학습 효과 대폭 개선

방법 상세 설명

과제 정의

FSCIL은 연속 데이터 스트림 $D_{train} = \{D^t_{train}\}^T_{t=0}$ 에서 순차적으로 학습하는 것을 포함하며, 여기서:

각 세션 $t$ 는 새로운 분리된 클래스 집합 $C_t$ 의 훈련 샘플 $(x_i, y_i)$ 를 도입
기본 세션 $(t=0)$ 은 충분한 데이터를 가지고 있으며, 증분 세션 $(t>0)$ 은 N-way K-shot 형식 채택
모델은 $D^t_{train}$ 에서 훈련 후 모든 관찰된 클래스 $C^t_{seen} = \bigcup^t_{s=0} C_s$ 에서 평가 필요

모델 아키텍처

상호 촉진 루프 메커니즘

DCS의 핵심 개념은 확산 모델과 분류기 간의 양방향 피드백 구축:

보상 계산: 분류기 $\sigma$ (매개변수 $\theta$ )의 생성 이미지 $x$ 에 대한 출력을 기반으로 여러 보상 구성 요소 $R_i$ 계산
확산 모델 최적화: $\phi^* = \arg\max_\phi \sum_i R_i(\sigma_\theta(D(x;\phi)))$
분류기 개선: $\theta^* = \arg\min_\theta L_{cls}(\sigma_\theta; x \cup D(x;\phi^*), y)$

특징 수준 보상 설계

1. 프로토타입 앵커링 최대 평균 차이 보상 (R_PAMMD) $R_{PAMMD}(x_{gen}, I^{(c,N)}_{gen}) = -\alpha \frac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N k(z_i,z_j) + \beta \frac{1}{N}\sum_{i=1}^N k(z_i,\mu_c)$