2025-11-20T04:13:15.349826

Federated Conditional Conformal Prediction via Generative Models

Xu, Xie

Conformal Prediction (CP) provides distribution-free uncertainty quantification by constructing prediction sets that guarantee coverage of the true labels. This reliability makes CP valuable for high-stakes federated learning scenarios such as multi-center healthcare. However, standard CP assumes i.i.d. data, which is violated in federated settings where client distributions differ substantially. Existing federated CP methods address this by maintaining marginal coverage on each client, but such guarantees often fail to reflect input-conditional uncertainty. In this work, we propose Federated Conditional Conformal Prediction (Fed-CCP) via generative models, which aims for conditional coverage that adapts to local data heterogeneity. Fed-CCP leverages generative models, such as normalizing flows or diffusion models, to approximate conditional data distributions without requiring the sharing of raw data. This enables each client to locally calibrate conformal scores that reflect its unique uncertainty, while preserving global consistency through federated aggregation. Experiments on real datasets demonstrate that Fed-CCP achieves more adaptive prediction sets.

academic

생성 모델을 통한 연합 조건부 적합 예측

기본 정보

논문 ID: 2510.13297
제목: Federated Conditional Conformal Prediction via Generative Models
저자: Rui Xu & Sihong Xie (홍콩과학기술대학교 광저우 캠퍼스)
분류: cs.LG (기계학습)
발표 시간: 2025년 10월 15일 (arXiv 사전인쇄본)
논문 링크: https://arxiv.org/abs/2510.13297

초록

적합 예측(Conformal Prediction, CP)은 실제 레이블을 포함하는 예측 집합을 구성하여 분포 무관 불확실성 정량화를 제공합니다. 이러한 신뢰성은 다기관 의료 등 고위험 연합학습 시나리오에서 CP의 중요한 가치를 만듭니다. 그러나 표준 CP는 데이터가 독립동일분포(i.i.d.)라고 가정하는데, 이는 클라이언트 분포 차이가 큰 연합 설정에서 위반됩니다. 기존 연합 CP 방법은 각 클라이언트에서 주변 적용률을 유지하여 이 문제를 해결하지만, 이러한 보장은 입력 조건부 불확실성을 반영하지 못합니다. 본 논문은 생성 모델 기반 연합 조건부 적합 예측(Fed-CCP)을 제안하여 지역 데이터 이질성에 적응하는 조건부 적용률을 달성합니다. Fed-CCP는 정규화 흐름 또는 확산 모델과 같은 생성 모델을 활용하여 조건부 데이터 분포를 근사하며, 원본 데이터 공유가 필요하지 않습니다. 이를 통해 각 클라이언트는 고유한 불확실성을 반영하는 적합 점수를 지역적으로 보정할 수 있으면서 연합 집계를 통해 전역 일관성을 유지합니다.

연구 배경 및 동기

문제 정의

핵심 문제: 연합학습 환경에서 개인정보 보호와 입력 조건부 불확실성 정량화를 모두 제공하는 적합 예측을 어떻게 구현할 것인가?
문제의 중요성:
- 의료, 금융 등 고위험 분야에서 신뢰할 수 있는 불확실성 정량화가 필요함
- 연합학습 시나리오에서 데이터를 중앙화할 수 없으며, 현저한 분포 이질성이 존재함
- 개인정보 보호 요구사항이 원본 데이터 공유를 제한함
기존 방법의 한계:
- 표준 CP는 i.i.d. 데이터를 가정하며, 연합 설정에서 실패함
- 기존 연합 CP 방법(FCP, FedCP-QQ, DP-FedCP)은 주변 적용률만 고려함
- 주변 적용률은 균일한 너비의 예측 구간을 생성하며, 인스턴스별 불확실성을 반영하지 못함
- 연합 설정에서 조건부 적용률을 구현하는 효과적인 방법이 부족함
연구 동기:
- 개인정보 보호 전제 하에서 적응형, 인스턴스별 불확실성 정량화 필요
- 생성 모델의 분포 변환 능력을 활용하여 이질적인 클라이언트 분포 통합
- 참조 분포 공간에서 조건부 적용률을 수행한 후 원본 분포 공간으로 변환

핵심 기여

Fed-CCP 프레임워크 제안: 연합학습에서 조건부 적합 예측을 처음으로 구현하며, 생성 모델을 통해 변환 가능한 예측 집합 구성
이론적 혁신: 전단사 변환을 활용하여 참조 가우스 분포 공간에서 클라이언트 원본 데이터 공간으로의 조건부 적용률 보장 유지
개인정보 보호 설계: 생성 모델 훈련 시 그래디언트 교환만으로 원본 데이터 공유 불필요
클라이언트 자적응: 클라이언트 조건기 η를 도입하여 클라이언트 간 이질성 모델링
실험 검증: 의료, 보험, IoT, 역학, 교통 예측 등 5개 분야에서 방법의 유효성 검증

방법 상세 설명

작업 정의

K개의 클라이언트가 주어지고, 각 클라이언트 k의 데이터가 분포 $Q^{(k)}_{XY}$ 를 따를 때, 다음의 조건부 적용률 보장을 만족하는 예측 집합 $C_{Trans}(X_{n+1})$ 을 구성하는 것이 목표입니다: $\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}$

모델 아키텍처

1. 생성 모델 선택

정규화 흐름(Normalizing Flows):

클라이언트 분포 $Q_{XY}$ 에서 참조 분포 $P_{XY}$ 로의 가역 변환 $f_\theta$ 학습
변수 치환 공식을 활용하여 KL 발산 최적화: $\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]$

확산 모델(Diffusion Models):

확률 미분 방정식을 통해 전진 확산 과정 구현: $d(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t$
역과정에서 노이즈 제거를 학습하여 역변환 $g \approx f^{-1}$ 근사

2. 변환 가능한 예측 집합 구성

테스트 샘플 $(X_{n+1}, Y_{n+1}) \sim Q_{XY}$ 에 대해:

$f_\theta$ 를 통해 참조 공간으로 변환: $f_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}$
참조 공간에서 조건부 예측 집합 구성: $C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}$
역변환 $g_\theta = f_\theta^{-1}$ 을 통해 원본 공간으로 매핑: $C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}$

3. 다중 클라이언트 연합학습

클라이언트 조건기 $\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)$ 를 도입하여 조건부 생성 모델 $f_\theta(x,y;\eta)$ 이 서로 다른 클라이언트의 분포 특성에 적응할 수 있도록 함.

기술적 혁신 포인트

전단사성 보장: 생성 모델의 가역성을 활용하여 분포 변환 하에서 조건부 적용률 보장이 불변임을 보장
조건기 메커니즘: 클라이언트별 가우스 조건기를 통해 클라이언트 간 이질성 모델링
개인정보 보호: 기본 예측 모델 h는 참조 가우스 분포에서만 훈련되며, 생성 모델 훈련은 그래디언트 정보만 교환
통합 프레임워크: 이질적인 클라이언트 분포를 동일한 참조 분포 공간으로 통합 매핑하여 조건부 적용률 수행

실험 설정

데이터셋

의료 분야: MIMIC-IV, eICU 및 두 협력 병원 데이터로 다기관 의료 시나리오 모의
IoT: Intel Berkeley Research Lab 센서 데이터로 공간 분포 센서 네트워크 모의
보험 분야: French Motor Claims 데이터셋(677,991개 레코드)을 지리적 지역별로 클라이언트 분할
교통 예측: Seattle-Loop, PEMSD4, PEMSD8 데이터셋으로 서로 다른 데이터 제공자를 클라이언트로 설정
역학: US-Regions, US-States, Japan-Prefectures 데이터를 행정 구역별로 분할

평가 지표

주변 적용률: 조건부 적용률의 필요조건으로 평가
평균 예측 집합 크기: 방법의 자적응성 측정, 더 작은 예측 집합은 더 나은 조건부 적용률 근사를 의미

비교 방법

CQR: 생성 모델을 사용하지 않는 적합 분위수 회귀
Fed-CCP (조건기 없음): 클라이언트 조건기를 사용하지 않는 Fed-CCP
Fed-CCP: 완전한 제안 방법

구현 세부사항

normflows 라이브러리를 사용하여 정규화 흐름 구현
참조 분포를 대각 공분산을 가진 다변량 가우스 분포로 설정
목표 신뢰 수준을 90% (α=0.1)로 설정

실험 결과

주요 결과

그림 1에서 보이듯이 모든 5개 분야의 실험에서:

주변 적용률 성능:
- Fed-CCP는 모든 작업에서 목표 90% 근처의 적용률 달성
- CQR은 연합 설정에서 불안정한 성능을 보이며 자주 적용률 부족 발생
- 조건기를 제거한 Fed-CCP의 적용률이 감소함
예측 집합 크기:
- Fed-CCP는 유효한 적용률을 유지하면서 상대적으로 작은 예측 집합 달성
- CQR의 예측 집합 크기 변동성이 큼
- 조건기 없는 버전은 과도하게 큰 예측 집합 생성