2025-11-20T04:13:15.349826

Federated Conditional Conformal Prediction via Generative Models

Xu, Xie
Conformal Prediction (CP) provides distribution-free uncertainty quantification by constructing prediction sets that guarantee coverage of the true labels. This reliability makes CP valuable for high-stakes federated learning scenarios such as multi-center healthcare. However, standard CP assumes i.i.d. data, which is violated in federated settings where client distributions differ substantially. Existing federated CP methods address this by maintaining marginal coverage on each client, but such guarantees often fail to reflect input-conditional uncertainty. In this work, we propose Federated Conditional Conformal Prediction (Fed-CCP) via generative models, which aims for conditional coverage that adapts to local data heterogeneity. Fed-CCP leverages generative models, such as normalizing flows or diffusion models, to approximate conditional data distributions without requiring the sharing of raw data. This enables each client to locally calibrate conformal scores that reflect its unique uncertainty, while preserving global consistency through federated aggregation. Experiments on real datasets demonstrate that Fed-CCP achieves more adaptive prediction sets.
academic

Federated Conditional Conformal Prediction via Generative Models

基本信息

  • 论文ID: 2510.13297
  • 标题: Federated Conditional Conformal Prediction via Generative Models
  • 作者: Rui Xu & Sihong Xie (香港科技大学广州校区)
  • 分类: cs.LG (Machine Learning)
  • 发表时间: 2025年10月15日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.13297

摘要

保形预测(Conformal Prediction, CP)通过构建保证覆盖真实标签的预测集来提供无分布假设的不确定性量化。这种可靠性使CP在多中心医疗等高风险联邦学习场景中具有重要价值。然而，标准CP假设数据独立同分布(i.i.d.)，这在客户端分布差异显著的联邦设置中被违反。现有的联邦CP方法通过在每个客户端维持边际覆盖来解决这个问题，但这种保证往往无法反映输入条件不确定性。本文提出基于生成模型的联邦条件保形预测(Fed-CCP)，旨在实现适应局部数据异质性的条件覆盖。Fed-CCP利用标准化流或扩散模型等生成模型来近似条件数据分布，无需共享原始数据。这使得每个客户端能够局部校准反映其独特不确定性的保形分数，同时通过联邦聚合保持全局一致性。

研究背景与动机

问题定义

  1. 核心问题: 在联邦学习环境中，如何实现既保护隐私又能提供输入条件不确定性量化的保形预测？
  2. 问题重要性:
    • 在医疗、金融等高风险领域，需要可靠的不确定性量化
    • 联邦学习场景下数据无法集中，存在显著的分布异质性
    • 隐私保护要求限制了原始数据的共享
  3. 现有方法局限性:
    • 标准CP假设i.i.d.数据，在联邦设置下失效
    • 现有联邦CP方法(FCP, FedCP-QQ, DP-FedCP)仅关注边际覆盖
    • 边际覆盖产生统一宽度的预测区间，无法反映实例特定的不确定性
    • 缺乏在联邦设置下实现条件覆盖的有效方法
  4. 研究动机:
    • 需要在保护隐私的前提下实现自适应的、实例特定的不确定性量化
    • 利用生成模型的分布变换能力来统一异质的客户端分布
    • 在参考分布空间进行条件覆盖，再变换回原始分布空间

核心贡献

  1. 提出Fed-CCP框架: 首次在联邦学习中实现条件保形预测，通过生成模型构建可变换的预测集
  2. 理论创新: 利用双射变换保持条件覆盖保证，从参考高斯分布空间变换到客户端原始数据空间
  3. 隐私保护设计: 仅通过梯度交换训练生成模型，无需共享原始数据
  4. 客户端自适应: 引入客户端条件器η来建模跨客户端异质性
  5. 实验验证: 在医疗、保险、物联网、流行病学、交通预测等5个领域验证了方法的有效性

方法详解

任务定义

给定K个客户端，每个客户端k的数据遵循分布QXY(k)Q^{(k)}_{XY}，目标是构建预测集CTrans(Xn+1)C_{Trans}(X_{n+1})，使其满足条件覆盖保证： Pr⁡(Yn+1∈CTrans(Xn+1)∣Xn+1=x)≥1−α,∀x∈X\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}

模型架构

1. 生成模型选择

标准化流(Normalizing Flows):

  • 学习客户端分布QXYQ_{XY}到参考分布PXYP_{XY}的可逆变换fθf_\theta
  • 利用变量替换公式优化KL散度： min⁡θDKL(fθ#qXY∥pXY)=min⁡θ−E(x,y)∼QXY[log⁡pXY(fθ(x,y))+log⁡∣det⁡∂fθ(x,y)∂(x,y)∣−1]\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]

扩散模型(Diffusion Models):

  • 通过随机微分方程实现前向扩散过程： d(Xt,Yt)=−12βt(Xt,Yt)dt+βtdWtd(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t
  • 反向过程学习去噪，近似逆变换g≈f−1g \approx f^{-1}

2. 可变换预测集构造

对于测试样本(Xn+1,Yn+1)∼QXY(X_{n+1}, Y_{n+1}) \sim Q_{XY}：

  1. 通过fθf_\theta变换到参考空间：fθ(Xn+1,Yn+1)=(X~n+1,Y~n+1)∼PXYf_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}
  2. 在参考空间构造条件预测集：CA(X~n+1)={y~∈Y:s(X~n+1,y~)≤τ(X~n+1)}C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}
  3. 通过逆变换gθ=fθ−1g_\theta = f_\theta^{-1}映射回原始空间： CTrans(Xn+1)={y∈Y:y~∈CA(X~n+1),gθ(X~n+1,y~)=(Xn+1,y)}C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}

3. 多客户端联邦学习

引入客户端条件器η(k)∼N(μ(k),(σ(k))2)\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)，使条件生成模型fθ(x,y;η)f_\theta(x,y;\eta)能够适应不同客户端的分布特性。

技术创新点

  1. 双射性保证: 利用生成模型的可逆性确保条件覆盖保证在分布变换下保持不变
  2. 条件器机制: 通过客户端特定的高斯条件器建模跨客户端异质性
  3. 隐私保护: 基预测模型h仅在参考高斯分布上训练，生成模型训练仅交换梯度信息
  4. 统一框架: 将异质的客户端分布统一映射到同一参考分布空间进行条件覆盖

实验设置

数据集

  1. 医疗领域: MIMIC-IV、eICU及两家合作医院数据，模拟多中心医疗场景
  2. 物联网: Intel Berkeley Research Lab传感器数据，模拟空间分布的传感器网络
  3. 保险领域: French Motor Claims数据集(677,991条记录)，按地理区域划分客户端
  4. 交通预测: Seattle-Loop、PEMSD4、PEMSD8数据集，不同数据提供方作为客户端
  5. 流行病学: US-Regions、US-States、Japan-Prefectures数据，按行政区域划分

评价指标

  1. 边际覆盖率: 作为条件覆盖的必要条件进行评估
  2. 平均预测集大小: 衡量方法的自适应性，更小的预测集表示更好的条件覆盖近似

对比方法

  1. CQR: 不使用生成模型的保形分位数回归
  2. Fed-CCP (w/o conditioner): 不使用客户端条件器的Fed-CCP
  3. Fed-CCP: 完整的提出方法

实现细节

  • 使用normflows库实现标准化流
  • 参考分布设定为对角协方差的多元高斯分布
  • 目标置信水平设为90% (α=0.1)

实验结果

主要结果

如图1所示，在所有5个领域的实验中：

  1. 边际覆盖性能:
    • Fed-CCP在所有任务上都达到接近目标90%的覆盖率
    • CQR在联邦设置下表现不稳定，经常出现覆盖不足
    • 去除条件器的Fed-CCP覆盖率有所下降
  2. 预测集大小:
    • Fed-CCP在保持有效覆盖的同时实现了相对较小的预测集
    • CQR的预测集大小变异性较大
    • 无条件器版本产生过大的预测集

关键发现

  1. 生成模型的必要性: CQR在分布偏移下失效，证明了生成模型对齐的重要性
  2. 条件器的关键作用: 客户端条件器η对于捕获跨客户端异质性至关重要
  3. 自适应性: Fed-CCP能够产生既有效又自适应的实例特定预测集
  4. 跨域鲁棒性: 方法在不同应用领域都表现出一致的有效性

实验验证

实验结果确认了Fed-CCP的两个核心假设：

  1. 双射生成对齐能够有效协调客户端分布
  2. 条件器机制成功建模了客户端特定特征

相关工作

保形预测领域

  1. 经典CP: Vovk等人的算法学习理论基础
  2. 条件CP: 针对实例特定不确定性的自适应方法
  3. 分位数回归CP: Romano等人的CQR方法

联邦保形预测

  1. FCP & FedCP-QQ: 针对混合分布的覆盖保证
  2. DP-FedCP: 处理标签偏移的差分隐私方法
  3. 分布式CP: 基于图拓扑的邻居通信方法

生成模型

  1. 标准化流: 可逆神经网络用于密度建模
  2. 扩散模型: 基于随机过程的生成建模

结论与讨论

主要结论

  1. Fed-CCP成功实现了联邦环境下的条件保形预测
  2. 生成模型提供了有效的分布对齐机制
  3. 客户端条件器是处理异质性的关键组件
  4. 方法在多个实际应用领域展现了鲁棒性

局限性

  1. 计算复杂性: 生成模型训练增加了计算开销
  2. 理论分析: 缺乏有限样本下的理论保证
  3. 超参数敏感性: 客户端条件器参数的选择可能影响性能
  4. 可扩展性: 大规模客户端场景下的性能有待验证

未来方向

  1. 建立更严格的理论分析框架
  2. 探索更高效的生成模型架构
  3. 研究动态客户端场景下的自适应机制
  4. 扩展到分类等其他任务类型

深度评价

优点

  1. 创新性强: 首次将生成模型引入联邦保形预测，实现条件覆盖
  2. 理论基础扎实: 基于双射变换的覆盖保证具有数学严谨性
  3. 隐私保护: 设计充分考虑了联邦学习的隐私要求
  4. 实验全面: 跨5个不同领域的验证增强了结果可信度
  5. 实用价值: 解决了实际应用中的重要问题

不足

  1. 理论分析不足: 缺乏有限样本复杂度和收敛性分析
  2. 计算开销: 生成模型训练的计算成本可能限制实际应用
  3. 参数敏感性: 客户端条件器设计的理论指导不足
  4. 对比实验: 缺少与其他联邦CP方法的直接对比

影响力

  1. 学术贡献: 为联邦学习中的不确定性量化开辟了新方向
  2. 实用价值: 在医疗、金融等高风险领域有重要应用前景
  3. 方法论价值: 生成模型与保形预测的结合具有普遍意义

适用场景

  1. 多中心医疗: 不同医院间的协作诊断和预测
  2. 金融风控: 跨机构的风险评估和不确定性量化
  3. 物联网: 分布式传感器网络的可靠预测
  4. 智慧城市: 跨区域的交通、环境等预测任务

参考文献

本文引用了保形预测、联邦学习、生成模型等领域的重要文献，包括：

  • Vovk等人的保形预测理论基础
  • Romano等人的CQR方法
  • Lu等人的联邦保形预测工作
  • 标准化流和扩散模型的经典文献

总体评价: 这是一篇高质量的机器学习论文，在联邦学习和不确定性量化的交叉领域做出了重要贡献。方法新颖，实验充分，具有重要的理论意义和实用价值。建议在理论分析和计算效率方面进一步完善。