Predicción Conforme Condicional Federada mediante Modelos Generativos

Información Básica

• ID del Artículo: 2510.13297
• Título: Federated Conditional Conformal Prediction via Generative Models
• Autores: Rui Xu & Sihong Xie (Universidad de Ciencia y Tecnología de Hong Kong, Campus de Guangzhou)
• Clasificación: cs.LG (Aprendizaje Automático)
• Fecha de Publicación: 15 de octubre de 2025 (preimpresión arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.13297

Resumen

La predicción conforme (Conformal Prediction, CP) proporciona cuantificación de incertidumbre sin supuestos de distribución mediante la construcción de conjuntos de predicción que garantizan la cobertura de etiquetas verdaderas. Esta confiabilidad hace que CP sea de gran valor en escenarios de aprendizaje federado de alto riesgo, como la medicina multicéntrica. Sin embargo, CP estándar asume que los datos son independientes e idénticamente distribuidos (i.i.d.), supuesto que se viola en configuraciones federadas con variaciones significativas de distribución entre clientes. Los métodos existentes de CP federado abordan este problema manteniendo cobertura marginal en cada cliente, pero estas garantías a menudo no reflejan la incertidumbre condicional de entrada. Este artículo propone predicción conforme condicional federada basada en modelos generativos (Fed-CCP), con el objetivo de lograr cobertura condicional adaptada a la heterogeneidad de datos locales. Fed-CCP utiliza modelos generativos como flujos normalizadores o modelos de difusión para aproximar distribuciones de datos condicionales sin compartir datos sin procesar. Esto permite que cada cliente calibre localmente puntuaciones conformes que reflejen su incertidumbre única, mientras mantiene consistencia global mediante agregación federada.

Antecedentes y Motivación de la Investigación

Definición del Problema

1. Problema Central: ¿Cómo lograr predicción conforme que proteja la privacidad y proporcione cuantificación de incertidumbre condicional de entrada en un entorno de aprendizaje federado?
2. Importancia del Problema:
   • En dominios de alto riesgo como medicina y finanzas, se requiere cuantificación confiable de incertidumbre
   • En escenarios de aprendizaje federado, los datos no pueden centralizarse, existiendo heterogeneidad significativa de distribución
   • Los requisitos de protección de privacidad limitan el intercambio de datos sin procesar
3. Limitaciones de Métodos Existentes:
   • CP estándar asume datos i.i.d., fallando en configuraciones federadas
   • Los métodos existentes de CP federado (FCP, FedCP-QQ, DP-FedCP) solo se enfocan en cobertura marginal
   • La cobertura marginal produce intervalos de predicción de ancho uniforme, incapaz de reflejar incertidumbre específica de instancia
   • Falta de métodos efectivos para lograr cobertura condicional en configuraciones federadas
4. Motivación de la Investigación:
   • Necesidad de lograr cuantificación de incertidumbre adaptativa y específica de instancia protegiendo la privacidad
   • Aprovechar la capacidad de transformación de distribución de modelos generativos para unificar distribuciones heterogéneas de clientes
   • Realizar cobertura condicional en espacio de distribución de referencia, luego transformar de vuelta al espacio de distribución original

Contribuciones Principales

1. Marco Fed-CCP Propuesto: Primera implementación de predicción conforme condicional en aprendizaje federado, construyendo conjuntos de predicción transformables mediante modelos generativos
2. Innovación Teórica: Utilización de transformaciones biyectivas para mantener garantías de cobertura condicional, transformando desde espacio de distribución gaussiana de referencia al espacio de datos original del cliente
3. Diseño de Protección de Privacidad: Entrenamiento de modelos generativos solo mediante intercambio de gradientes, sin necesidad de compartir datos sin procesar
4. Adaptación del Cliente: Introducción de acondicionador de cliente η para modelar heterogeneidad entre clientes
5. Verificación Experimental: Validación del método en 5 dominios incluyendo medicina, seguros, IoT, epidemiología y predicción de tráfico

Explicación Detallada del Método

Definición de la Tarea

Dado K clientes, donde los datos de cada cliente k siguen distribución $Q^{(k)}_{XY}$, el objetivo es construir conjunto de predicción $C_{Trans}(X_{n+1})$ que satisfaga garantía de cobertura condicional: $\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}$

Arquitectura del Modelo

1. Selección de Modelo Generativo

Flujos Normalizadores (Normalizing Flows):

• Aprendizaje de transformación invertible $f_\theta$ desde distribución de cliente $Q_{XY}$ a distribución de referencia $P_{XY}$
• Optimización de divergencia KL utilizando fórmula de cambio de variables: $\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]$

Modelos de Difusión (Diffusion Models):

• Implementación de proceso de difusión hacia adelante mediante ecuación diferencial estocástica: $d(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t$
• Proceso inverso que aprende desruido, aproximando transformación inversa $g \approx f^{-1}$

2. Construcción de Conjunto de Predicción Transformable

Para muestra de prueba $(X_{n+1}, Y_{n+1}) \sim Q_{XY}$:

1. Transformación mediante $f_\theta$ a espacio de referencia: $f_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}$
2. Construcción de conjunto de predicción condicional en espacio de referencia: $C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}$
3. Mapeo mediante transformación inversa $g_\theta = f_\theta^{-1}$ de vuelta al espacio original: $C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}$

3. Aprendizaje Federado Multicliente

Introducción de acondicionador de cliente $\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)$, permitiendo que modelo generativo condicional $f_\theta(x,y;\eta)$ se adapte a características de distribución de diferentes clientes.

Puntos de Innovación Técnica

1. Garantía de Biyectividad: Utilización de invertibilidad de modelos generativos para garantizar que garantías de cobertura condicional se mantienen bajo transformación de distribución
2. Mecanismo de Acondicionador: Modelado de heterogeneidad entre clientes mediante acondicionador gaussiano específico del cliente
3. Protección de Privacidad: Modelo de predicción base h entrenado solo en distribución gaussiana de referencia, entrenamiento de modelo generativo intercambiando solo información de gradientes
4. Marco Unificado: Mapeo de distribuciones heterogéneas de clientes a espacio de distribución de referencia común para cobertura condicional

Configuración Experimental

Conjuntos de Datos

1. Dominio Médico: Datos MIMIC-IV, eICU y de dos hospitales colaboradores, simulando escenarios médicos multicéntricos
2. Internet de las Cosas: Datos de sensores del Laboratorio de Investigación Intel Berkeley, simulando red de sensores con distribución espacial
3. Dominio de Seguros: Conjunto de datos French Motor Claims (677,991 registros), dividido por región geográfica en clientes
4. Predicción de Tráfico: Conjuntos de datos Seattle-Loop, PEMSD4, PEMSD8, con diferentes proveedores de datos como clientes
5. Epidemiología: Datos US-Regions, US-States, Japan-Prefectures, divididos por región administrativa

Métricas de Evaluación

1. Tasa de Cobertura Marginal: Evaluada como condición necesaria para cobertura condicional
2. Tamaño Promedio de Conjunto de Predicción: Medida de adaptabilidad del método, conjuntos de predicción más pequeños indican mejor aproximación de cobertura condicional

Métodos de Comparación

1. CQR: Regresión de cuantiles conforme sin uso de modelos generativos
2. Fed-CCP (sin acondicionador): Fed-CCP sin acondicionador de cliente
3. Fed-CCP: Método completo propuesto

Detalles de Implementación

• Uso de biblioteca normflows para implementación de flujos normalizadores
• Distribución de referencia establecida como distribución gaussiana multivariada con covarianza diagonal
• Nivel de confianza objetivo establecido en 90% (α=0.1)

Resultados Experimentales

Resultados Principales

Como se muestra en la Figura 1, en experimentos en los 5 dominios:

1. Desempeño de Cobertura Marginal:
   • Fed-CCP logra tasa de cobertura cercana al objetivo del 90% en todas las tareas
   • CQR muestra desempeño inestable en configuración federada, frecuentemente con cobertura insuficiente
   • Fed-CCP sin acondicionador muestra reducción en tasa de cobertura
2. Tamaño de Conjunto de Predicción:
   • Fed-CCP logra conjuntos de predicción relativamente pequeños manteniendo cobertura efectiva
   • CQR muestra mayor variabilidad en tamaño de conjunto de predicción
   • Versión sin acondicionador produce conjuntos de predicción excesivamente grandes

Hallazgos Clave

1. Necesidad de Modelos Generativos: Fallo de CQR bajo cambio de distribución, demostrando importancia de alineación mediante modelos generativos
2. Rol Crítico del Acondicionador: Acondicionador de cliente η es crucial para capturar heterogeneidad entre clientes
3. Adaptabilidad: Fed-CCP produce conjuntos de predicción específicos de instancia tanto efectivos como adaptativos
4. Robustez Transdominio: Método muestra efectividad consistente en diferentes dominios de aplicación

Verificación Experimental

Los resultados experimentales confirman dos supuestos centrales de Fed-CCP:

1. La alineación generativa biyectiva coordina efectivamente distribuciones de clientes
2. El mecanismo de acondicionador modela exitosamente características específicas del cliente

Trabajo Relacionado

Campo de Predicción Conforme

1. CP Clásica: Fundamentos teóricos de aprendizaje algorítmico de Vovk et al.
2. CP Condicional: Métodos adaptativos para incertidumbre específica de instancia
3. CP de Regresión de Cuantiles: Método CQR de Romano et al.

Predicción Conforme Federada

1. FCP & FedCP-QQ: Garantías de cobertura para distribuciones mixtas
2. DP-FedCP: Método de privacidad diferencial para manejo de cambio de etiqueta
3. CP Distribuida: Métodos basados en topología de gráficos con comunicación de vecinos

Modelos Generativos

1. Flujos Normalizadores: Redes neuronales invertibles para modelado de densidad
2. Modelos de Difusión: Modelado generativo basado en procesos estocásticos

Conclusiones y Discusión

Conclusiones Principales

1. Fed-CCP logra exitosamente predicción conforme condicional en entorno federado
2. Los modelos generativos proporcionan mecanismo efectivo de alineación de distribución
3. El acondicionador de cliente es componente clave para manejo de heterogeneidad
4. El método demuestra robustez en múltiples dominios de aplicación práctica

Limitaciones

1. Complejidad Computacional: Entrenamiento de modelos generativos aumenta carga computacional
2. Análisis Teórico: Falta de garantías teóricas con muestras finitas
3. Sensibilidad de Hiperparámetros: Selección de parámetros de acondicionador de cliente puede afectar desempeño
4. Escalabilidad: Desempeño en escenarios con gran número de clientes requiere verificación

Direcciones Futuras

1. Establecimiento de marco de análisis teórico más riguroso
2. Exploración de arquitecturas de modelos generativos más eficientes
3. Investigación de mecanismos adaptativos en escenarios de clientes dinámicos
4. Extensión a otros tipos de tareas como clasificación

Evaluación Profunda

Fortalezas

1. Innovación Fuerte: Primera introducción de modelos generativos en predicción conforme federada, logrando cobertura condicional
2. Fundamentos Teóricos Sólidos: Garantías de cobertura basadas en transformaciones biyectivas con rigor matemático
3. Protección de Privacidad: Diseño que considera plenamente requisitos de privacidad del aprendizaje federado
4. Experimentos Exhaustivos: Verificación en 5 dominios diferentes aumenta credibilidad de resultados
5. Valor Práctico: Soluciona problemas importantes en aplicaciones reales

Deficiencias

1. Análisis Teórico Insuficiente: Falta de análisis de complejidad con muestras finitas y convergencia
2. Costo Computacional: Costo computacional del entrenamiento de modelos generativos puede limitar aplicación práctica
3. Sensibilidad de Parámetros: Orientación teórica insuficiente para diseño de acondicionador de cliente
4. Experimentos de Comparación: Falta de comparación directa con otros métodos de CP federado

Impacto

1. Contribución Académica: Abre nueva dirección para cuantificación de incertidumbre en aprendizaje federado
2. Valor Práctico: Perspectivas importantes de aplicación en dominios de alto riesgo como medicina y finanzas
3. Valor Metodológico: Combinación de modelos generativos y predicción conforme tiene significado universal

Escenarios Aplicables

1. Medicina Multicéntrica: Colaboración entre diferentes hospitales para diagnóstico y predicción
2. Control de Riesgo Financiero: Evaluación de riesgo y cuantificación de incertidumbre entre instituciones
3. Internet de las Cosas: Predicción confiable en redes de sensores distribuidos
4. Ciudades Inteligentes: Tareas de predicción transregional de tráfico, ambiente, etc.

Referencias Bibliográficas

Este artículo cita literatura importante en campos de predicción conforme, aprendizaje federado y modelos generativos, incluyendo:

• Fundamentos teóricos de predicción conforme de Vovk et al.
• Método CQR de Romano et al.
• Trabajo de predicción conforme federada de Lu et al.
• Literatura clásica de flujos normalizadores y modelos de difusión

Evaluación General: Este es un artículo de aprendizaje automático de alta calidad que realiza contribuciones importantes en el campo interdisciplinario de aprendizaje federado y cuantificación de incertidumbre. El método es novedoso, los experimentos son exhaustivos, y posee significado teórico e importancia práctica considerable. Se recomienda perfeccionar análisis teórico y eficiencia computacional.