Prédiction Conforme Conditionnelle Fédérée via Modèles Génératifs

Informations Fondamentales

• ID de l'article: 2510.13297
• Titre: Federated Conditional Conformal Prediction via Generative Models
• Auteurs: Rui Xu & Sihong Xie (Université de Technologie de Hong Kong, Campus de Guangzhou)
• Classification: cs.LG (Apprentissage Automatique)
• Date de publication: 15 octobre 2025 (prépublication arXiv)
• Lien de l'article: https://arxiv.org/abs/2510.13297

Résumé

La prédiction conforme (Conformal Prediction, CP) fournit une quantification de l'incertitude sans hypothèse de distribution en construisant des ensembles de prédiction garantissant de couvrir les véritables étiquettes. Cette fiabilité confère à la CP une importance cruciale dans les scénarios d'apprentissage fédéré à haut risque, tels que la médecine multi-centralisée. Cependant, la CP standard suppose que les données sont indépendantes et identiquement distribuées (i.i.d.), hypothèse violée dans les paramètres fédérés où la distribution des clients varie considérablement. Les méthodes existantes de CP fédérée résolvent ce problème en maintenant une couverture marginale sur chaque client, mais cette garantie ne reflète souvent pas l'incertitude conditionnelle à l'entrée. Cet article propose la prédiction conforme conditionnelle fédérée basée sur des modèles génératifs (Fed-CCP), visant à réaliser une couverture conditionnelle adaptée à l'hétérogénéité des données locales. Fed-CCP exploite des modèles génératifs tels que les flots normalisants ou les modèles de diffusion pour approximer les distributions de données conditionnelles, sans nécessiter le partage de données brutes. Cela permet à chaque client de calibrer localement les scores conformes reflétant son incertitude unique, tout en maintenant la cohérence mondiale par agrégation fédérée.

Contexte de Recherche et Motivation

Définition du Problème

1. Problème central: Comment réaliser une prédiction conforme qui protège la vie privée tout en fournissant une quantification de l'incertitude conditionnelle à l'entrée dans un environnement d'apprentissage fédéré?
2. Importance du problème:
   • Dans les domaines à haut risque tels que la médecine et la finance, une quantification fiable de l'incertitude est nécessaire
   • Dans les scénarios d'apprentissage fédéré, les données ne peuvent pas être centralisées, créant une hétérogénéité de distribution significative
   • Les exigences de protection de la vie privée limitent le partage de données brutes
3. Limitations des méthodes existantes:
   • La CP standard suppose des données i.i.d., ce qui échoue dans les paramètres fédérés
   • Les méthodes existantes de CP fédérée (FCP, FedCP-QQ, DP-FedCP) se concentrent uniquement sur la couverture marginale
   • La couverture marginale produit des intervalles de prédiction de largeur uniforme, incapable de refléter l'incertitude spécifique à l'instance
   • Absence de méthode efficace pour réaliser une couverture conditionnelle dans les paramètres fédérés
4. Motivation de la recherche:
   • Nécessité de réaliser une quantification d'incertitude adaptative et spécifique à l'instance tout en protégeant la vie privée
   • Exploitation de la capacité de transformation de distribution des modèles génératifs pour unifier les distributions hétérogènes des clients
   • Réalisation de la couverture conditionnelle dans l'espace de distribution de référence, puis transformation vers l'espace de distribution original

Contributions Principales

1. Proposition du cadre Fed-CCP: Première réalisation de la prédiction conforme conditionnelle en apprentissage fédéré, construisant des ensembles de prédiction transformables via des modèles génératifs
2. Innovation théorique: Utilisation de transformations bijectives pour préserver les garanties de couverture conditionnelle, transformant de l'espace de distribution gaussienne de référence vers l'espace de données original du client
3. Conception de protection de la vie privée: Entraînement des modèles génératifs uniquement par échange de gradients, sans partage de données brutes
4. Adaptation au client: Introduction d'un conditionneur de client η pour modéliser l'hétérogénéité entre clients
5. Validation expérimentale: Vérification de l'efficacité de la méthode dans 5 domaines: médecine, assurance, Internet des objets, épidémiologie et prédiction du trafic

Détails de la Méthode

Définition de la Tâche

Étant donné K clients, où chaque client k possède des données suivant la distribution $Q^{(k)}_{XY}$, l'objectif est de construire un ensemble de prédiction $C_{Trans}(X_{n+1})$ satisfaisant la garantie de couverture conditionnelle: $\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}$

Architecture du Modèle

1. Sélection du Modèle Génératif

Flots Normalisants (Normalizing Flows):

• Apprentissage de la transformation inversible $f_\theta$ de la distribution du client $Q_{XY}$ vers la distribution de référence $P_{XY}$
• Optimisation de la divergence KL utilisant la formule de changement de variables: $\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]$

Modèles de Diffusion (Diffusion Models):

• Réalisation du processus de diffusion avant par équation différentielle stochastique: $d(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t$
• Apprentissage du processus inverse par débruitage, approximant la transformation inverse $g \approx f^{-1}$

2. Construction d'Ensembles de Prédiction Transformables

Pour un échantillon de test $(X_{n+1}, Y_{n+1}) \sim Q_{XY}$:

1. Transformation vers l'espace de référence via $f_\theta$: $f_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}$
2. Construction de l'ensemble de prédiction conditionnelle dans l'espace de référence: $C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}$
3. Mappage vers l'espace original via la transformation inverse $g_\theta = f_\theta^{-1}$: $C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}$

3. Apprentissage Fédéré Multi-Clients

Introduction d'un conditionneur de client $\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)$, permettant au modèle génératif conditionnel $f_\theta(x,y;\eta)$ de s'adapter aux caractéristiques de distribution de différents clients.

Points d'Innovation Technique

1. Garantie de Bijectivité: Utilisation de l'inversibilité des modèles génératifs pour assurer que les garanties de couverture conditionnelle restent invariantes sous transformation de distribution
2. Mécanisme de Conditionneur: Modélisation de l'hétérogénéité entre clients via un conditionneur gaussien spécifique au client
3. Protection de la Vie Privée: Le modèle de prédiction de base h est entraîné uniquement sur la distribution gaussienne de référence; l'entraînement du modèle génératif n'échange que les informations de gradient
4. Cadre Unifié: Mappage unifié des distributions hétérogènes des clients vers un même espace de distribution de référence pour la couverture conditionnelle

Configuration Expérimentale

Ensembles de Données

1. Domaine Médical: Données MIMIC-IV, eICU et de deux hôpitaux partenaires, simulant des scénarios médicaux multi-centralisés
2. Internet des Objets: Données de capteurs du Laboratoire de Recherche Berkeley d'Intel, simulant un réseau de capteurs distribués spatialement
3. Domaine de l'Assurance: Ensemble de données French Motor Claims (677 991 enregistrements), divisé par région géographique en clients
4. Prédiction du Trafic: Ensembles de données Seattle-Loop, PEMSD4, PEMSD8, avec différents fournisseurs de données comme clients
5. Épidémiologie: Données US-Regions, US-States, Japan-Prefectures, divisées par région administrative

Métriques d'Évaluation

1. Taux de Couverture Marginale: Évalué comme condition nécessaire de la couverture conditionnelle
2. Taille Moyenne de l'Ensemble de Prédiction: Mesure l'adaptabilité de la méthode; les ensembles de prédiction plus petits indiquent une meilleure approximation de la couverture conditionnelle

Méthodes de Comparaison

1. CQR: Régression quantile conforme sans utilisation de modèles génératifs
2. Fed-CCP (sans conditionneur): Fed-CCP sans utilisation du conditionneur de client
3. Fed-CCP: Méthode complète proposée

Détails d'Implémentation

• Utilisation de la bibliothèque normflows pour l'implémentation des flots normalisants
• Distribution de référence définie comme une distribution gaussienne multivariée avec covariance diagonale
• Niveau de confiance cible fixé à 90% (α=0,1)

Résultats Expérimentaux

Résultats Principaux

Comme illustré à la Figure 1, dans les expériences sur les 5 domaines:

1. Performance de Couverture Marginale:
   • Fed-CCP atteint un taux de couverture proche de l'objectif de 90% sur toutes les tâches
   • CQR montre des performances instables dans les paramètres fédérés, avec une couverture insuffisante fréquente
   • Fed-CCP sans conditionneur présente un taux de couverture réduit
2. Taille de l'Ensemble de Prédiction:
   • Fed-CCP réalise des ensembles de prédiction relativement petits tout en maintenant une couverture efficace
   • La variabilité de la taille de l'ensemble de prédiction de CQR est importante
   • La version sans conditionneur produit des ensembles de prédiction excessivement grands

Découvertes Clés

1. Nécessité des Modèles Génératifs: L'échec de CQR sous décalage de distribution démontre l'importance de l'alignement par modèle génératif
2. Rôle Critique du Conditionneur: Le conditionneur de client η est essentiel pour capturer l'hétérogénéité entre clients
3. Adaptabilité: Fed-CCP produit des ensembles de prédiction à la fois efficaces et adaptatifs, spécifiques à l'instance
4. Robustesse Inter-Domaines: La méthode démontre une efficacité cohérente dans différents domaines d'application

Validation Expérimentale

Les résultats expérimentaux confirment les deux hypothèses fondamentales de Fed-CCP:

1. L'alignement génératif bijectif coordonne efficacement les distributions des clients
2. Le mécanisme de conditionneur modélise avec succès les caractéristiques spécifiques au client

Travaux Connexes

Domaine de la Prédiction Conforme

1. CP Classique: Fondations théoriques de l'apprentissage algorithmique de Vovk et al.
2. CP Conditionnelle: Méthodes adaptatives pour l'incertitude spécifique à l'instance
3. CP par Régression Quantile: Méthode CQR de Romano et al.

Prédiction Conforme Fédérée

1. FCP & FedCP-QQ: Garanties de couverture pour distributions mixtes
2. DP-FedCP: Méthode de confidentialité différentielle traitant le décalage d'étiquette
3. CP Distribuée: Méthodes basées sur la communication entre voisins selon la topologie graphique

Modèles Génératifs

1. Flots Normalisants: Réseaux de neurones inversibles pour la modélisation de densité
2. Modèles de Diffusion: Modélisation générative basée sur processus stochastiques

Conclusion et Discussion

Conclusions Principales

1. Fed-CCP réalise avec succès la prédiction conforme conditionnelle dans un environnement fédéré
2. Les modèles génératifs fournissent un mécanisme efficace d'alignement de distribution
3. Le conditionneur de client est un composant clé pour traiter l'hétérogénéité
4. La méthode démontre une robustesse dans plusieurs domaines d'application réels

Limitations

1. Complexité Computationnelle: L'entraînement des modèles génératifs augmente les frais de calcul
2. Analyse Théorique: Absence de garanties théoriques en régime d'échantillon fini
3. Sensibilité aux Hyperparamètres: Le choix des paramètres du conditionneur de client peut affecter les performances
4. Scalabilité: Les performances dans les scénarios à grande échelle de clients restent à vérifier

Directions Futures

1. Établissement d'un cadre d'analyse théorique plus rigoureux
2. Exploration d'architectures de modèles génératifs plus efficaces
3. Étude de mécanismes adaptatifs dans les scénarios de clients dynamiques
4. Extension à d'autres types de tâches telles que la classification

Évaluation Approfondie

Points Forts

1. Innovation Forte: Introduction pionnière des modèles génératifs dans la prédiction conforme fédérée, réalisant la couverture conditionnelle
2. Fondations Théoriques Solides: Les garanties de couverture basées sur les transformations bijectives possèdent une rigueur mathématique
3. Protection de la Vie Privée: La conception considère pleinement les exigences de confidentialité de l'apprentissage fédéré
4. Expériences Complètes: La validation sur 5 domaines différents renforce la crédibilité des résultats
5. Valeur Pratique: Résout des problèmes importants dans les applications réelles

Insuffisances

1. Analyse Théorique Incomplète: Absence d'analyse de complexité d'échantillon fini et de convergence
2. Frais de Calcul: Le coût computationnel de l'entraînement des modèles génératifs peut limiter les applications pratiques
3. Sensibilité aux Paramètres: Manque de guidance théorique pour la conception du conditionneur de client
4. Expériences Comparatives: Absence de comparaison directe avec d'autres méthodes de CP fédérée

Impact

1. Contribution Académique: Ouvre une nouvelle direction pour la quantification de l'incertitude en apprentissage fédéré
2. Valeur Pratique: Perspectives d'application importantes dans les domaines à haut risque tels que la médecine et la finance
3. Valeur Méthodologique: La combinaison de modèles génératifs et de prédiction conforme possède une signification générale

Scénarios d'Application

1. Médecine Multi-Centralisée: Collaboration diagnostique et prédictive entre différents hôpitaux
2. Gestion des Risques Financiers: Évaluation des risques et quantification de l'incertitude entre institutions
3. Internet des Objets: Prédictions fiables dans les réseaux de capteurs distribués
4. Villes Intelligentes: Tâches de prédiction inter-régionales pour le trafic, l'environnement, etc.

Références Bibliographiques

Cet article cite des travaux importants dans les domaines de la prédiction conforme, de l'apprentissage fédéré et des modèles génératifs, notamment:

• Fondations théoriques de la prédiction conforme de Vovk et al.
• Méthode CQR de Romano et al.
• Travaux de prédiction conforme fédérée de Lu et al.
• Littérature classique sur les flots normalisants et les modèles de diffusion

Évaluation Globale: Cet article représente un travail de haute qualité en apprentissage automatique, apportant des contributions importantes au domaine interdisciplinaire de l'apprentissage fédéré et de la quantification de l'incertitude. La méthode est novatrice, les expériences sont complètes, et le travail possède une importance théorique et une valeur pratique significatives. Il est recommandé d'approfondir l'analyse théorique et l'efficacité computationnelle.