Föderiertes bedingtes konformes Vorhersagen mittels generativer Modelle

Grundinformationen

• Paper-ID: 2510.13297
• Titel: Federated Conditional Conformal Prediction via Generative Models
• Autoren: Rui Xu & Sihong Xie (Hong Kong University of Science and Technology, Guangzhou)
• Klassifizierung: cs.LG (Machine Learning)
• Veröffentlichungsdatum: 15. Oktober 2025 (arXiv Preprint)
• Paper-Link: https://arxiv.org/abs/2510.13297

Zusammenfassung

Konforme Vorhersagen (Conformal Prediction, CP) bieten verteilungsfreie Unsicherheitsquantifizierung durch die Konstruktion von Vorhersagemengen, die die wahren Etiketten mit garantierter Überdeckung enthalten. Diese Zuverlässigkeit macht CP in hochriskanten föderalen Lernszenarien wie Multi-Center-Medizin wertvoll. Standardmäßig setzt CP jedoch unabhängig und identisch verteilte (i.i.d.) Daten voraus, was in föderalen Einstellungen mit erheblichen Verteilungsunterschieden zwischen Clients verletzt wird. Bestehende föderale CP-Methoden adressieren dieses Problem durch die Aufrechterhaltung marginaler Überdeckung auf jedem Client, aber diese Garantien spiegeln oft nicht die bedingte Unsicherheit bei Eingaben wider. Dieses Paper schlägt föderiertes bedingtes konformes Vorhersagen basierend auf generativen Modellen (Fed-CCP) vor, um bedingte Überdeckung zu erreichen, die sich an lokale Datenheterogenität anpasst. Fed-CCP nutzt generative Modelle wie normalisierte Flüsse oder Diffusionsmodelle, um bedingte Datenverteilungen zu approximieren, ohne Rohdaten zu teilen. Dies ermöglicht es jedem Client, lokal konforme Scores zu kalibrieren, die seine einzigartige Unsicherheit widerspiegeln, während gleichzeitig durch föderale Aggregation globale Konsistenz gewahrt bleibt.

Forschungshintergrund und Motivation

Problemdefinition

1. Kernproblem: Wie lässt sich in föderalen Lernumgebungen sowohl Datenschutz als auch bedingte Unsicherheitsquantifizierung durch konforme Vorhersagen erreichen?
2. Problemrelevanz:
   • In hochriskanten Bereichen wie Medizin und Finanzen ist zuverlässige Unsicherheitsquantifizierung erforderlich
   • In föderalen Lernszenarien können Daten nicht zentralisiert werden und weisen erhebliche Verteilungsheterogenität auf
   • Datenschutzanforderungen beschränken die Weitergabe von Rohdaten
3. Einschränkungen bestehender Methoden:
   • Standard-CP setzt i.i.d.-Daten voraus und versagt in föderalen Einstellungen
   • Bestehende föderale CP-Methoden (FCP, FedCP-QQ, DP-FedCP) konzentrieren sich nur auf marginale Überdeckung
   • Marginale Überdeckung erzeugt einheitlich breite Vorhersageintervalle und kann instanzspezifische Unsicherheit nicht widerspiegeln
   • Es fehlt eine effektive Methode zur Erreichung bedingter Überdeckung in föderalen Einstellungen
4. Forschungsmotivation:
   • Notwendigkeit adaptiver, instanzspezifischer Unsicherheitsquantifizierung unter Datenschutz
   • Nutzung der Verteilungstransformationsfähigkeiten generativer Modelle zur Vereinheitlichung heterogener Client-Verteilungen
   • Bedingte Überdeckung im Referenzverteilungsraum durchführen und dann in den ursprünglichen Verteilungsraum transformieren

Kernbeiträge

1. Vorschlag des Fed-CCP-Rahmens: Erstmalige Realisierung bedingter konformer Vorhersagen im föderalen Lernen durch generative Modelle zur Konstruktion transformierbarer Vorhersagemengen
2. Theoretische Innovation: Nutzung bijektiver Transformationen zur Beibehaltung bedingter Überdeckungsgarantien, Transformation vom Referenz-Gaußraum in den ursprünglichen Client-Datenraum
3. Datenschutzdesign: Training generativer Modelle nur durch Gradientenaustausch ohne Rohdatenaustausch
4. Client-Anpassung: Einführung eines Client-Konditionierers η zur Modellierung von Client-übergreifender Heterogenität
5. Experimentelle Validierung: Validierung der Methode in 5 Domänen: Medizin, Versicherung, IoT, Epidemiologie und Verkehrsprognose

Methodische Details

Aufgabendefinition

Gegeben K Clients, wobei jeder Client k Daten gemäß Verteilung $Q^{(k)}_{XY}$ folgt, besteht das Ziel darin, eine Vorhersagemenge $C_{Trans}(X_{n+1})$ zu konstruieren, die die bedingte Überdeckungsgarantie erfüllt: $\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}$

Modellarchitektur

1. Auswahl generativer Modelle

Normalisierte Flüsse (Normalizing Flows):

• Lernen der umkehrbaren Transformation $f_\theta$ von Client-Verteilung $Q_{XY}$ zu Referenzverteilung $P_{XY}$
• Optimierung der KL-Divergenz mittels Variablentransformationsformel: $\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]$

Diffusionsmodelle (Diffusion Models):

• Realisierung des Vorwärtsdiffusionsprozesses durch stochastische Differentialgleichungen: $d(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t$
• Rückwärtsprozess lernt Entrauschung und approximiert die Umkehrtransformation $g \approx f^{-1}$

2. Konstruktion transformierbarer Vorhersagemengen

Für Testmuster $(X_{n+1}, Y_{n+1}) \sim Q_{XY}$:

1. Transformation in Referenzraum mittels $f_\theta$: $f_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}$
2. Konstruktion bedingter Vorhersagemenge im Referenzraum: $C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}$
3. Rücktransformation in ursprünglichen Raum mittels Umkehrtransformation $g_\theta = f_\theta^{-1}$: $C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}$

3. Föderales Multi-Client-Lernen

Einführung eines Client-Konditionierers $\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2)$, damit das bedingte generative Modell $f_\theta(x,y;\eta)$ sich an die Verteilungseigenschaften verschiedener Clients anpassen kann.

Technische Innovationen

1. Bijektivitätsgarantie: Nutzung der Umkehrbarkeit generativer Modelle zur Sicherung, dass bedingte Überdeckungsgarantien unter Verteilungstransformation erhalten bleiben
2. Konditionierungsmechanismus: Modellierung von Client-übergreifender Heterogenität durch Client-spezifische Gauß-Konditionierer
3. Datenschutz: Basis-Vorhersagemodell h wird nur auf Referenz-Gaußverteilung trainiert; Generatives Modelltraining tauscht nur Gradientinformationen aus
4. Einheitlicher Rahmen: Vereinheitlichung heterogener Client-Verteilungen in denselben Referenzverteilungsraum für bedingte Überdeckung

Experimentelle Einrichtung

Datensätze

1. Medizinischer Bereich: MIMIC-IV, eICU und Daten von zwei Partnerkrankenhäusern, Simulation von Multi-Center-Medizinszenarien
2. Internet der Dinge: Sensordaten des Intel Berkeley Research Lab, Simulation verteilter Sensornetzwerke
3. Versicherungsbereich: French Motor Claims Datensatz (677.991 Datensätze), Clients nach geografischen Regionen unterteilt
4. Verkehrsprognose: Seattle-Loop, PEMSD4, PEMSD8 Datensätze, verschiedene Datenanbieter als Clients
5. Epidemiologie: US-Regions, US-States, Japan-Prefectures Daten, Clients nach Verwaltungsbezirken unterteilt

Bewertungsmetriken

1. Marginale Überdeckungsrate: Bewertet als notwendige Bedingung für bedingte Überdeckung
2. Durchschnittliche Vorhersagemengengröße: Misst die Adaptivität der Methode; kleinere Mengen deuten auf bessere bedingte Überdeckungsapproximation hin

Vergleichsmethoden

1. CQR: Konforme Quantilsregression ohne generative Modelle
2. Fed-CCP (ohne Konditionierer): Fed-CCP ohne Client-Konditionierer
3. Fed-CCP: Vollständige vorgeschlagene Methode

Implementierungsdetails

• Verwendung der normflows-Bibliothek für normalisierte Flüsse
• Referenzverteilung als multivariate Gaußverteilung mit diagonaler Kovarianzmatrix
• Zielkonfidenzniveau auf 90% gesetzt (α=0,1)

Experimentelle Ergebnisse

Hauptergebnisse

Wie in Abbildung 1 dargestellt, in Experimenten über alle 5 Domänen:

1. Marginale Überdeckungsleistung:
   • Fed-CCP erreicht auf allen Aufgaben nahezu die Zielüberdeckungsrate von 90%
   • CQR zeigt instabile Leistung in föderalen Einstellungen mit häufiger Unterüberdeckung
   • Fed-CCP ohne Konditionierer zeigt reduzierte Überdeckungsrate
2. Vorhersagemengengröße:
   • Fed-CCP erreicht relativ kleine Vorhersagemengen bei Aufrechterhaltung effektiver Überdeckung
   • CQR zeigt hohe Variabilität in der Mengengröße
   • Version ohne Konditionierer erzeugt übermäßig große Mengen

Wichtige Erkenntnisse

1. Notwendigkeit generativer Modelle: CQR versagt unter Verteilungsversatz und beweist die Wichtigkeit generativer Modellausrichtung
2. Kritische Rolle des Konditionierers: Client-Konditionierer η ist entscheidend für die Erfassung von Client-übergreifender Heterogenität
3. Adaptivität: Fed-CCP erzeugt sowohl effektive als auch adaptive instanzspezifische Vorhersagemengen
4. Domänenübergreifende Robustheit: Methode zeigt konsistente Effektivität über verschiedene Anwendungsdomänen

Experimentelle Validierung

Experimentelle Ergebnisse bestätigen zwei Kernhypothesen von Fed-CCP:

1. Bijektive generative Ausrichtung koordiniert Client-Verteilungen effektiv
2. Konditionierungsmechanismus modelliert erfolgreich Client-spezifische Merkmale

Verwandte Arbeiten

Konformes Vorhersagen

1. Klassisches CP: Theoretische Grundlagen von Vovk et al. in algorithmischem Lernen
2. Bedingtes CP: Adaptive Methoden für instanzspezifische Unsicherheit
3. Quantilsregression-CP: CQR-Methode von Romano et al.

Föderales konformes Vorhersagen

1. FCP & FedCP-QQ: Überdeckungsgarantien für gemischte Verteilungen
2. DP-FedCP: Differenziell private Methode für Labelversatz
3. Verteiltes CP: Nachbarschaftskommunikationsmethoden basierend auf Graphtopologie

Generative Modelle

1. Normalisierte Flüsse: Umkehrbare neuronale Netze für Dichtemodellierung
2. Diffusionsmodelle: Generative Modellierung basierend auf stochastischen Prozessen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Fed-CCP realisiert erfolgreich bedingte konforme Vorhersagen in föderalen Umgebungen
2. Generative Modelle bieten effektive Verteilungsausrichtungsmechanismen
3. Client-Konditionierer ist Schlüsselkomponente zur Behandlung von Heterogenität
4. Methode zeigt Robustheit über mehrere praktische Anwendungsdomänen

Einschränkungen

1. Rechenkomplexität: Generatives Modelltraining erhöht Rechenaufwand
2. Theoretische Analyse: Fehlende theoretische Garantien bei endlichen Stichproben
3. Hyperparameter-Sensitivität: Auswahl von Client-Konditionierer-Parametern kann Leistung beeinflussen
4. Skalierbarkeit: Leistung in großflächigen Client-Szenarien bedarf weiterer Überprüfung

Zukünftige Richtungen

1. Aufbau strengerer theoretischer Analysegerüste
2. Erforschung effizienterer generativer Modellarchitekturen
3. Untersuchung adaptiver Mechanismen in dynamischen Client-Szenarien
4. Erweiterung auf andere Aufgabentypen wie Klassifikation

Tiefgreifende Bewertung

Stärken

1. Hohe Innovativität: Erstmalige Integration generativer Modelle in föderales konformes Vorhersagen mit bedingter Überdeckung
2. Solide theoretische Grundlagen: Überdeckungsgarantien basierend auf bijektiven Transformationen sind mathematisch rigoros
3. Datenschutz: Design berücksichtigt angemessen Datenschutzanforderungen des föderalen Lernens
4. Umfassende Experimente: Validierung über 5 verschiedene Domänen erhöht Glaubwürdigkeit der Ergebnisse
5. Praktischer Wert: Löst wichtige Probleme in praktischen Anwendungen

Schwächen

1. Unzureichende theoretische Analyse: Fehlende Analyse endlicher Stichprobenkomplexität und Konvergenz
2. Rechenaufwand: Rechenkosten des generativen Modelltrainings können praktische Anwendung einschränken
3. Parametersensitivität: Theoretische Anleitung für Client-Konditionierer-Design ist unzureichend
4. Vergleichende Experimente: Fehlende direkte Vergleiche mit anderen föderalen CP-Methoden

Einfluss

1. Akademischer Beitrag: Eröffnet neue Richtung für Unsicherheitsquantifizierung im föderalen Lernen
2. Praktischer Wert: Wichtige Anwendungsperspektiven in hochriskanten Bereichen wie Medizin und Finanzen
3. Methodologischer Wert: Kombination generativer Modelle mit konformalem Vorhersagen hat allgemeine Bedeutung

Anwendungsszenarien

1. Multi-Center-Medizin: Zusammenarbeit zwischen verschiedenen Krankenhäusern für Diagnose und Prognose
2. Finanzielle Risikokontrolle: Institutionsübergreifende Risikobewertung und Unsicherheitsquantifizierung
3. Internet der Dinge: Zuverlässige Vorhersagen in verteilten Sensornetzwerken
4. Smart Cities: Regionsübergreifende Aufgaben wie Verkehrs- und Umweltprognose

Literaturverzeichnis

Das Paper zitiert wichtige Literatur aus Bereichen konformes Vorhersagen, föderales Lernen und generative Modelle, einschließlich:

• Theoretische Grundlagen konformen Vorhersagens von Vovk et al.
• CQR-Methode von Romano et al.
• Föderale Vorhersagarbeiten von Lu et al.
• Klassische Literatur zu normalisierten Flüssen und Diffusionsmodellen

Gesamtbewertung: Dies ist ein hochqualitatives Machine-Learning-Paper mit wichtigen Beiträgen im Schnittstellenbereich föderales Lernen und Unsicherheitsquantifizierung. Die Methode ist innovativ, die Experimente umfassend und das Papier hat bedeutende theoretische und praktische Werte. Weitere Verbesserungen in theoretischer Analyse und Recheneffizienz werden empfohlen.