2025-11-20T04:13:15.349826

Federated Conditional Conformal Prediction via Generative Models

Xu, Xie
Conformal Prediction (CP) provides distribution-free uncertainty quantification by constructing prediction sets that guarantee coverage of the true labels. This reliability makes CP valuable for high-stakes federated learning scenarios such as multi-center healthcare. However, standard CP assumes i.i.d. data, which is violated in federated settings where client distributions differ substantially. Existing federated CP methods address this by maintaining marginal coverage on each client, but such guarantees often fail to reflect input-conditional uncertainty. In this work, we propose Federated Conditional Conformal Prediction (Fed-CCP) via generative models, which aims for conditional coverage that adapts to local data heterogeneity. Fed-CCP leverages generative models, such as normalizing flows or diffusion models, to approximate conditional data distributions without requiring the sharing of raw data. This enables each client to locally calibrate conformal scores that reflect its unique uncertainty, while preserving global consistency through federated aggregation. Experiments on real datasets demonstrate that Fed-CCP achieves more adaptive prediction sets.
academic

संघीय सशर्त अनुरूप भविष्यवाणी जनरेटिव मॉडल के माध्यम से

मूल जानकारी

  • पेपर ID: 2510.13297
  • शीर्षक: Federated Conditional Conformal Prediction via Generative Models
  • लेखक: Rui Xu & Sihong Xie (हांगकांग विज्ञान और प्रौद्योगिकी विश्वविद्यालय, ग्वांगझू परिसर)
  • वर्गीकरण: cs.LG (मशीन लर्निंग)
  • प्रकाशन तिथि: 15 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.13297

सारांश

अनुरूप भविष्यवाणी (Conformal Prediction, CP) वास्तविक लेबल को कवर करने की गारंटी देने वाले भविष्यवाणी सेट बनाकर वितरण-मुक्त अनिश्चितता परिमाणीकरण प्रदान करती है। यह विश्वसनीयता CP को बहु-केंद्रीय चिकित्सा जैसे उच्च-जोखिम वाले संघीय शिक्षण परिदृश्यों में महत्वपूर्ण बनाती है। हालांकि, मानक CP डेटा स्वतंत्र और समान रूप से वितरित (i.i.d.) होने की मान्यता रखता है, जो क्लाइंट वितरण विविधता वाली संघीय सेटिंग्स में उल्लंघन होता है। मौजूदा संघीय CP विधियां प्रत्येक क्लाइंट पर सीमांत कवरेज बनाए रखकर इस समस्या को हल करती हैं, लेकिन यह गारंटी अक्सर इनपुट सशर्त अनिश्चितता को प्रतिबिंबित नहीं करती। यह पेपर जनरेटिव मॉडल-आधारित संघीय सशर्त अनुरूप भविष्यवाणी (Fed-CCP) प्रस्तावित करता है, जिसका उद्देश्य स्थानीय डेटा विषमता के अनुकूल सशर्त कवरेज प्राप्त करना है। Fed-CCP सामान्यीकृत प्रवाह या विसरण मॉडल जैसे जनरेटिव मॉडल का उपयोग करके सशर्त डेटा वितरण का अनुमान लगाता है, बिना कच्चे डेटा साझा किए। यह प्रत्येक क्लाइंट को अपनी अद्वितीय अनिश्चितता को प्रतिबिंबित करने वाले अनुरूप स्कोर को स्थानीय रूप से कैलिब्रेट करने में सक्षम बनाता है, जबकि संघीय एकत्रीकरण के माध्यम से वैश्विक सामंजस्य बनाए रखता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. मूल समस्या: संघीय शिक्षण वातावरण में, गोपनीयता की सुरक्षा करते हुए इनपुट सशर्त अनिश्चितता परिमाणीकरण प्रदान करने वाली अनुरूप भविष्यवाणी कैसे प्राप्त करें?
  2. समस्या की महत्ता:
    • चिकित्सा, वित्त आदि उच्च-जोखिम वाले क्षेत्रों में विश्वसनीय अनिश्चितता परिमाणीकरण की आवश्यकता है
    • संघीय शिक्षण परिदृश्य में डेटा केंद्रीकृत नहीं हो सकता, महत्वपूर्ण वितरण विषमता मौजूद है
    • गोपनीयता सुरक्षा आवश्यकताएं कच्चे डेटा साझाकरण को सीमित करती हैं
  3. मौजूदा विधियों की सीमाएं:
    • मानक CP i.i.d. डेटा मानता है, संघीय सेटिंग में विफल होता है
    • मौजूदा संघीय CP विधियां (FCP, FedCP-QQ, DP-FedCP) केवल सीमांत कवरेज पर ध्यान केंद्रित करती हैं
    • सीमांत कवरेज समान चौड़ाई के भविष्यवाणी अंतराल उत्पन्न करता है, उदाहरण-विशिष्ट अनिश्चितता को प्रतिबिंबित नहीं कर सकता
    • संघीय सेटिंग में सशर्त कवरेज प्राप्त करने की प्रभावी विधि की कमी
  4. अनुसंधान प्रेरणा:
    • गोपनीयता सुरक्षा के तहत अनुकूल, उदाहरण-विशिष्ट अनिश्चितता परिमाणीकरण की आवश्यकता
    • जनरेटिव मॉडल की वितरण परिवर्तन क्षमता का उपयोग करके विषम क्लाइंट वितरण को एकीकृत करना
    • संदर्भ वितरण स्थान में सशर्त कवरेज, फिर मूल वितरण स्थान में परिवर्तन

मूल योगदान

  1. Fed-CCP ढांचा प्रस्तावित करना: संघीय शिक्षण में पहली बार सशर्त अनुरूप भविष्यवाणी प्राप्त करना, जनरेटिव मॉडल के माध्यम से परिवर्तनशील भविष्यवाणी सेट बनाना
  2. सैद्धांतिक नवाचार: द्विभाजी परिवर्तन का उपयोग करके सशर्त कवरेज गारंटी को संरक्षित करना, संदर्भ गाऊसी वितरण स्थान से क्लाइंट मूल डेटा स्थान में परिवर्तन
  3. गोपनीयता सुरक्षा डिजाइन: जनरेटिव मॉडल प्रशिक्षण के लिए केवल ग्रेडिएंट विनिमय, कच्चे डेटा साझाकरण की आवश्यकता नहीं
  4. क्लाइंट अनुकूलन: क्लाइंट कंडीशनर η का परिचय देकर क्रॉस-क्लाइंट विषमता को मॉडल करना
  5. प्रायोगिक सत्यापन: चिकित्सा, बीमा, IoT, महामारी विज्ञान, यातायात पूर्वानुमान आदि 5 क्षेत्रों में विधि की प्रभावशीलता का सत्यापन

विधि विवरण

कार्य परिभाषा

K क्लाइंट दिए गए हैं, जहां प्रत्येक क्लाइंट k का डेटा वितरण QXY(k)Q^{(k)}_{XY} का पालन करता है, लक्ष्य भविष्यवाणी सेट CTrans(Xn+1)C_{Trans}(X_{n+1}) बनाना है, जो सशर्त कवरेज गारंटी को संतुष्ट करता है: Pr⁡(Yn+1∈CTrans(Xn+1)∣Xn+1=x)≥1−α,∀x∈X\Pr(Y_{n+1} \in C_{Trans}(X_{n+1}) | X_{n+1} = x) \geq 1-\alpha, \forall x \in \mathcal{X}

मॉडल आर्किटेक्चर

1. जनरेटिव मॉडल चयन

सामान्यीकृत प्रवाह (Normalizing Flows):

  • क्लाइंट वितरण QXYQ_{XY} से संदर्भ वितरण PXYP_{XY} में उलटा परिवर्तन fθf_\theta सीखना
  • चर प्रतिस्थापन सूत्र का उपयोग करके KL विचलन को अनुकूलित करना: min⁡θDKL(fθ#qXY∥pXY)=min⁡θ−E(x,y)∼QXY[log⁡pXY(fθ(x,y))+log⁡∣det⁡∂fθ(x,y)∂(x,y)∣−1]\min_\theta D_{KL}(f_\theta\#q_{XY} \| p_{XY}) = \min_\theta -\mathbb{E}_{(x,y)\sim Q_{XY}}[\log p_{XY}(f_\theta(x,y)) + \log|\det \frac{\partial f_\theta(x,y)}{\partial(x,y)}|^{-1}]

विसरण मॉडल (Diffusion Models):

  • यादृच्छिक अवकल समीकरण के माध्यम से अग्रगामी विसरण प्रक्रिया को लागू करना: d(Xt,Yt)=−12βt(Xt,Yt)dt+βtdWtd(X_t, Y_t) = -\frac{1}{2}\beta_t(X_t, Y_t)dt + \sqrt{\beta_t}dW_t
  • विपरीत प्रक्रिया को सीखना, विपरीत परिवर्तन g≈f−1g \approx f^{-1} का अनुमान लगाना

2. परिवर्तनशील भविष्यवाणी सेट निर्माण

परीक्षण नमूने (Xn+1,Yn+1)∼QXY(X_{n+1}, Y_{n+1}) \sim Q_{XY} के लिए:

  1. fθf_\theta के माध्यम से संदर्भ स्थान में परिवर्तन: fθ(Xn+1,Yn+1)=(X~n+1,Y~n+1)∼PXYf_\theta(X_{n+1}, Y_{n+1}) = (\tilde{X}_{n+1}, \tilde{Y}_{n+1}) \sim P_{XY}
  2. संदर्भ स्थान में सशर्त भविष्यवाणी सेट का निर्माण: CA(X~n+1)={y~∈Y:s(X~n+1,y~)≤τ(X~n+1)}C_A(\tilde{X}_{n+1}) = \{\tilde{y} \in \mathcal{Y} : s(\tilde{X}_{n+1}, \tilde{y}) \leq \tau(\tilde{X}_{n+1})\}
  3. विपरीत परिवर्तन gθ=fθ−1g_\theta = f_\theta^{-1} के माध्यम से मूल स्थान में मैपिंग: CTrans(Xn+1)={y∈Y:y~∈CA(X~n+1),gθ(X~n+1,y~)=(Xn+1,y)}C_{Trans}(X_{n+1}) = \{y \in \mathcal{Y} : \tilde{y} \in C_A(\tilde{X}_{n+1}), g_\theta(\tilde{X}_{n+1}, \tilde{y}) = (X_{n+1}, y)\}

3. बहु-क्लाइंट संघीय शिक्षण

क्लाइंट कंडीशनर η(k)∼N(μ(k),(σ(k))2)\eta^{(k)} \sim \mathcal{N}(\mu^{(k)}, (\sigma^{(k)})^2) का परिचय देना, जिससे सशर्त जनरेटिव मॉडल fθ(x,y;η)f_\theta(x,y;\eta) विभिन्न क्लाइंट के वितरण विशेषताओं के अनुकूल हो सके।

तकनीकी नवाचार बिंदु

  1. द्विभाजी गारंटी: जनरेटिव मॉडल की उलटापन का उपयोग करके सशर्त कवरेज गारंटी को वितरण परिवर्तन के तहत अपरिवर्तित रखना
  2. कंडीशनर तंत्र: क्लाइंट-विशिष्ट गाऊसी कंडीशनर के माध्यम से क्रॉस-क्लाइंट विषमता को मॉडल करना
  3. गोपनीयता सुरक्षा: आधार भविष्यवाणी मॉडल h केवल संदर्भ गाऊसी वितरण पर प्रशिक्षित होता है, जनरेटिव मॉडल प्रशिक्षण केवल ग्रेडिएंट जानकारी का विनिमय करता है
  4. एकीकृत ढांचा: विषम क्लाइंट वितरण को एक ही संदर्भ वितरण स्थान में मैप करना सशर्त कवरेज के लिए

प्रायोगिक सेटअप

डेटासेट

  1. चिकित्सा क्षेत्र: MIMIC-IV, eICU और दो सहयोगी अस्पताल डेटा, बहु-केंद्रीय चिकित्सा परिदृश्य का अनुकरण
  2. IoT: Intel Berkeley Research Lab सेंसर डेटा, स्थानिक रूप से वितरित सेंसर नेटवर्क का अनुकरण
  3. बीमा क्षेत्र: French Motor Claims डेटासेट (677,991 रिकॉर्ड), भौगोलिक क्षेत्र द्वारा विभाजित क्लाइंट
  4. यातायात पूर्वानुमान: Seattle-Loop, PEMSD4, PEMSD8 डेटासेट, विभिन्न डेटा प्रदाता क्लाइंट के रूप में
  5. महामारी विज्ञान: US-Regions, US-States, Japan-Prefectures डेटा, प्रशासनिक क्षेत्र द्वारा विभाजित

मूल्यांकन मेट्रिक्स

  1. सीमांत कवरेज दर: सशर्त कवरेज के आवश्यक शर्त के रूप में मूल्यांकन
  2. औसत भविष्यवाणी सेट आकार: विधि की अनुकूलन क्षमता को मापना, छोटा भविष्यवाणी सेट बेहतर सशर्त कवरेज अनुमान दर्शाता है

तुलना विधियां

  1. CQR: जनरेटिव मॉडल का उपयोग न करने वाली अनुरूप मात्रात्मक प्रतिगमन
  2. Fed-CCP (बिना कंडीशनर): क्लाइंट कंडीशनर का उपयोग न करने वाली Fed-CCP
  3. Fed-CCP: पूर्ण प्रस्तावित विधि

कार्यान्वयन विवरण

  • normflows लाइब्रेरी का उपयोग करके सामान्यीकृत प्रवाह को लागू करना
  • संदर्भ वितरण को विकर्ण सहप्रसरण के साथ बहुभिन्नरूपी गाऊसी वितरण के रूप में निर्धारित करना
  • लक्ष्य आत्मविश्वास स्तर 90% (α=0.1) के रूप में निर्धारित करना

प्रायोगिक परिणाम

मुख्य परिणाम

चित्र 1 में दिखाया गया है, सभी 5 क्षेत्रों के प्रयोगों में:

  1. सीमांत कवरेज प्रदर्शन:
    • Fed-CCP सभी कार्यों पर लक्ष्य 90% कवरेज के करीब पहुंचता है
    • CQR संघीय सेटिंग में अस्थिर प्रदर्शन करता है, अक्सर अपर्याप्त कवरेज दिखाता है
    • कंडीशनर को हटाने वाली Fed-CCP कवरेज दर में कमी दिखाती है
  2. भविष्यवाणी सेट आकार:
    • Fed-CCP प्रभावी कवरेज बनाए रखते हुए अपेक्षाकृत छोटा भविष्यवाणी सेट प्राप्त करता है
    • CQR की भविष्यवाणी सेट आकार में अधिक परिवर्तनशीलता है
    • कंडीशनर-रहित संस्करण अत्यधिक बड़े भविष्यवाणी सेट उत्पन्न करता है

मुख्य निष्कर्ष

  1. जनरेटिव मॉडल की आवश्यकता: CQR वितरण बदलाव के तहत विफल होता है, जनरेटिव मॉडल संरेखण की महत्ता को साबित करता है
  2. कंडीशनर की महत्वपूर्ण भूमिका: क्लाइंट कंडीशनर η क्रॉस-क्लाइंट विषमता को पकड़ने के लिए महत्वपूर्ण है
  3. अनुकूलन क्षमता: Fed-CCP प्रभावी और अनुकूल उदाहरण-विशिष्ट भविष्यवाणी सेट उत्पन्न कर सकता है
  4. क्रॉस-डोमेन मजबूती: विधि विभिन्न अनुप्रयोग क्षेत्रों में सुसंगत प्रभावशीलता दिखाती है

प्रायोगिक सत्यापन

प्रायोगिक परिणाम Fed-CCP की दो मूल मान्यताओं की पुष्टि करते हैं:

  1. द्विभाजी जनरेटिव संरेखण क्लाइंट वितरण को प्रभावी ढंग से समन्वय कर सकता है
  2. कंडीशनर तंत्र क्लाइंट-विशिष्ट विशेषताओं को सफलतापूर्वक मॉडल करता है

संबंधित कार्य

अनुरूप भविष्यवाणी क्षेत्र

  1. शास्त्रीय CP: Vovk आदि की एल्गोरिथमिक शिक्षण सिद्धांत आधार
  2. सशर्त CP: उदाहरण-विशिष्ट अनिश्चितता के लिए अनुकूल विधियां
  3. मात्रात्मक प्रतिगमन CP: Romano आदि की CQR विधि

संघीय अनुरूप भविष्यवाणी

  1. FCP & FedCP-QQ: मिश्रित वितरण के लिए कवरेज गारंटी
  2. DP-FedCP: लेबल बदलाव को संभालने वाली अंतर गोपनीयता विधि
  3. वितरित CP: ग्राफ टोपोलॉजी-आधारित पड़ोसी संचार विधि

जनरेटिव मॉडल

  1. सामान्यीकृत प्रवाह: घनत्व मॉडलिंग के लिए उलटा तंत्रिका नेटवर्क
  2. विसरण मॉडल: यादृच्छिक प्रक्रिया-आधारित जनरेटिव मॉडलिंग

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. Fed-CCP संघीय वातावरण में सशर्त अनुरूप भविष्यवाणी को सफलतापूर्वक लागू करता है
  2. जनरेटिव मॉडल प्रभावी वितरण संरेखण तंत्र प्रदान करते हैं
  3. क्लाइंट कंडीशनर विषमता को संभालने का मुख्य घटक है
  4. विधि कई वास्तविक अनुप्रयोग क्षेत्रों में मजबूती प्रदर्शित करती है

सीमाएं

  1. कम्प्यूटेशनल जटिलता: जनरेटिव मॉडल प्रशिक्षण कम्प्यूटेशनल ओवरहेड बढ़ाता है
  2. सैद्धांतिक विश्लेषण: सीमित नमूना के तहत सैद्धांतिक गारंटी की कमी
  3. हाइपरपैरामीटर संवेदनशीलता: क्लाइंट कंडीशनर पैरामीटर का चयन प्रदर्शन को प्रभावित कर सकता है
  4. स्केलेबिलिटी: बड़े पैमाने पर क्लाइंट परिदृश्य में प्रदर्शन सत्यापन की आवश्यकता है

भविष्य की दिशाएं

  1. अधिक कठोर सैद्धांतिक विश्लेषण ढांचा स्थापित करना
  2. अधिक कुशल जनरेटिव मॉडल आर्किटेक्चर का अन्वेषण करना
  3. गतिशील क्लाइंट परिदृश्य में अनुकूल तंत्र का अध्ययन करना
  4. वर्गीकरण आदि अन्य कार्य प्रकारों तक विस्तार करना

गहन मूल्यांकन

लाभ

  1. मजबूत नवाचार: संघीय अनुरूप भविष्यवाणी में पहली बार जनरेटिव मॉडल का परिचय, सशर्त कवरेज प्राप्त करना
  2. ठोस सैद्धांतिक आधार: द्विभाजी परिवर्तन-आधारित कवरेज गारंटी गणितीय रूप से कठोर है
  3. गोपनीयता सुरक्षा: डिजाइन संघीय शिक्षण की गोपनीयता आवश्यकताओं को पूरी तरह विचार करता है
  4. व्यापक प्रयोग: 5 विभिन्न क्षेत्रों में सत्यापन परिणाम विश्वसनीयता को बढ़ाता है
  5. व्यावहारिक मूल्य: वास्तविक अनुप्रयोग में महत्वपूर्ण समस्याओं को हल करता है

कमियां

  1. अपर्याप्त सैद्धांतिक विश्लेषण: सीमित नमूना जटिलता और अभिसरण विश्लेषण की कमी
  2. कम्प्यूटेशनल ओवरहेड: जनरेटिव मॉडल प्रशिक्षण की कम्प्यूटेशनल लागत व्यावहारिक अनुप्रयोग को सीमित कर सकती है
  3. पैरामीटर संवेदनशीलता: क्लाइंट कंडीशनर डिजाइन के लिए सैद्धांतिक मार्गदर्शन अपर्याप्त है
  4. तुलनात्मक प्रयोग: अन्य संघीय CP विधियों के साथ प्रत्यक्ष तुलना की कमी

प्रभाव

  1. शैक्षणिक योगदान: संघीय शिक्षण में अनिश्चितता परिमाणीकरण के लिए नई दिशा खोलना
  2. व्यावहारिक मूल्य: चिकित्सा, वित्त आदि उच्च-जोखिम वाले क्षेत्रों में महत्वपूर्ण अनुप्रयोग संभावना
  3. पद्धतिगत मूल्य: जनरेटिव मॉडल और अनुरूप भविष्यवाणी का संयोजन सामान्य महत्व रखता है

लागू परिदृश्य

  1. बहु-केंद्रीय चिकित्सा: विभिन्न अस्पतालों के बीच सहयोगी निदान और पूर्वानुमान
  2. वित्तीय जोखिम नियंत्रण: क्रॉस-संस्थान जोखिम मूल्यांकन और अनिश्चितता परिमाणीकरण
  3. IoT: वितरित सेंसर नेटवर्क की विश्वसनीय भविष्यवाणी
  4. स्मार्ट शहर: क्रॉस-क्षेत्र यातायात, पर्यावरण आदि पूर्वानुमान कार्य

संदर्भ

यह पेपर अनुरूप भविष्यवाणी, संघीय शिक्षण, जनरेटिव मॉडल आदि क्षेत्रों के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

  • Vovk आदि की अनुरूप भविष्यवाणी सिद्धांत आधार
  • Romano आदि की CQR विधि
  • Lu आदि का संघीय अनुरूप भविष्यवाणी कार्य
  • सामान्यीकृत प्रवाह और विसरण मॉडल का शास्त्रीय साहित्य

समग्र मूल्यांकन: यह संघीय शिक्षण और अनिश्चितता परिमाणीकरण के अंतरविषय क्षेत्र में महत्वपूर्ण योगदान देने वाला उच्च-गुणवत्ता वाला मशीन लर्निंग पेपर है। विधि नवीन है, प्रयोग व्यापक हैं, और इसका महत्वपूर्ण सैद्धांतिक अर्थ और व्यावहारिक मूल्य है। सैद्धांतिक विश्लेषण और कम्प्यूटेशनल दक्षता के पहलुओं में आगे सुधार की सिफारिश की जाती है।