2025-11-24T04:07:17.991345

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare

Tupper, Gagné
Foundation models open up new possibilities for the use of AI in healthcare. However, even when pre-trained on health data, they still need to be fine-tuned for specific downstream tasks. Furthermore, although foundation models reduce the amount of training data required to achieve good performance, obtaining sufficient data is still a challenge. This is due, in part, to restrictions on sharing and aggregating data from different sources to protect patients' privacy. One possible solution to this is to fine-tune foundation models via federated learning across multiple participating clients (i.e., hospitals, clinics, etc.). In this work, we propose a new personalized federated fine-tuning method that learns orthogonal LoRA adapters to disentangle general and client-specific knowledge, enabling each client to fully exploit both their own data and the data of others. Our preliminary results on real-world federated medical imaging tasks demonstrate that our approach is competitive against current federated fine-tuning methods.
academic

स्वास्थ्य सेवा के लिए विजन फाउंडेशन मॉडल्स का व्यक्तिगत संघीय सूक्ष्म-समायोजन

मूल जानकारी

  • पेपर ID: 2510.12741
  • शीर्षक: स्वास्थ्य सेवा के लिए विजन फाउंडेशन मॉडल्स का व्यक्तिगत संघीय सूक्ष्म-समायोजन
  • लेखक: Adam Tupper, Christian Gagné (Université Laval, Mila - Quebec AI Institute)
  • वर्गीकरण: cs.CV, cs.DC
  • प्रकाशन सम्मेलन: SMASH 2025
  • पेपर लिंक: https://arxiv.org/abs/2510.12741

सारांश

फाउंडेशन मॉडल्स चिकित्सा AI अनुप्रयोगों के लिए नई संभावनाएं खोलते हैं, लेकिन स्वास्थ्य डेटा पर पूर्व-प्रशिक्षण के बाद भी, विशिष्ट डाउनस्ट्रीम कार्यों के लिए सूक्ष्म-समायोजन की आवश्यकता होती है। रोगी गोपनीयता सुरक्षा प्रतिबंधों के कारण, विभिन्न स्रोतों से डेटा साझा करना और एकत्रित करना अभी भी एक चुनौती है। यह पेपर एक नई व्यक्तिगत संघीय सूक्ष्म-समायोजन विधि FedOPAL प्रस्तावित करता है, जो सामान्य ज्ञान और क्लाइंट-विशिष्ट ज्ञान को अलग करने के लिए ऑर्थोगोनल LoRA अनुकूलक सीखकर, प्रत्येक क्लाइंट को अपने स्वयं के डेटा और अन्य क्लाइंट्स के डेटा का पूरी तरह से लाभ उठाने में सक्षम बनाता है। वास्तविक-विश्व संघीय चिकित्सा इमेजिंग कार्यों पर प्रारंभिक परिणाम दर्शाते हैं कि यह विधि वर्तमान संघीय सूक्ष्म-समायोजन विधियों के साथ प्रतिस्पर्धी है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्याएं

  1. डेटा गोपनीयता प्रतिबंध: चिकित्सा डेटा कठोर गोपनीयता कानूनों के कारण केंद्रीकृत प्रशिक्षण के लिए एकत्रित नहीं किया जा सकता
  2. डेटा की कमी: चिकित्सा इमेजिंग में एनोटेटेड डेटासेट दुर्लभ हैं और प्राप्त करना महंगा है
  3. डेटा विषमता: विभिन्न चिकित्सा संस्थानों के बीच महत्वपूर्ण डेटा वितरण अंतर मौजूद हैं
  4. संचार ओवरहेड: बड़े फाउंडेशन मॉडल्स की संघीय शिक्षा को विशाल संचार लागत का सामना करना पड़ता है

अनुसंधान प्रेरणा

  • संघीय शिक्षा डेटा साझाकरण बाधाओं को हल करती है, लेकिन फाउंडेशन मॉडल सूक्ष्म-समायोजन में नई चुनौतियां पेश करती है
  • मौजूदा विधियां क्लाइंट्स के बीच डेटा विषमता समस्या को प्रभावी ढंग से संभाल नहीं पाती हैं
  • एक ऐसी विधि की आवश्यकता है जो वैश्विक ज्ञान का उपयोग करते हुए व्यक्तिगतकरण को बनाए रख सके

मूल योगदान

  1. FedOPAL विधि प्रस्तावित करना: एक नई व्यक्तिगत संघीय सूक्ष्म-समायोजन ढांचा जो सामान्य और क्लाइंट-विशिष्ट ज्ञान को अलग करने के लिए ऑर्थोगोनल LoRA अनुकूलक का उपयोग करता है
  2. दोहरी ऑर्थोगोनल बाधा तंत्र: वजन ऑर्थोगोनलाइजेशन (FedOPAL-W) और प्रतिनिधित्व ऑर्थोगोनलाइजेशन (FedOPAL-R) दो विधियों को डिजाइन किया गया है
  3. वास्तविक चिकित्सा डेटा सत्यापन: Fed-ISIC 2019 और Camelyon17-WILDS दो चुनौतीपूर्ण चिकित्सा इमेजिंग डेटासेट पर विधि की प्रभावशीलता को सत्यापित किया गया है
  4. व्यवस्थित तुलनात्मक विश्लेषण: कई नवीनतम LoRA-आधारित संघीय शिक्षा विधियों के साथ व्यापक तुलना

विधि विवरण

कार्य परिभाषा

संघीय चिकित्सा इमेजिंग वर्गीकरण कार्य में, कई चिकित्सा संस्थान (क्लाइंट्स) एक साझा दृश्य फाउंडेशन मॉडल को प्रशिक्षित करने के लिए सहयोग करते हैं, जबकि अपने स्वयं के डेटा गोपनीयता की रक्षा करते हैं और डेटा वितरण की विषमता को संभालते हैं।

मॉडल आर्किटेक्चर

दोहरी अनुकूलक डिजाइन

FedOPAL दोहरी LoRA अनुकूलक आर्किटेक्चर अपनाता है:

  • वैश्विक अनुकूलक: सभी क्लाइंट्स द्वारा सहयोग से अपडेट किया जाता है, सामान्य विशेषताएं सीखता है
  • व्यक्तिगत अनुकूलक: प्रत्येक क्लाइंट निजी है, क्लाइंट-विशिष्ट विशेषताएं सीखता है

पूर्व-प्रशिक्षित वजन मैट्रिक्स W0∈Rd×kW_0 \in \mathbb{R}^{d \times k} के लिए, अपडेट सूत्र है: ΔW=W0+BglobalAglobal+BpersonalApersonal\Delta W = W_0 + B_{global}A_{global} + B_{personal}A_{personal}

ऑर्थोगोनल बाधा तंत्र

1. वजन ऑर्थोगोनलाइजेशन (FedOPAL-W) O-LoRA विधि के आधार पर, अनुकूलक वजन पर ऑर्थोगोनल बाधा लागू करता है: \ell_{orth} = \frac{1}{N} \sum_{i=1}^{N} |(A_i_{global})^T A_i_{personal}|

2. प्रतिनिधित्व ऑर्थोगोनलाइजेशन (FedOPAL-R) सीधे सीखे गए प्रतिनिधित्व को बाधित करता है, कोसाइन समानता को कम करता है: ℓorth=1NB∑i=1N∑j=1B∣cos⁡(zglobali,j,zpersonali,j)∣\ell_{orth} = \frac{1}{NB} \sum_{i=1}^{N} \sum_{j=1}^{B} |\cos(z_{global}^{i,j}, z_{personal}^{i,j})|

कुल हानि फलन: ℓtotal=ℓtask+λℓorth\ell_{total} = \ell_{task} + \lambda \ell_{orth}

तकनीकी नवाचार बिंदु

  1. ज्ञान विघटन तंत्र: ऑर्थोगोनल बाधा के माध्यम से दो अनुकूलक को विभिन्न विशेषता उप-स्थानों को सीखने के लिए बाध्य करता है
  2. दोहरी-स्तरीय ऑर्थोगोनलाइजेशन: वजन स्तर और प्रतिनिधित्व स्तर पर दो ऑर्थोगोनलाइजेशन रणनीतियां प्रदान करता है
  3. संघीय व्यक्तिगतकरण: वैश्विक सहयोग बनाए रखते हुए क्लाइंट व्यक्तिगतकरण प्राप्त करता है

प्रयोगात्मक सेटअप

डेटासेट

1. Fed-ISIC 2019

  • आकार: 6 क्लाइंट्स, ऑस्ट्रेलिया, ऑस्ट्रिया, अमेरिका और स्पेन के चिकित्सा संस्थानों से
  • कार्य: त्वचा रोग वर्गीकरण (9 निदान श्रेणियां)
  • विशेषता: महत्वपूर्ण लेबल बदलाव और नमूना आकार असमानता

2. Camelyon17-WILDS

  • आकार: 5 क्लाइंट्स (अस्पताल), प्रत्येक क्लाइंट 7-10 रोगी
  • कार्य: लिम्फ नोड स्लाइस में स्तन कैंसर स्थानांतरण का पैच-स्तरीय वर्गीकरण
  • विशेषता: रंग प्रक्रिया अंतर के कारण रंग परिवर्तन

मूल्यांकन मेट्रिक्स

वर्ग असंतुलन को संभालने के लिए संतुलित सटीकता (balanced accuracy) का उपयोग किया जाता है

तुलनात्मक विधियां

  • FedIT: एकल वैश्विक अनुकूलक के A और B मैट्रिक्स को प्रशिक्षित करना
  • FFA-LoRA: A मैट्रिक्स को ठीक करना, केवल B मैट्रिक्स को प्रशिक्षित करना
  • FedSA: केवल A मैट्रिक्स साझा करना, B मैट्रिक्स को व्यक्तिगत करना
  • FedDPA: स्वतंत्र वैश्विक और व्यक्तिगत अनुकूलक को प्रशिक्षित करना
  • FedPAL: बिना ऑर्थोगोनल बाधा के आधार रेखा विधि

कार्यान्वयन विवरण

  • मॉडल: ViT-Tiny (9.7 मिलियन पैरामीटर), ImageNet-21K पूर्व-प्रशिक्षित
  • अनुकूलक: SGD, सीखने की दर η ∈ {1e-4, 5e-4, 1e-3, 5e-3, 1e-2}
  • संघीय सेटअप: FedAvg, 100% क्लाइंट भागीदारी, प्रति राउंड 1 epoch स्थानीय प्रशिक्षण

प्रयोगात्मक परिणाम

मुख्य परिणाम

Fed-ISIC 2019 कार्य परिणाम:

  • FedOPAL-R सर्वोत्तम औसत रैंकिंग (3.17) प्राप्त करता है, औसत सटीकता 0.726
  • FedPAL आधार रेखा विधि अच्छा प्रदर्शन करती है (औसत रैंकिंग 3.50, सटीकता 0.726)
  • क्लाइंट 2 पर, FedPAL सर्वोच्च सटीकता 0.931 प्राप्त करता है

Camelyon17-WILDS कार्य परिणाम:

  • FedDPA सर्वोत्तम प्रदर्शन करता है (औसत रैंकिंग 2.40, सटीकता 0.909)
  • FedOPAL-R दूसरी सर्वोत्तम औसत सटीकता 0.870 प्राप्त करता है
  • सभी संघीय विधियां केंद्रीकृत प्रशिक्षण प्रदर्शन के करीब हैं (0.905)

मुख्य निष्कर्ष

  1. विधि प्रतिस्पर्धिता: FedOPAL विधि मौजूदा अत्याधुनिक विधियों के साथ प्रतिस्पर्धी है
  2. सामंजस्य समस्या: कोई भी विधि सभी क्लाइंट्स और कार्यों पर लगातार सर्वोत्तम प्रदर्शन नहीं करती है
  3. ऑर्थोगोनलाइजेशन प्रभाव: प्रतिनिधित्व ऑर्थोगोनलाइजेशन (FedOPAL-R) आमतौर पर वजन ऑर्थोगोनलाइजेशन (FedOPAL-W) से बेहतर है
  4. सुधार की गुंजाइश: परिणाम आगे सुधार की गुंजाइश दर्शाते हैं

संबंधित कार्य

संघीय शिक्षा और LoRA संयोजन

  • पैरामीटर दक्षता: LoRA संचार ओवरहेड और कम्प्यूटेशनल आवश्यकताओं को कम करता है
  • व्यक्तिगतकरण विधियां: आंशिक मॉडल व्यक्तिगतकरण डेटा विषमता को कम करता है
  • नवीनतम प्रगति: FedDPA, FedSA आदि विधियां विभिन्न व्यक्तिगतकरण रणनीतियों की खोज करती हैं

ऑर्थोगोनल शिक्षा विधियां

  • O-LoRA: निरंतर शिक्षा में विनाशकारी विस्मृति को रोकने के लिए ऑर्थोगोनल बाधा का उपयोग
  • उप-स्थान शिक्षा: विभिन्न विशेषता उप-स्थानों को सीखने के लिए बाधित करना

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. FedOPAL ऑर्थोगोनल LoRA अनुकूलक के माध्यम से सामान्य और विशिष्ट ज्ञान के विघटन को सफलतापूर्वक प्राप्त करता है
  2. यह विधि वास्तविक चिकित्सा डेटासेट पर मौजूदा विधियों के साथ प्रतिस्पर्धिता प्रदर्शित करती है
  3. प्रतिनिधित्व-स्तरीय ऑर्थोगोनलाइजेशन वजन-स्तरीय ऑर्थोगोनलाइजेशन से अधिक प्रभावी है

सीमाएं

  1. प्रदर्शन सामंजस्य: विधि विभिन्न क्लाइंट्स और कार्यों में पर्याप्त सामंजस्यपूर्ण प्रदर्शन नहीं करती है
  2. प्रारंभिक परिणाम: वर्तमान परिणाम अभी भी प्रारंभिक प्रकृति के हैं, गहन विश्लेषण की आवश्यकता है
  3. हाइपरपैरामीटर संवेदनशीलता: λ पैरामीटर का चयन विधि प्रदर्शन को प्रभावित कर सकता है
  4. कम्प्यूटेशनल ओवरहेड: दोहरी अनुकूलक डिजाइन कम्प्यूटेशनल जटिलता बढ़ाता है

भविष्य की दिशाएं

  1. अनुकूलक रैंक अनुकूलन: वैश्विक और स्थानीय अनुकूलक के लिए इष्टतम रैंक सेटिंग की खोज
  2. ज्ञान पृथक्करण सुधार: क्लाइंट-अज्ञेय और विशिष्ट ज्ञान के पृथक्करण विधि में सुधार
  3. विस्तारित मूल्यांकन: बड़े मॉडल्स और अधिक कार्यों पर मूल्यांकन
  4. सैद्धांतिक विश्लेषण: विधि के सैद्धांतिक गारंटी और अभिसरण विश्लेषण प्रदान करना

गहन मूल्यांकन

लाभ

  1. मजबूत नवाचार: पहली बार संघीय LoRA सूक्ष्म-समायोजन में ऑर्थोगोनल बाधा पेश करना, विचार नवीन है
  2. उच्च व्यावहारिक मूल्य: चिकित्सा AI की वास्तविक आवश्यकताओं और चुनौतियों को सीधे संबोधित करता है
  3. पूर्ण विधि: दो विभिन्न स्तरों पर ऑर्थोगोनलाइजेशन रणनीतियां प्रदान करता है
  4. पर्याप्त प्रयोग: वास्तविक चिकित्सा डेटासेट पर व्यवस्थित मूल्यांकन

कमियां

  1. कमजोर सैद्धांतिक आधार: ऑर्थोगोनल बाधा प्रभावशीलता के सैद्धांतिक विश्लेषण की कमी
  2. अपर्याप्त प्रयोग गहराई: विस्तृत विलोपन प्रयोग और पैरामीटर संवेदनशीलता विश्लेषण की कमी
  3. सीमित प्रदर्शन सुधार: मौजूदा विधियों की तुलना में सुधार का आकार छोटा है
  4. मूल्यांकन सीमा: केवल दो डेटासेट पर मूल्यांकन

प्रभाव

  1. शैक्षणिक योगदान: संघीय शिक्षा और चिकित्सा AI के अंतर-अनुशासनात्मक क्षेत्र में नई सोच प्रदान करता है
  2. व्यावहारिक संभावना: वास्तविक चिकित्सा संघीय शिक्षा परिदृश्यों में लागू होने की संभावना है
  3. विस्तारशीलता: विधि ढांचा अन्य क्षेत्रों और कार्यों तक विस्तारित किया जा सकता है

लागू परिदृश्य

  1. बहु-संस्थान चिकित्सा सहयोग: अस्पतालों के बीच संघीय शिक्षा परिदृश्यों के लिए उपयुक्त
  2. गोपनीयता-संवेदनशील कार्य: कठोर डेटा गोपनीयता सुरक्षा की आवश्यकता वाले अनुप्रयोगों के लिए उपयुक्त
  3. डेटा विषमता वातावरण: विशेष रूप से क्लाइंट्स के बीच डेटा वितरण अंतर बड़े होने की स्थिति में उपयुक्त

संदर्भ

यह पेपर मुख्य रूप से संघीय शिक्षा (McMahan et al., 2017), LoRA अनुकूलक (Hu et al., 2022), ऑर्थोगोनल शिक्षा (Wang et al., 2023) आदि क्षेत्रों के महत्वपूर्ण कार्यों का संदर्भ देता है, चिकित्सा AI में संघीय सूक्ष्म-समायोजन समस्या के लिए एक नया समाधान प्रदान करता है।

सारांश: यह चिकित्सा AI में संघीय शिक्षा चुनौतियों के लिए एक नवीन कार्य है, जो ऑर्थोगोनल LoRA अनुकूलक के माध्यम से ज्ञान विघटन प्राप्त करता है, गोपनीयता की रक्षा करते हुए व्यक्तिगतकरण प्रभाव में सुधार करता है। हालांकि वर्तमान परिणाम अभी भी प्रारंभिक प्रकृति के हैं, लेकिन यह क्षेत्र के लिए मूल्यवान नई सोच और विधि ढांचा प्रदान करता है।