2025-11-24T04:07:17.991345

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare

Tupper, Gagné
Foundation models open up new possibilities for the use of AI in healthcare. However, even when pre-trained on health data, they still need to be fine-tuned for specific downstream tasks. Furthermore, although foundation models reduce the amount of training data required to achieve good performance, obtaining sufficient data is still a challenge. This is due, in part, to restrictions on sharing and aggregating data from different sources to protect patients' privacy. One possible solution to this is to fine-tune foundation models via federated learning across multiple participating clients (i.e., hospitals, clinics, etc.). In this work, we propose a new personalized federated fine-tuning method that learns orthogonal LoRA adapters to disentangle general and client-specific knowledge, enabling each client to fully exploit both their own data and the data of others. Our preliminary results on real-world federated medical imaging tasks demonstrate that our approach is competitive against current federated fine-tuning methods.
academic

স্বাস্থ্যসেবায় ভিশন ফাউন্ডেশন মডেলের ব্যক্তিগতকৃত ফেডারেটেড ফাইন-টিউনিং

মৌলিক তথ্য

  • পেপার আইডি: 2510.12741
  • শিরোনাম: Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare
  • লেখক: Adam Tupper, Christian Gagné (Université Laval, Mila - Quebec AI Institute)
  • শ্রেণীবিভাগ: cs.CV, cs.DC
  • প্রকাশিত সম্মেলন: SMASH 2025
  • পেপার লিংক: https://arxiv.org/abs/2510.12741

সারসংক্ষেপ

ফাউন্ডেশন মডেলগুলি স্বাস্থ্যসেবা এআই অ্যাপ্লিকেশনের জন্য নতুন সম্ভাবনা উন্মোচন করেছে, তবে স্বাস্থ্য ডেটায় প্রাক-প্রশিক্ষিত হওয়া সত্ত্বেও নির্দিষ্ট ডাউনস্ট্রিম কাজের জন্য ফাইন-টিউনিং প্রয়োজন। রোগীর গোপনীয়তা সুরক্ষার সীমাবদ্ধতার কারণে, বিভিন্ন উৎস থেকে ডেটা ভাগাভাগি এবং সমন্বয় করা এখনও একটি চ্যালেঞ্জ। এই পেপারটি একটি নতুন ব্যক্তিগতকৃত ফেডারেটেড ফাইন-টিউনিং পদ্ধতি FedOPAL প্রস্তাব করে, যা অর্থোগোনাল LoRA অ্যাডাপ্টার শিখে সাধারণ জ্ঞান এবং ক্লায়েন্ট-নির্দিষ্ট জ্ঞানকে বিচ্ছিন্ন করে, যাতে প্রতিটি ক্লায়েন্ট নিজের ডেটা এবং অন্যান্য ক্লায়েন্টের ডেটা উভয়ই সম্পূর্ণভাবে কাজে লাগাতে পারে। বাস্তব-বিশ্বের ফেডারেটেড মেডিকেল ইমেজিং কাজে প্রাথমিক ফলাফল দেখায় যে এই পদ্ধতি বর্তমান ফেডারেটেড ফাইন-টিউনিং পদ্ধতির সাথে প্রতিযোগিতামূলক।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

  1. ডেটা গোপনীয়তা সীমাবদ্ধতা: চিকিৎসা ডেটা কঠোর গোপনীয়তা নিয়মের কারণে কেন্দ্রীভূতভাবে একত্রিত প্রশিক্ষণের জন্য উপলব্ধ নয়
  2. ডেটা স্বল্পতা: চিকিৎসা ইমেজিংয়ে মন্তব্যকৃত ডেটাসেট বিরল এবং অধিগ্রহণ ব্যয়বহুল
  3. ডেটা বৈষম্য: বিভিন্ন চিকিৎসা প্রতিষ্ঠানের মধ্যে উল্লেখযোগ্য ডেটা বিতরণ পার্থক্য রয়েছে
  4. যোগাযোগ ওভারহেড: বড় ফাউন্ডেশন মডেলের ফেডারেটেড লার্নিং বিশাল যোগাযোগ খরচের সম্মুখীন হয়

গবেষণা প্রেরণা

  • ফেডারেটেড লার্নিং ডেটা ভাগাভাগির সীমাবদ্ধতা সমাধান করে, কিন্তু ফাউন্ডেশন মডেল ফাইন-টিউনিংয়ে নতুন চ্যালেঞ্জ নিয়ে আসে
  • বিদ্যমান পদ্ধতিগুলি ক্লায়েন্টদের মধ্যে ডেটা বৈষম্য সমস্যা কার্যকরভাবে পরিচালনা করে না
  • এমন একটি পদ্ধতির প্রয়োজন যা বৈশ্বিক জ্ঞান ব্যবহার করতে পারে এবং একই সাথে ব্যক্তিগতকরণ বজায় রাখতে পারে

মূল অবদান

  1. FedOPAL পদ্ধতি প্রস্তাব: একটি নতুন ব্যক্তিগতকৃত ফেডারেটেড ফাইন-টিউনিং ফ্রেমওয়ার্ক, যা সাধারণ এবং ক্লায়েন্ট-নির্দিষ্ট জ্ঞান বিচ্ছিন্ন করতে অর্থোগোনাল LoRA অ্যাডাপ্টার ব্যবহার করে
  2. দ্বৈত অর্থোগোনালিটি সীমাবদ্ধতা প্রক্রিয়া: ওজন অর্থোগোনালাইজেশন (FedOPAL-W) এবং প্রতিনিধিত্ব অর্থোগোনালাইজেশন (FedOPAL-R) দুটি পদ্ধতি ডিজাইন করা হয়েছে
  3. বাস্তব চিকিৎসা ডেটা যাচাইকরণ: Fed-ISIC 2019 এবং Camelyon17-WILDS দুটি চ্যালেঞ্জিং মেডিকেল ইমেজিং ডেটাসেটে পদ্ধতির কার্যকারিতা যাচাই করা হয়েছে
  4. সিস্টেমেটিক তুলনামূলক বিশ্লেষণ: একাধিক সর্বশেষ LoRA-ভিত্তিক ফেডারেটেড লার্নিং পদ্ধতির সাথে ব্যাপক তুলনা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ফেডারেটেড মেডিকেল ইমেজিং শ্রেণীবিভাগ কাজে, একাধিক চিকিৎসা প্রতিষ্ঠান (ক্লায়েন্ট) একটি ভাগ করা ভিশন ফাউন্ডেশন মডেল প্রশিক্ষণে সহযোগিতা করে, একই সাথে তাদের নিজস্ব ডেটা গোপনীয়তা রক্ষা করে এবং ডেটা বিতরণের বৈষম্য পরিচালনা করে।

মডেল আর্কিটেকচার

দ্বৈত অ্যাডাপ্টার ডিজাইন

FedOPAL একটি দ্বৈত LoRA অ্যাডাপ্টার আর্কিটেকচার গ্রহণ করে:

  • বৈশ্বিক অ্যাডাপ্টার: সমস্ত ক্লায়েন্ট দ্বারা সহযোগিতামূলকভাবে আপডেট করা হয়, সাধারণ বৈশিষ্ট্য শিখে
  • ব্যক্তিগত অ্যাডাপ্টার: প্রতিটি ক্লায়েন্টের ব্যক্তিগত, ক্লায়েন্ট-নির্দিষ্ট বৈশিষ্ট্য শিখে

প্রাক-প্রশিক্ষিত ওজন ম্যাট্রিক্স W0∈Rd×kW_0 \in \mathbb{R}^{d \times k} এর জন্য, আপডেট সূত্র হল: ΔW=W0+BglobalAglobal+BpersonalApersonal\Delta W = W_0 + B_{global}A_{global} + B_{personal}A_{personal}

অর্থোগোনালিটি সীমাবদ্ধতা প্রক্রিয়া

1. ওজন অর্থোগোনালাইজেশন (FedOPAL-W) O-LoRA পদ্ধতির উপর ভিত্তি করে, অ্যাডাপ্টার ওজনে অর্থোগোনালিটি সীমাবদ্ধতা প্রয়োগ করা হয়: \ell_{orth} = \frac{1}{N} \sum_{i=1}^{N} |(A_i_{global})^T A_i_{personal}|

2. প্রতিনিধিত্ব অর্থোগোনালাইজেশন (FedOPAL-R) শেখা প্রতিনিধিত্বকে সরাসরি সীমাবদ্ধ করে, কোসাইন সাদৃশ্য কমিয়ে আনে: ℓorth=1NB∑i=1N∑j=1B∣cos⁡(zglobali,j,zpersonali,j)∣\ell_{orth} = \frac{1}{NB} \sum_{i=1}^{N} \sum_{j=1}^{B} |\cos(z_{global}^{i,j}, z_{personal}^{i,j})|

মোট ক্ষতি ফাংশন: ℓtotal=ℓtask+λℓorth\ell_{total} = \ell_{task} + \lambda \ell_{orth}

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. জ্ঞান বিচ্ছিন্নকরণ প্রক্রিয়া: অর্থোগোনালিটি সীমাবদ্ধতার মাধ্যমে দুটি অ্যাডাপ্টারকে বিভিন্ন বৈশিষ্ট্য সাবস্পেস শিখতে বাধ্য করে
  2. দ্বৈত-স্তরের অর্থোগোনালাইজেশন: ওজন স্তর এবং প্রতিনিধিত্ব স্তর উভয়ে অর্থোগোনালাইজেশন কৌশল প্রদান করে
  3. ফেডারেটেড ব্যক্তিগতকরণ: বৈশ্বিক সহযোগিতা বজায় রেখে ক্লায়েন্ট ব্যক্তিগতকরণ অর্জন করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

1. Fed-ISIC 2019

  • স্কেল: 6টি ক্লায়েন্ট, অস্ট্রেলিয়া, অস্ট্রিয়া, মার্কিন যুক্তরাষ্ট্র এবং স্পেনের চিকিৎসা প্রতিষ্ঠান থেকে
  • কাজ: ত্বকের ক্ষত শ্রেণীবিভাগ (9টি রোগ নির্ণয় বিভাগ)
  • বৈশিষ্ট্য: উল্লেখযোগ্য লেবেল পরিবর্তন এবং অসম নমুনা আকার

2. Camelyon17-WILDS

  • স্কেল: 5টি ক্লায়েন্ট (হাসপাতাল), প্রতিটি ক্লায়েন্টে 7-10 জন রোগী
  • কাজ: লিম্ফ নোড স্লাইসে স্তন ক্যান্সার মেটাস্টেসিসের প্যাচ-স্তরের শ্রেণীবিভাগ
  • বৈশিষ্ট্য: রঙ্গকরণ প্রক্রিয়ার পার্থক্যের কারণে রঙের পরিবর্তন

মূল্যায়ন মেট্রিক্স

শ্রেণী ভারসাম্যহীনতা পরিচালনা করতে ভারসাম্যপূর্ণ নির্ভুলতা (balanced accuracy) ব্যবহার করা হয়

তুলনামূলক পদ্ধতি

  • FedIT: একটি একক বৈশ্বিক অ্যাডাপ্টারের A এবং B ম্যাট্রিক্স প্রশিক্ষণ
  • FFA-LoRA: A ম্যাট্রিক্স স্থির, শুধুমাত্র B ম্যাট্রিক্স প্রশিক্ষণ
  • FedSA: শুধুমাত্র A ম্যাট্রিক্স ভাগ করা, B ম্যাট্রিক্স ব্যক্তিগতকৃত
  • FedDPA: স্বাধীন বৈশ্বিক এবং ব্যক্তিগত অ্যাডাপ্টার প্রশিক্ষণ
  • FedPAL: অর্থোগোনালিটি সীমাবদ্ধতা ছাড়াই বেসলাইন পদ্ধতি

বাস্তবায়ন বিবরণ

  • মডেল: ViT-Tiny (9.7 মিলিয়ন পরামিতি), ImageNet-21K প্রাক-প্রশিক্ষিত
  • অপ্টিমাইজার: SGD, শেখার হার η ∈ {1e-4, 5e-4, 1e-3, 5e-3, 1e-2}
  • ফেডারেটেড সেটিং: FedAvg, 100% ক্লায়েন্ট অংশগ্রহণ, প্রতি রাউন্ডে 1 epoch স্থানীয় প্রশিক্ষণ

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

Fed-ISIC 2019 কাজের ফলাফল:

  • FedOPAL-R সর্বোত্তম গড় র‍্যাঙ্কিং অর্জন করে (3.17), গড় নির্ভুলতা 0.726
  • FedPAL বেসলাইন পদ্ধতি ভালো পারফরম্যান্স দেখায় (গড় র‍্যাঙ্কিং 3.50, নির্ভুলতা 0.726)
  • ক্লায়েন্ট 2-তে, FedPAL সর্বোচ্চ নির্ভুলতা 0.931 অর্জন করে

Camelyon17-WILDS কাজের ফলাফল:

  • FedDPA সর্বোত্তম পারফরম্যান্স দেখায় (গড় র‍্যাঙ্কিং 2.40, নির্ভুলতা 0.909)
  • FedOPAL-R দ্বিতীয় সেরা গড় নির্ভুলতা অর্জন করে 0.870
  • সমস্ত ফেডারেটেড পদ্ধতি কেন্দ্রীভূত প্রশিক্ষণ কর্মক্ষমতার কাছাকাছি (0.905)

মূল অনুসন্ধান

  1. পদ্ধতির প্রতিযোগিতামূলকতা: FedOPAL পদ্ধতি বিদ্যমান অত্যাধুনিক পদ্ধতির সাথে প্রতিযোগিতামূলক
  2. সামঞ্জস্যতা সমস্যা: সমস্ত ক্লায়েন্ট এবং কাজে কোনো একক পদ্ধতি ধারাবাহিকভাবে সর্বোত্তম পারফরম্যান্স দেখায় না
  3. অর্থোগোনালাইজেশন প্রভাব: প্রতিনিধিত্ব অর্থোগোনালাইজেশন (FedOPAL-R) সাধারণত ওজন অর্থোগোনালাইজেশন (FedOPAL-W) এর চেয়ে ভাল
  4. উন্নতির স্থান: ফলাফল আরও উন্নতির জন্য স্থান নির্দেশ করে

সম্পর্কিত কাজ

ফেডারেটেড লার্নিং এবং LoRA সমন্বয়

  • পরামিতি দক্ষতা: LoRA যোগাযোগ ওভারহেড এবং গণনা প্রয়োজনীয়তা হ্রাস করে
  • ব্যক্তিগতকরণ পদ্ধতি: আংশিক মডেল ব্যক্তিগতকরণ ডেটা বৈষম্য প্রশমিত করে
  • সর্বশেষ অগ্রগতি: FedDPA, FedSA এবং অন্যান্য পদ্ধতি বিভিন্ন ব্যক্তিগতকরণ কৌশল অন্বেষণ করে

অর্থোগোনাল শেখার পদ্ধতি

  • O-LoRA: ক্রমাগত শেখায় বিপর্যয়মূলক বিস্মৃতি প্রতিরোধ করতে অর্থোগোনালিটি সীমাবদ্ধতা ব্যবহার করে
  • সাবস্পেস শেখা: বিভিন্ন বৈশিষ্ট্য সাবস্পেস শিখতে সীমাবদ্ধতা প্রয়োগ করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. FedOPAL অর্থোগোনাল LoRA অ্যাডাপ্টারের মাধ্যমে সাধারণ এবং নির্দিষ্ট জ্ঞানের সফল বিচ্ছিন্নকরণ অর্জন করে
  2. এই পদ্ধতি বাস্তব চিকিৎসা ডেটাসেটে বিদ্যমান পদ্ধতির সাথে প্রতিযোগিতামূলক পারফরম্যান্স প্রদর্শন করে
  3. প্রতিনিধিত্ব-স্তরের অর্থোগোনালাইজেশন ওজন-স্তরের অর্থোগোনালাইজেশনের চেয়ে বেশি কার্যকর

সীমাবদ্ধতা

  1. কর্মক্ষমতা সামঞ্জস্যতা: পদ্ধতি বিভিন্ন ক্লায়েন্ট এবং কাজে যথেষ্ট সামঞ্জস্যপূর্ণ পারফরম্যান্স দেখায় না
  2. প্রাথমিক ফলাফল: বর্তমান ফলাফল এখনও প্রাথমিক প্রকৃতির, গভীর বিশ্লেষণের প্রয়োজন
  3. হাইপারপ্যারামিটার সংবেদনশীলতা: λ পরামিতির নির্বাচন পদ্ধতির কর্মক্ষমতা প্রভাবিত করতে পারে
  4. গণনা ওভারহেড: দ্বৈত অ্যাডাপ্টার ডিজাইন গণনা জটিলতা বৃদ্ধি করে

ভবিষ্যত দিকনির্দেশনা

  1. অ্যাডাপ্টার র‍্যাঙ্ক অপ্টিমাইজেশন: বৈশ্বিক এবং স্থানীয় অ্যাডাপ্টারের সর্বোত্তম র‍্যাঙ্ক সেটিং অন্বেষণ করা
  2. জ্ঞান বিচ্ছিন্নকরণ উন্নতি: ক্লায়েন্ট-অজ্ঞেয় এবং নির্দিষ্ট জ্ঞানের বিচ্ছিন্নকরণ পদ্ধতি নিখুঁত করা
  3. মূল্যায়ন সম্প্রসারণ: বৃহত্তর মডেল এবং আরও বেশি কাজে মূল্যায়ন পরিচালনা করা
  4. তাত্ত্বিক বিশ্লেষণ: পদ্ধতির তাত্ত্বিক গ্যারান্টি এবং অভিসরণ বিশ্লেষণ প্রদান করা

গভীর মূল্যায়ন

সুবিধা

  1. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো ফেডারেটেড LoRA ফাইন-টিউনিংয়ে অর্থোগোনালিটি সীমাবদ্ধতা প্রবর্তন, নতুন চিন্তাভাবনা
  2. উচ্চ ব্যবহারিক মূল্য: চিকিৎসা এআই-এর প্রকৃত চাহিদা এবং চ্যালেঞ্জ সরাসরি সম্বোধন করে
  3. সম্পূর্ণ পদ্ধতি: দুটি ভিন্ন স্তরের অর্থোগোনালাইজেশন কৌশল প্রদান করে
  4. পর্যাপ্ত পরীক্ষা: বাস্তব চিকিৎসা ডেটাসেটে সিস্টেমেটিক মূল্যায়ন পরিচালনা করা হয়েছে

অপূর্ণতা

  1. দুর্বল তাত্ত্বিক ভিত্তি: অর্থোগোনালিটি সীমাবদ্ধতার কার্যকারিতার তাত্ত্বিক বিশ্লেষণের অভাব
  2. অপর্যাপ্ত পরীক্ষার গভীরতা: বিস্তারিত অ্যাবলেশন পরীক্ষা এবং পরামিতি সংবেদনশীলতা বিশ্লেষণের অভাব
  3. সীমিত কর্মক্ষমতা উন্নতি: বিদ্যমান পদ্ধতির তুলনায় উন্নতির মাত্রা ছোট
  4. সীমিত মূল্যায়ন পরিসীমা: শুধুমাত্র দুটি ডেটাসেটে মূল্যায়ন পরিচালিত হয়েছে

প্রভাব

  1. একাডেমিক অবদান: ফেডারেটেড লার্নিং এবং চিকিৎসা এআই ক্রস-ডোমেইনে নতুন চিন্তাভাবনা প্রদান করে
  2. ব্যবহারিক সম্ভাবনা: বাস্তব চিকিৎসা ফেডারেটেড লার্নিং পরিস্থিতিতে প্রয়োগের জন্য প্রতিশ্রুতিশীল
  3. সম্প্রসারণযোগ্যতা: পদ্ধতি ফ্রেমওয়ার্ক অন্যান্য ক্ষেত্র এবং কাজে সম্প্রসারণযোগ্য

প্রযোজ্য পরিস্থিতি

  1. বহু-প্রতিষ্ঠান চিকিৎসা সহযোগিতা: হাসপাতালের মধ্যে ফেডারেটেড লার্নিং পরিস্থিতিতে প্রযোজ্য
  2. গোপনীয়তা-সংবেদনশীল কাজ: কঠোর ডেটা গোপনীয়তা সুরক্ষা প্রয়োজনীয় অ্যাপ্লিকেশনের জন্য উপযুক্ত
  3. ডেটা বৈষম্য পরিবেশ: বিশেষত ক্লায়েন্টদের মধ্যে ডেটা বিতরণ পার্থক্য বড় হলে উপযুক্ত

রেফারেন্স

এই পেপারটি প্রধানত ফেডারেটেড লার্নিং (McMahan et al., 2017), LoRA অ্যাডাপ্টার (Hu et al., 2022), অর্থোগোনাল শেখা (Wang et al., 2023) এবং অন্যান্য ক্ষেত্রের গুরুত্বপূর্ণ কাজ উল্লেখ করে, চিকিৎসা এআই-তে ফেডারেটেড ফাইন-টিউনিং সমস্যার জন্য একটি নতুন সমাধান প্রদান করে।

সারসংক্ষেপ: এটি চিকিৎসা এআই-তে ফেডারেটেড লার্নিং চ্যালেঞ্জ সমাধানের জন্য একটি উদ্ভাবনী কাজ, যা অর্থোগোনাল LoRA অ্যাডাপ্টারের মাধ্যমে জ্ঞান বিচ্ছিন্নকরণ অর্জন করে, গোপনীয়তা রক্ষা করার সাথে সাথে ব্যক্তিগতকরণ প্রভাব উন্নত করে। যদিও বর্তমান ফলাফল এখনও প্রাথমিক প্রকৃতির, এটি এই ক্ষেত্রের জন্য মূল্যবান নতুন চিন্তাভাবনা এবং পদ্ধতি ফ্রেমওয়ার্ক প্রদান করে।