FedGTEA: Federated Class-Incremental Learning with Gaussian Task Embedding and Alignment
Li, Bidkhori
We introduce a novel framework for Federated Class Incremental Learning, called Federated Gaussian Task Embedding and Alignment (FedGTEA). FedGTEA is designed to capture task-specific knowledge and model uncertainty in a scalable and communication-efficient manner. At the client side, the Cardinality-Agnostic Task Encoder (CATE) produces Gaussian-distributed task embeddings that encode task knowledge, address statistical heterogeneity, and quantify data uncertainty. Importantly, CATE maintains a fixed parameter size regardless of the number of tasks, which ensures scalability across long task sequences. On the server side, FedGTEA utilizes the 2-Wasserstein distance to measure inter-task gaps between Gaussian embeddings. We formulate the Wasserstein loss to enforce inter-task separation. This probabilistic formulation not only enhances representation learning but also preserves task-level privacy by avoiding the direct transmission of latent embeddings, aligning with the privacy constraints in federated learning. Extensive empirical evaluations on popular datasets demonstrate that FedGTEA achieves superior classification performance and significantly mitigates forgetting, consistently outperforming strong existing baselines.
academic
FedGTEA: গাউসিয়ান টাস্ক এম্বেডিং এবং সারিবদ্ধকরণ সহ ফেডারেটেড ক্লাস-ইনক্রিমেন্টাল লার্নিং
এই পেপারটি একটি নতুন ফেডারেটেড ক্লাস-ইনক্রিমেন্টাল লার্নিং ফ্রেমওয়ার্ক FedGTEA (ফেডারেটেড গাউসিয়ান টাস্ক এম্বেডিং এবং সারিবদ্ধকরণ) প্রস্তাব করে। এই ফ্রেমওয়ার্কটি স্কেলেবল এবং যোগাযোগ-দক্ষ পদ্ধতিতে টাস্ক-নির্দিষ্ট জ্ঞান এবং মডেল অনিশ্চয়তা ক্যাপচার করে। ক্লায়েন্ট পক্ষে, কার্ডিনালিটি-অজ্ঞেয় টাস্ক এনকোডার (CATE) গাউসিয়ান বিতরণের টাস্ক এম্বেডিং তৈরি করে, যা টাস্ক জ্ঞান এনকোড করে, পরিসংখ্যানগত বৈষম্য সমাধান করে এবং ডেটা অনিশ্চয়তা পরিমাপ করে। CATE-এর মূল বৈশিষ্ট্য হল টাস্ক সংখ্যা নির্বিশেষে স্থির প্যারামিটার স্কেল বজায় রাখা, যা দীর্ঘ টাস্ক সিকোয়েন্সের স্কেলেবিলিটি নিশ্চিত করে। সার্ভার পক্ষে, FedGTEA গাউসিয়ান এম্বেডিং-এর মধ্যে টাস্ক ফাঁক পরিমাপ করতে 2-Wasserstein দূরত্ব ব্যবহার করে, Wasserstein ক্ষতির মাধ্যমে টাস্ক-মধ্যস্থ বিচ্ছিন্নতা প্রয়োগ করে। এই সম্ভাব্যতামূলক প্রণয়ন শুধুমাত্র প্রতিনিধিত্ব শিক্ষা বৃদ্ধি করে না, বরং সরাসরি সুপ্ত এম্বেডিং স্থানান্তর এড়িয়ে টাস্ক-স্তরের গোপনীয়তা রক্ষা করে।
ফেডারেটেড ক্লাস-ইনক্রিমেন্টাল লার্নিং (FCIL) হল ফেডারেটেড লার্নিং (FL) এবং ক্লাস-ইনক্রিমেন্টাল লার্নিং (CIL)-এর সংমিশ্রণ, যা একযোগে তিনটি মূল চ্যালেঞ্জ সমাধান করতে হয়:
বিপর্যয়মূলক বিস্মৃতি: ক্লায়েন্ট স্থানীয় এবং বৈশ্বিক সমন্বয় প্রক্রিয়া উভয় ক্ষেত্রেই ঘটে
পরিসংখ্যানগত বৈষম্য: ক্লায়েন্টদের মধ্যে ডেটা বিতরণ সাধারণত স্বাধীন এবং সমানভাবে বিতরণকৃত নয়
টাস্ক প্রসঙ্গ অস্পষ্টতা: পরীক্ষার সময় টাস্ক পরিচয়ের অভাব শব্দার্থগত বিচ্যুতি এবং কর্মক্ষমতা হ্রাস ঘটায়
বিদ্যমান FCIL পদ্ধতিগুলি প্রধানত ডেটা-স্তরের বৈশিষ্ট্য ব্যবহারের উপর দৃষ্টি নিবদ্ধ করে, যখন টাস্ক-স্তরের প্রসঙ্গের গুরুত্ব উপেক্ষা করে। চিত্র 1-এ দেখা যায়, একই ইনপুট বিভিন্ন টাস্কে পরস্পরবিরোধী উত্তর তৈরি করতে পারে (উদাহরণস্বরূপ "এটি কী বস্তু?" বনাম "পটভূমির রঙ কী?"), যার জন্য বিভিন্ন টাস্ক-স্তরের প্রসঙ্গ তথ্য প্রয়োজন। অতএব, FCIL-এ কীভাবে কার্যকরভাবে টাস্ক প্রসঙ্গ ব্যবহার করতে হয় তা এখনও একটি অপেক্ষাকৃত অনাবিষ্কৃত গবেষণা ক্ষেত্র।
FedGTEA অ্যালগরিদম প্রস্তাব: FCIL-এ স্কেলেবল এবং শক্তিশালী পদ্ধতিতে টাস্ক-স্তরের জ্ঞান কার্যকরভাবে ক্যাপচার করে, ক্লায়েন্ট-পক্ষে কার্ডিনালিটি-অজ্ঞেয় টাস্ক এনকোডার (CATE) প্রবর্তন করে যা টাস্ক এম্বেডিং তৈরি করে, এটিকে গাউসিয়ান র্যান্ডম ভেরিয়েবল হিসাবে মডেল করে এবং সার্ভার-পক্ষে 2-Wasserstein দূরত্ব ব্যবহার করে টাস্ক-মধ্যস্থ বিচ্ছিন্নতা প্রচার করে।
CATE মডিউল ডিজাইন: যেকোনো আকারের ডেটা ব্যাচ থেকে টাস্ক এম্বেডিং অনুমান করতে সক্ষম, কার্ডিনালিটি-অজ্ঞেয় বৈশিষ্ট্য সহ। এম্বেডিং-কে গাউসিয়ান র্যান্ডম ভেরিয়েবল হিসাবে মডেল করে, সার্ভারকে 2-Wasserstein মেট্রিক ব্যবহার করে টাস্ক-মধ্যস্থ দূরত্ব পরিমাপ করতে সক্ষম করে।
সার্ভার-পক্ষ অপ্টিমাইজেশন ফ্রেমওয়ার্ক: প্রথমে FedAvg নীতি ব্যবহার করে প্রাথমিক মডেল সমন্বয় করে, তারপর তিনটি ক্ষতি উপাদান সহ একটি অপ্টিমাইজেশন সমস্যা প্রণয়ন করে: জ্ঞান পাতন ক্ষতি, Wasserstein ক্ষতি এবং অ্যাঙ্কর ক্ষতি।
পরীক্ষামূলক যাচাইকরণ: একাধিক বেঞ্চমার্ক ডেটাসেটে শক্তিশালী বেসলাইন (AC-GAN + FedAvg/FedProx, GLFC, FedCIL, FLwF-2T)-এর তুলনায় উন্নত নির্ভুলতা এবং বিস্মৃতি কর্মক্ষমতা অর্জন করে।
FCIL সিস্টেমে N টি ক্লায়েন্ট এবং একটি কেন্দ্রীয় সার্ভার রয়েছে, যা বৈশ্বিক টাস্ক সিকোয়েন্স T = {T¹, T², ..., Tᵀ} প্রক্রিয়া করে। প্রতিটি ক্লায়েন্ট Cₖ টাস্ক Tᵗ-এ স্থানীয় ডেটাসেট Dᵗₖ ⊂ Tᵗ সংগ্রহ করে। লক্ষ্য হল বৈশ্বিক প্যারামিটার θᵗₘ খুঁজে পাওয়া, যা সমস্ত দেখা টাস্ক এবং সমস্ত ক্লায়েন্টে ক্ষতি কমায়।
কার্ডিনালিটি-অজ্ঞেয় ডিজাইন: CATE যেকোনো আকারের ইনপুট ব্যাচ পরিচালনা করতে পারে, আরও ভাল শক্তিশালীতা এবং অভিযোজনযোগ্যতা প্রদান করে
গাউসিয়ান মডেলিং: টাস্ক এম্বেডিং-কে গাউসিয়ান র্যান্ডম ভেরিয়েবল হিসাবে মডেল করে, Wasserstein দূরত্ব ব্যবহার করে টাস্ক-মধ্যস্থ দূরত্ব পরিমাপ সুবিধাজনক করে
গোপনীয়তা সুরক্ষা: সরাসরি সুপ্ত এম্বেডিং স্থানান্তর এড়িয়ে টাস্ক-স্তরের গোপনীয়তা রক্ষা করে
বহু-স্তরীয় নিয়মিতকরণ: জ্ঞান পাতন, টাস্ক বিচ্ছিন্নতা এবং মডেল স্থিতিশীলতা একত্রিত করে ব্যাপক ক্ষতি ফাংশন
পাতন ক্ষতি: অপসারণের পর বিস্মৃতির হার উল্লেখযোগ্যভাবে বৃদ্ধি পায় (CIFAR-100 সুপারক্লাসে 8.6 থেকে 12.2-এ), পূর্ববর্তী জ্ঞান বজায় রাখার জন্য এর গুরুত্ব প্রমাণ করে
অ্যাঙ্কর ক্ষতি: অপসারণের পর নির্ভুলতা উল্লেখযোগ্যভাবে হ্রাস পায় (CIFAR-10-এ প্রায় 7%), বিচারক বৈশিষ্ট্য প্রতিনিধিত্ব স্থিতিশীল করার জন্য এর প্রয়োজনীয়তা নির্দেশ করে
CATE এবং Wasserstein ক্ষতি: অপসারণের পর কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস পায়, টাস্ক এনকোডার এবং টাস্ক বিচ্ছিন্নতা প্রক্রিয়ার কার্যকারিতা যাচাই করে
FedGTEA কার্ডিনালিটি-অজ্ঞেয় টাস্ক এনকোডার এবং Wasserstein দূরত্ব নিয়মিতকরণ প্রবর্তনের মাধ্যমে, FCIL-এ টাস্ক-স্তরের জ্ঞানের কার্যকর মডেলিং অর্জন করে, নির্ভুলতা এবং বিস্মৃতি কর্মক্ষমতা উভয় ক্ষেত্রেই বিদ্যমান পদ্ধতিকে ছাড়িয়ে যায়।
এই কাজটি FCIL ক্ষেত্রে টাস্ক-স্তরের মডেলিংয়ের নতুন চিন্তাভাবনা প্রবর্তন করে, যা টাস্ক প্রসঙ্গে আরও বেশি মনোযোগ দেওয়া গবেষণাকে অনুপ্রাণিত করতে পারে। কার্ডিনালিটি-অজ্ঞেয় ডিজাইন এবং গোপনীয়তা সুরক্ষা বৈশিষ্ট্য এটিকে বাস্তব প্রয়োগে ভাল সম্ভাবনা প্রদান করে।
পেপারটি FCIL, CIL এবং FL ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে FedAvg, iCaRL, AC-GAN-এর মতো ক্লাসিক পদ্ধতি এবং FedCIL, GLFC-এর মতো সর্বশেষ FCIL গবেষণা, যা এই গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।