পোর্টেবল ডিভাইসের কম্পিউটিং ক্ষমতা এবং ডেটা সংগ্রহ ক্ষমতা বৃদ্ধির সাথে সাথে, বিতরণকৃত কৃত্রিম বুদ্ধিমত্তা মডেল প্রশিক্ষণ সম্ভব হয়েছে, যখন অংশগ্রহণকারী ক্লায়েন্টদের গোপনীয়তা রক্ষা করা হয়েছে। তবে গোপনীয়তা আইন এবং নিরাপত্তা প্রয়োজনীয়তার কারণে, প্রয়োজনে ক্লায়েন্টের মডেলে অবদান নির্মূল করা বাধ্যতামূলক হয়ে উঠেছে। পরিষ্কার প্রক্রিয়াটি নির্দিষ্ট দক্ষতা এবং সময় প্রয়োজনীয়তা পূরণ করতে হবে। সাম্প্রতিক গবেষণা বিভিন্ন জ্ঞান অপসারণ পদ্ধতি তৈরি করেছে, কিন্তু এই পদ্ধতিগুলির জন্য ডেটা ধারক এবং প্রক্রিয়া সমন্বয়কারীর মধ্যে একাধিক যোগাযোগ রাউন্ড প্রয়োজন, যা অপসারণ প্রক্রিয়া শেষ হওয়ার আগে কার্যকর মডেল অনুপলব্ধতার দিকে পরিচালিত করতে পারে, যা সিস্টেম ব্যবহারকারীদের সেবা বাধা সৃষ্টি করে। এই নিবন্ধটি কাজের পাটিগণিত (Task Arithmetic) এবং নিউরাল ট্যাঞ্জেন্ট কার্নেল (Neural Tangent Kernel) এর উপর ভিত্তি করে ক্লায়েন্ট প্রভাব দ্রুত অপসারণের জন্য একটি উদ্ভাবনী সমাধান প্রস্তাব করে।
এই গবেষণা যে মূল সমস্যাটি সমাধান করে তা হল ফেডারেটেড আনলার্নিং (Federated Unlearning, FU): ফেডারেটেড লার্নিং পরিবেশে নির্দিষ্ট ক্লায়েন্টের বৈশ্বিক মডেলে অবদান দ্রুত এবং কার্যকরভাবে অপসারণ করা, যখন মডেল কর্মক্ষমতা এবং গোপনীয়তা সুরক্ষা বজায় রাখা।
১. নিয়ন্ত্রক সম্মতি: GDPR, CCPA এবং অন্যান্য গোপনীয়তা আইন "ভুলে যাওয়ার অধিকার" প্রয়োজন ২. নিরাপত্তা প্রয়োজনীয়তা: দূষিত বা দূষিত ক্লায়েন্ট ডেটা অবদান অপসারণ প্রয়োজন ३. চিকিৎসা সহ সংবেদনশীল ক্ষেত্র: রোগীর ডেটা প্রত্যাহার প্রয়োজন ४. সেবা ধারাবাহিকতা: ঐতিহ্যবাহী পদ্ধতির জন্য একাধিক যোগাযোগ রাউন্ড প্রয়োজন, যা মডেল দীর্ঘ সময় অনুপলব্ধ করে
একক যোগাযোগ রাউন্ডের মধ্যে ক্লায়েন্ট ভুলে যাওয়া সম্পূর্ণ করতে পারে এমন পদ্ধতি প্রস্তাব করা, সেবা বাধা সময় কমিয়ে আনা, যখন উচ্চ ডেটা বৈষম্যতা পরিবেশে ভাল কর্মক্ষমতা বজায় রাখা।
१. SATA পদ্ধতি প্রস্তাব: কাজের পাটিগণিত এবং নিউরাল ট্যাঞ্জেন্ট কার্নেলের উপর ভিত্তি করে নতুন ফেডারেটেড ভুলে যাওয়ার পদ্ধতি, যা একক যোগাযোগে ক্লায়েন্ট ভুলে যাওয়া সম্পূর্ণ করতে পারে
२. উদ্ভাবনী দ্বৈত কাজ ভেক্টর প্রক্রিয়া: প্রতিটি ক্লায়েন্ট দুটি স্বাধীন কাজ ভেক্টর বজায় রাখে, যেখানে স্বাধীন কাজ ভেক্টর বিশেষভাবে ভুলে যাওয়ার অপারেশনের জন্য ব্যবহৃত হয়
३. NTK বর্ধিত কাজের পাটিগণিত: নিউরাল ট্যাঞ্জেন্ট কার্নেল প্রশিক্ষণ ব্যবহার করে কাজ ভেক্টরের ডিকাপলিং উন্নত করা, কাজের মধ্যে হস্তক্ষেপ হ্রাস করা
४. ব্যাপক পরীক্ষামূলক যাচাইকরণ: Cars-196 এবং Resisc45 ডেটাসেটে একাধিক ভিত্তি পদ্ধতির সাথে তুলনা, পদ্ধতির কার্যকারিতা প্রমাণ করা
ইনপুট:
আউটপুট:
সীমাবদ্ধতা:
প্রতিটি ক্লায়েন্ট k দুটি স্বাধীন কাজ ভেক্টর বজায় রাখে:
কাজের পাটিগণিত তত্ত্বের উপর ভিত্তি করে, কাজ ভেক্টর τₜ = θₜ - θ₀ নির্দিষ্ট কাজে সূক্ষ্ম-সুর করার পরে মডেল প্যারামিটার পরিবর্তন প্রতিনিধিত্ব করে। একাধিক কাজ ভেক্টর সংমিশ্রণ:
θnew = θ₀ + ∑ᵢ₌₁ᵀ λᵢτᵢ
যেখানে λᵢ স্কেলার ওজন সহগ।
যখন লক্ষ্য ক্লায়েন্ট tgt ভুলে যাওয়ার প্রয়োজন হয়, তখন সহজভাবে বৈশ্বিক মডেল থেকে এর স্বাধীন কাজ ভেক্টর বিয়োগ করুন:
θ̂clean = θ̂ - λtgt τₜₒₜˢᵃ
অসীম প্রস্থ সীমায় নিউরাল নেটওয়ার্ক শেখার গতিশীলতা রৈখিকীকরণ করার নিউরাল ট্যাঞ্জেন্ট কার্নেলের বৈশিষ্ট্য ব্যবহার করা:
flin(x; θ) = f(x; θ₀) + (θ - θ₀)ᵀ∇θf(x; θ₀)
NTK regime এ প্রশিক্ষণ কাজ ভেক্টরের ডিকাপলিং উন্নত করে, চূড়ান্ত মডেল প্রতিনিধিত্ব করা যায়:
flin(x; θᵣ₋₁ + ∑ₖ₌₁ᴷ λₖτₖ - λtgt τₜₒₜˢᵃ) = f(x; θᵣ₋₁) + (∑ₖ₌₁ᴷ λₖτₖ - λtgt τₜₒₜˢᵃ)ᵀ∇θf(x; θᵣ₋₁)
१. একক রাউন্ড ভুলে যাওয়া: একাধিক যোগাযোগ রাউন্ড প্রয়োজন এমন ঐতিহ্যবাহী পদ্ধতির বিপরীতে, SATA একক রাউন্ডে ভুলে যাওয়া সম্পূর্ণ করে
२. স্বাধীন কাজ ভেক্টর ডিজাইন: স্বাধীন কাজ ভেক্টর বজায় রেখে পুনঃপ্রশিক্ষণের প্রয়োজন এড়ানো
३. NTK বর্ধন: কাজ ভেক্টরের মধ্যে ডিকাপলিং উন্নত করা, ভুলে যাওয়ার অপারেশন অন্যান্য ক্লায়েন্ট অবদানে প্রভাব হ্রাস করা
४. তাত্ত্বিক ভিত্তি: কাজের পাটিগণিতের উপর ভিত্তি করে দৃঢ় তাত্ত্বিক ভিত্তি, ব্যাখ্যাযোগ্য ভুলে যাওয়ার প্রক্রিয়া প্রদান করা
१. Cars-196: ১৯৬টি ক্লাসের গাড়ির ছবির ডেটাসেট, ক্লাস যানবাহন ব্র্যান্ড, মডেল এবং বছরের সাথে সামঞ্জস্যপূর্ণ
२. Resisc45: ४५টি ক্লাসের দূরসংবেদন ছবির ডেটাসেট
উভয় ডেটাসেট Dirichlet বিতরণ ব্যবহার করে অ-IID বিভাজন করা হয়, প্যারামিটার β ডেটা তির্যকতার ডিগ্রি নিয়ন্ত্রণ করে (β যত ছোট, ডেটা বিতরণ তত বেশি তির্যক)।
१. বৈশ্বিক মডেল নির্ভুলতা: পরীক্ষা সেটে শ্রেণীবিভাগ নির্ভুলতা
२. লক্ষ্য ক্লায়েন্ট ভুলে যাওয়ার প্রভাব: লক্ষ্য ক্লায়েন্ট পরীক্ষা ডেটায় নির্ভুলতা (যত কম ভাল)
३. লক্ষ্য ক্লায়েন্ট প্রশিক্ষণ ডেটা ভুলে যাওয়া: লক্ষ্য ক্লায়েন্ট প্রশিক্ষণ ডেটায় নির্ভুলতা (যত কম ভাল)
१. Train From Scratch (TFS): প্রাক-প্রশিক্ষণ থেকে পুনরায় প্রশিক্ষণ (উপরের সীমানা বেঞ্চমার্ক)
२. Continue to Train (CTT): শুধুমাত্র লক্ষ্য ক্লায়েন্ট বাদ দিয়ে প্রশিক্ষণ চালিয়ে যাওয়া, বিপর্যয়মূলক ভুলে যাওয়া ব্যবহার করা
३. FedEraser: ঐতিহাসিক ক্লায়েন্ট আপডেট পুনর্নির্মাণের উপর ভিত্তি করে সবচেয়ে পরিচিত FU পদ্ধতি
লক্ষ্য ক্লায়েন্ট পরীক্ষা সেট নির্ভুলতার ক্ষেত্রে, SATA NTK সমস্ত সেটিংয়ে প্রতিযোগী পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল:
Resisc45 ডেটাসেট:
Cars196 ডেটাসেট:
যদিও SATA ভুলে যাওয়ার প্রভাবে চমৎকার কর্মক্ষমতা প্রদর্শন করে, তবে বৈশ্বিক মডেল নির্ভুলতায় অন্যান্য পদ্ধতির চেয়ে সামান্য কম, বিশেষত FU পর্যায়ে:
কর্মক্ষমতা হ্রাস বিশ্লেষণ:
NTK প্রশিক্ষণ সহ এবং ছাড়া প্রভাব তুলনা:
१. θ₀ + ∑ᵢ≠tgt λᵢτᵢˢᵃ: শুধুমাত্র অবশিষ্ট ক্লায়েন্টের স্বাধীন কাজ ভেক্টর ব্যবহার করা
२. θ̂ - λtgt τₜₒₜˢᵃ: বৈশ্বিক মডেল থেকে লক্ষ্য ক্লায়েন্ট অবদান বিয়োগ করা (SATA পদ্ধতি)
ফলাফল দেখায় SATA পদ্ধতি ভুলে যাওয়ার প্রভাবে আরও ভাল।
Figure 1 এর ভিজ্যুয়ালাইজেশন ফলাফল থেকে দেখা যায়:
१. একক রাউন্ড ভুলে যাওয়ার কার্যকারিতা: SATA একক যোগাযোগে কার্যকর ভুলে যাওয়া সফলভাবে বাস্তবায়ন করে
२. NTK এর গুরুত্ব: NTK প্রশিক্ষণ কাজের পাটিগণিত প্রভাব উল্লেখযোগ্যভাবে উন্নত করে
३. ডেটা বৈষম্যতার প্রভাব: উচ্চ বৈষম্যতা পরিবেশে পদ্ধতি আরও বড় চ্যালেঞ্জের সম্মুখীন হয়
४. দ্রুত পুনরুদ্ধার ক্ষমতা: PU পর্যায় মডেল কর্মক্ষমতা দ্রুত পুনরুদ্ধার করতে পারে
१. একক যোগাযোগে ফেডারেটেড ভুলে যাওয়া সম্পূর্ণ করতে পারে এমন প্রথম কার্যকর পদ্ধতি প্রস্তাব করা
२. কাজের পাটিগণিত এবং NTK এর উপর ভিত্তি করে তাত্ত্বিক কাঠামো ভাল ব্যাখ্যাযোগ্যতা রয়েছে
३. বিভিন্ন ডেটা বৈষম্যতা সেটিংয়ে পদ্ধতির কার্যকারিতা যাচাই করা
४. ভুলে যাওয়ার প্রক্রিয়ায় সেবা বাধা সময় উল্লেখযোগ্যভাবে হ্রাস করা
१. উচ্চ বৈষম্যতা চ্যালেঞ্জ: উচ্চ Dirichlet সহগ (নিম্ন বৈষম্যতা) পরিবেশে কর্মক্ষমতা সীমাবদ্ধ
२. বৈশ্বিক কর্মক্ষমতা হ্রাস: ভুলে যাওয়ার প্রক্রিয়ায় বৈশ্বিক মডেল নির্ভুলতা হ্রাস
३. দ্বৈত ভেক্টর ওভারহেড: অতিরিক্ত স্বাধীন কাজ ভেক্টর বজায় রাখতে হবে, সংরক্ষণ এবং গণনা খরচ বৃদ্ধি করে
४. হাইপারপ্যারামিটার সংবেদনশীলতা: λtgt এবং অন্যান্য প্যারামিটার সাবধানে সুর করতে হবে
१. উচ্চ Dirichlet সহগে কর্মক্ষমতা সীমাবদ্ধতা সমাধান করা
२. অন্যান্য মোডালিটি এবং ফেডারেটেড সেটিংয়ে অভিযোজনযোগ্যতা অন্বেষণ করা
३. বৈশ্বিক মডেল কর্মক্ষমতা সংরক্ষণ আরও অপ্টিমাইজ করা
४. স্বয়ংক্রিয় হাইপারপ্যারামিটার নির্বাচন পদ্ধতি গবেষণা করা
१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো একক রাউন্ড ফেডারেটেড ভুলে যাওয়া বাস্তবায়ন, বাস্তব প্রয়োগে মূল সমস্যা সমাধান করা
२. দৃঢ় তাত্ত্বিক ভিত্তি: কাজের পাটিগণিত এবং NTK এর উপর ভিত্তি করে দৃঢ় তাত্ত্বিক ভিত্তি
३. উচ্চ ব্যবহারিক মূল্য: সেবা বাধা সময় উল্লেখযোগ্যভাবে হ্রাস করা, সিস্টেম প্রাপ্যতা উন্নত করা
४. ব্যাপক পরীক্ষা: একাধিক ডেটাসেট এবং বিভিন্ন বৈষম্যতা সেটিংয়ে ব্যাপক মূল্যায়ন
५. পদ্ধতি সরল: মূল ধারণা সহজ এবং স্বজ্ঞাত, বোঝা এবং বাস্তবায়ন সহজ
१. কর্মক্ষমতা ট্রেড-অফ: ভুলে যাওয়ার প্রভাব এবং বৈশ্বিক কর্মক্ষমতার মধ্যে স্পষ্ট ট্রেড-অফ
२. বৈষম্যতা সীমাবদ্ধতা: নির্দিষ্ট বৈষম্যতা সেটিংয়ে কর্মক্ষমতা আদর্শ নয়
३. সম্পদ ওভারহেড: দ্বৈত কাজ ভেক্টর প্রক্রিয়া অতিরিক্ত সংরক্ষণ এবং গণনা খরচ যোগ করে
४. অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: পদ্ধতির সংমিশ্রণ এবং তাত্ত্বিক গ্যারান্টির গভীর বিশ্লেষণ অভাব
१. একাডেমিক অবদান: ফেডারেটেড ভুলে যাওয়া ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করা
२. ব্যবহারিক মূল্য: বাস্তব স্থাপনায় মূল সমস্যা সমাধান করা, গুরুত্বপূর্ণ প্রয়োগ সম্ভাবনা রয়েছে
३. প্রযুক্তিগত অনুপ্রেরণা: কাজের পাটিগণিত ফেডারেটেড লার্নিংয়ে প্রয়োগ অনুপ্রেরণাদায়ক
१. সময় সংবেদনশীল সিস্টেম: দ্রুত ভুলে যাওয়ার প্রতিক্রিয়া প্রয়োজন এমন রিয়েল-টাইম সেবা
२. উচ্চ ফ্রিকোয়েন্সি ভুলে যাওয়ার প্রয়োজন: ক্লায়েন্ট অপসারণ প্রায়ই প্রয়োজন এমন গতিশীল পরিবেশ
३. সম্পদ পর্যাপ্ত পরিবেশ: দ্বৈত ভেক্টর সংরক্ষণ ওভারহেড সহ্য করতে পারে এমন সিস্টেম
४. মধ্য-নিম্ন বৈষম্যতা পরিবেশ: ডেটা বিতরণ অপেক্ষাকৃত সমান এমন ফেডারেটেড লার্নিং পরিস্থিতি
এই নিবন্ধটি ৩४টি সম্পর্কিত তথ্যসূত্র উদ্ধৃত করে, যা ফেডারেটেড লার্নিং, মেশিন ভুলে যাওয়া, কাজের পাটিগণিত এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য পর্যাপ্ত তাত্ত্বিক ভিত্তি এবং তুলনামূলক বেঞ্চমার্ক প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি ফেডারেটেড ভুলে যাওয়ার ক্ষেত্রে গুরুত্বপূর্ণ অবদান সহ একটি নিবন্ধ, প্রস্তাবিত একক রাউন্ড ভুলে যাওয়ার পদ্ধতি বাস্তব প্রয়োগে মূল সমস্যা সমাধান করে। যদিও নির্দিষ্ট দিক থেকে সীমাবদ্ধতা রয়েছে, তবে এর উদ্ভাবনী এবং ব্যবহারিক মূল্য এটিকে এই ক্ষেত্রের গুরুত্বপূর্ণ অগ্রগতি করে তোলে।