2025-11-13T21:49:11.069891

SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness

Kodge, Ravikumar, Saha et al.

Label corruption, where training samples are mislabeled due to non-expert annotation or adversarial attacks, significantly degrades model performance. Acquiring large, perfectly labeled datasets is costly, and retraining models from scratch is computationally expensive. To address this, we introduce Scaled Activation Projection (SAP), a novel SVD (Singular Value Decomposition)-based corrective machine unlearning algorithm. SAP mitigates label noise by identifying a small subset of trusted samples using cross-entropy loss and projecting model weights onto a clean activation space estimated using SVD on these trusted samples. This process suppresses the noise introduced in activations due to the mislabeled samples. In our experiments, we demonstrate SAP's effectiveness on synthetic noise with different settings and real-world label noise. SAP applied to the CIFAR dataset with 25% synthetic corruption show upto 6% generalization improvements. Additionally, SAP can improve the generalization over noise robust training approaches on CIFAR dataset by ~3.2% on average. Further, we observe generalization improvements of 2.31% for a Vision Transformer model trained on naturally corrupted Clothing1M.

academic

SAP: লেবেল নয়েজ রোবাস্টনেসের জন্য স্কেলড অ্যাক্টিভেশন প্রজেকশন সহ সংশোধনমূলক মেশিন আনলার্নিং

মৌলিক তথ্য

পেপার আইডি: 2403.08618
শিরোনাম: SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness
লেখক: Sangamesh Kodge, Deepak Ravikumar, Gobinda Saha, Kaushik Roy (পার্ডু বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.LG cs.AI stat.ML
প্রকাশনার সময়: ২০২৫ সালের ২ জানুয়ারি (arXiv v2)
পেপার লিঙ্ক: https://arxiv.org/abs/2403.08618
কোড লিঙ্ক: https://github.com/sangamesh-kodge/SAP.git

সারসংক্ষেপ

লেবেল ক্ষতি গভীর শিক্ষায় একটি গুরুত্বপূর্ণ সমস্যা, যেখানে অপেশাদার টীকাকরণ বা প্রতিকূল আক্রমণের কারণে প্রশিক্ষণ নমুনার ভুল লেবেলিং মডেলের কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস করে। বড় আকারের নিখুঁত লেবেলযুক্ত ডেটাসেট অর্জন ব্যয়বহুল এবং মডেল পুনরায় প্রশিক্ষণ গণনাগতভাবে ব্যয়বহুল। এই সমস্যার সমাধানের জন্য, এই পেপারটি স্কেলড অ্যাক্টিভেশন প্রজেকশন (SAP) প্রস্তাব করে, যা একটি একবচন মূল্য বিয়োজন (SVD) ভিত্তিক সংশোধনমূলক মেশিন আনলার্নিং অ্যালগরিদম। SAP ক্রস-এন্ট্রপি ক্ষতি ব্যবহার করে অল্প সংখ্যক বিশ্বস্ত নমুনা চিহ্নিত করে এবং মডেল ওজনকে এই বিশ্বস্ত নমুনাগুলি ব্যবহার করে SVD দ্বারা অনুমানিত পরিষ্কার অ্যাক্টিভেশন স্থানে প্রজেক্ট করে লেবেল নয়েজ হ্রাস করে। পরীক্ষা দেখায় যে SAP CIFAR ডেটাসেটে ২৫% সিন্থেটিক ক্ষতির অধীনে ৬% পর্যন্ত সাধারণীকরণ উন্নতি অর্জন করতে পারে, নয়েজ-রোবাস্ট প্রশিক্ষণ পদ্ধতির উপর গড়ে প্রায় ৩.২% উন্নতি, এবং প্রাকৃতিক ক্ষতিগ্রস্ত Clothing1M ডেটাসেটে Vision Transformer মডেলে ২.৩১% সাধারণীকরণ উন্নতি অর্জন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

১. লেবেল নয়েজ সমস্যা: বড় আকারের ডেটাসেটে লেবেল ত্রুটি সর্বব্যাপী, যা নিম্নলিখিত উৎস থেকে আসতে পারে:

মানব টীকাকরণ ত্রুটি
স্বয়ংক্রিয় টীকাকরণ সিস্টেম (যেমন বড় ভাষা মডেল) এর ভুল বিচার
দূষ্ট ডেটা বিষক্রিয়া আক্রমণ

२. বিদ্যমান সমাধানের সীমাবদ্ধতা:

ডেটা পরিষ্কার পদ্ধতি: মডেল পুনরায় প্রশিক্ষণের প্রয়োজন, উচ্চ গণনা খরচ
নয়েজ-রোবাস্ট প্রশিক্ষণ: রোবাস্টনেস উন্নত করতে পারে কিন্তু কর্মক্ষমতা ব্যবধান সম্পূর্ণভাবে দূর করতে পারে না
ঐতিহ্যবাহী মেশিন আনলার্নিং: ভুল লেবেলযুক্ত এবং কঠিন-শেখা নমুনাগুলির মধ্যে স্পষ্ট পার্থক্য প্রয়োজন, ব্যবহারিক প্রয়োগ কঠিন

३. গবেষণা প্রেরণা:

উচ্চ গণনা খরচের পুনরায় প্রশিক্ষণ এড়ানো
ভুল লেবেলযুক্ত নমুনাগুলির স্পষ্ট সনাক্তকরণের প্রয়োজন নেই
একক ওজন আপডেটের মাধ্যমে দক্ষ নয়েজ প্রশমন অর্জন করা

মূল অবদান

१. SAP অ্যালগরিদম প্রস্তাব: SVD-ভিত্তিক সংশোধনমূলক মেশিন আনলার্নিং অ্যালগরিদম, যা অ্যাক্টিভেশন প্রজেকশনের মাধ্যমে লেবেল নয়েজ প্রভাব হ্রাস করে

२. স্বয়ংক্রিয় বিশ্বস্ত নমুনা নির্বাচন: ক্রস-এন্ট্রপি ক্ষতি ব্যবহার করে স্বয়ংক্রিয়ভাবে বিশ্বস্ত নমুনা চিহ্নিত করে, ম্যানুয়াল টীকাকরণ এড়ায়

३. একক-ধাপ ওজন আপডেট: একটি SVD গণনা এবং ওজন প্রজেকশনের মাধ্যমে দক্ষ মডেল সংশোধন অর্জন করে

४. ব্যাপক পরীক্ষামূলক যাচাইকরণ: সিন্থেটিক এবং বাস্তব-বিশ্ব নয়েজ পরিস্থিতিতে কার্যকারিতা যাচাই করে, একাধিক মডেল আর্কিটেকচার সমর্থন করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

লেবেল নয়েজ সহ প্রশিক্ষণ ডেটাসেট $D_{Tr}$ দেওয়া হলে, লক্ষ্য হল প্রশিক্ষিত মডেল পরামিতি $θ^*$ সংশোধন করা যাতে এর পরীক্ষা সেটে সাধারণীকরণ কর্মক্ষমতা পরিষ্কার ডেটায় প্রশিক্ষিত মডেলের কাছাকাছি থাকে, পুনরায় প্রশিক্ষণ ছাড়াই।

মডেল আর্কিটেকচার

१. ওজন আপডেট মেকানিজম

রৈখিক স্তরের জন্য $a_{out} = a_{in}W^T$ , SAP অ্যাক্টিভেশন সারিবদ্ধতা ম্যাট্রিক্স $W_p$ এর মাধ্যমে ইনপুট অ্যাক্টিভেশন প্রজেক্ট করে:

$\hat{a}_{out} = (a_{in}W_p)W^T = a_{in}(WW_p^T)^T = a_{in}\hat{W}^T$

ওজন আপডেট নিয়ম: $\hat{W} = WW_p^T$

२. বিশ্বস্ত ডেটা অনুমান

ক্রস-এন্ট্রপি ক্ষতি ব্যবহার করে $N_{Trust}$ সংখ্যক সর্বনিম্ন ক্ষতির নমুনা বিশ্বস্ত সেট হিসাবে নির্বাচন করুন:

$D_{Trust} = \arg\min_S \sum_{(x_i,y_i) \in S} L(θ^*, x_i, y_i)$

যেখানে $S = \{S_i \subseteq D_{Tr} | |S_i| = N_{Trust}\}$

३. প্রতিনিধিত্ব ম্যাট্রিক্স নির্মাণ

রৈখিক স্তর: $R_{linear} = [(a_i^{in})_{i=1}^{N_{Trust}}]$
কনভোলিউশন স্তর: unfold অপারেশনের মাধ্যমে কনভোলিউশনকে ম্যাট্রিক্স গুণে রূপান্তরিত করুন, $R_{conv} = [(unfold(a_i^{in})^T)_{i=1}^{N_{Trust}}]$

४. SVD বিয়োজন এবং গুরুত্ব স্কেলিং

প্রতিনিধিত্ব ম্যাট্রিক্সে SVD বিয়োজন প্রয়োগ করুন: $R^l = U^l Σ^l V^{lT}$

গুরুত্ব ওজন গণনা করুন: $λ_i = \frac{α\tilde{σ}_i}{(α-1)\tilde{σ}_i + 1}$

যেখানে $\tilde{σ}_i = σ_i^2 / \sum_{j=1}^d σ_j^2$ হল সাধারণীকৃত একবচন মান, $α$ হল স্কেলিং সহগ।

५. অ্যাক্টিভেশন সারিবদ্ধতা ম্যাট্রিক্স

প্রজেকশন ম্যাট্রিক্স নির্মাণ করুন: $W_p = UΛU^T$ , যেখানে $Λ = diag(λ_1, λ_2, ..., λ_d)$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. স্বয়ংক্রিয় প্রক্রিয়াকরণ: ভুল নমুনাগুলি ম্যানুয়ালি চিহ্নিত করার প্রয়োজন নেই, ক্ষতি ফাংশনের মাধ্যমে স্বয়ংক্রিয়ভাবে বিশ্বস্ত নমুনা নির্বাচন করুন

२. দক্ষ আপডেট: একক SVD গণনা এবং ম্যাট্রিক্স গুণ ওজন আপডেট সম্পূর্ণ করে, পুনরাবৃত্তিমূলক অপ্টিমাইজেশন এড়ায়

३. অ্যাক্টিভেশন স্পেস প্রজেকশন: পরিষ্কার অ্যাক্টিভেশন স্থানে প্রজেক্ট করে নয়েজ অ্যাক্টিভেশনের প্রভাব দমন করুন

४. আর্কিটেকচার-অজ্ঞেয়বাদী: রৈখিক এবং কনভোলিউশন স্তরে প্রযোজ্য, একাধিক নেটওয়ার্ক আর্কিটেকচার সমর্থন করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

१. সিন্থেটিক নয়েজ ডেটাসেট:

CIFAR-10/CIFAR-100
তিন ধরনের নয়েজ: সমান নয়েজ, অসমান নয়েজ, শ্রেণিবিন্যাস নয়েজ
নয়েজ শক্তি: ১০% এবং ২৫%

२. বাস্তব-বিশ্ব নয়েজ ডেটাসেট:

Mini-WebVision
Clothing1M

মূল্যায়ন মেট্রিক্স

পরীক্ষা সেট নির্ভুলতা
বেসলাইন পদ্ধতির সাথে কর্মক্ষমতা তুলনা
সাধারণীকরণ উন্নতির মাত্রা

তুলনামূলক পদ্ধতি

Retrain: পরিষ্কার ডেটায় পুনরায় প্রশিক্ষিত আদর্শ মডেল
Vanilla: নয়েজ ডেটায় প্রশিক্ষিত বেসলাইন মডেল
Finetune: অল্প পরিষ্কার ডেটায় সূক্ষ্ম-সুর করা
SSD: নির্বাচনী সিন্যাপটিক দমনের উপর ভিত্তি করে আনলার্নিং অ্যালগরিদম
SCRUB: অত্যাধুনিক মেশিন আনলার্নিং অ্যালগরিদম

বাস্তবায়ন বিবরণ

বিশ্বস্ত নমুনা সংখ্যা: ১০০০
স্কেলিং সহগ α এর অনুসন্ধান পরিসীমা: ২০০০, ৩০০০০০
মডেল আর্কিটেকচার: VGG11, ResNet18, ResNet50, ViT-B/16
অপ্টিমাইজার: SGD, শিক্ষার হার ০.০१, ওজন ক্ষয় ५×१०^-४

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

সিন্থেটিক নয়েজ পরীক্ষা

CIFAR-10 এবং CIFAR-100 ডেটাসেটে ফলাফল দেখায়:

ডেটাসেট	নয়েজ শক্তি	Vanilla	SAP	উন্নতি
CIFAR-10	25%	76.68±0.48	82.27±0.15	+5.59%
CIFAR-100	25%	50.64±0.60	53.31±0.78	+2.67%

SAP সমস্ত নয়েজ সেটিংসে অন্যান্য আনলার্নিং পদ্ধতির চেয়ে উন্নত, গড় উন্নতি ১.३६% (CIFAR-10) এবং ०.३९% (CIFAR-100)।

নয়েজ-রোবাস্ট প্রশিক্ষণ বর্ধন

SAP বিদ্যমান নয়েজ-রোবাস্ট পদ্ধতির কর্মক্ষমতা আরও উন্নত করতে পারে:

পদ্ধতি	CIFAR-10 বেসলাইন	SAP বর্ধিত	উন্নতি
MixUp	83.12±0.44	86.45±0.52	+3.33%
SAM	83.29±0.28	87.29±0.08	+4.0%
গড়	83.69	87.14	+3.45%

বাস্তব-বিশ্ব নয়েজ

বাস্তব নয়েজ ডেটাসেটে ফলাফল:

ডেটাসেট	মডেল	Vanilla	SAP	উন্নতি
Clothing1M	ResNet50	67.48±0.64	69.64±0.57	+2.16%
Clothing1M	ViT-B/16	69.12±0.45	71.43±0.60	+2.31%

বিলোপন পরীক্ষা

বিশ্বস্ত নমুনা সংখ্যার প্রভাব

পরীক্ষা দেখায় যে বিশ্বস্ত নমুনা সংখ্যা ১০০০ এ বৃদ্ধি করার পরে সুবিধা হ্রাস পায়, তাই কর্মক্ষমতা এবং গণনা দক্ষতার ভারসাম্যের জন্য ১০০০ নমুনা নির্বাচন করুন।

স্কেলিং সহগ α এর প্রভাব

α=३००००० একাধিক সিন্থেটিক নয়েজ সেটিংসে সর্বোত্তম পারফরম্যান্স দেখায়, খুব বড় বা খুব ছোট α মান কর্মক্ষমতা হ্রাস করে।

পরীক্ষামূলক অনুসন্ধান

१. গণনা দক্ষতা: SAP শুধুমাত্র १६ বার হাইপারপ্যারামিটার অনুসন্ধান প্রয়োজন, যখন SCRUB ६७५ বার প্রয়োজন

२. রোবাস্টনেস: বিভিন্ন নয়েজ প্রকার এবং শক্তিতে স্থিতিশীল পারফরম্যান্স

३. স্কেলেবিলিটি: বড় আকারের ডেটাসেট এবং Transformer মডেলে সফলভাবে প্রয়োগ করা হয়েছে

४. সিদ্ধান্ত সীমানা অপ্টিমাইজেশন: ভিজ্যুয়ালাইজেশন পরীক্ষা দেখায় যে SAP সিদ্ধান্ত সীমানা মসৃণ করতে পারে, ওভারফিটিং হ্রাস করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. কার্যকারিতা যাচাইকরণ: SAP সিন্থেটিক এবং বাস্তব নয়েজ পরিস্থিতিতে উল্লেখযোগ্যভাবে মডেল সাধারণীকরণ কর্মক্ষমতা উন্নত করে

२. দক্ষতা সুবিধা: একক ওজন আপডেট এবং সহজ হাইপারপ্যারামিটার সমন্বয় SAP কে উল্লেখযোগ্য গণনা সুবিধা প্রদান করে

३. বিস্তৃত প্রযোজ্যতা: একাধিক নেটওয়ার্ক আর্কিটেকচার এবং ডেটাসেট স্কেল সমর্থন করে

४. ব্যবহারিক মূল্য: বিদ্যমান নয়েজ-রোবাস্ট পদ্ধতির সাথে সংমিশ্রণ করা যায়, কর্মক্ষমতা আরও উন্নত করে

সীমাবদ্ধতা

१. বিশ্বস্ত নমুনা অনুমান: কম ক্ষতির নমুনাগুলি সত্যিই সঠিকভাবে লেবেলযুক্ত হওয়ার অনুমানের উপর নির্ভর করে

२. হাইপারপ্যারামিটার সংবেদনশীলতা: স্কেলিং সহগ α এর নির্বাচন কর্মক্ষমতায় গুরুত্বপূর্ণ প্রভাব ফেলে

३. নয়েজ প্রকার সীমাবদ্ধতা: প্রধানত লেবেল নয়েজের জন্য, অন্যান্য প্রকার নয়েজ পরিচালনার ক্ষমতা সীমিত

४. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: পদ্ধতির কার্যকারিতার জন্য তাত্ত্বিক গ্যারান্টির অভাব

ভবিষ্যত দিকনির্দেশনা

१. তাত্ত্বিক বিশ্লেষণ: SAP কার্যকারিতার তাত্ত্বিক ভিত্তি স্থাপন করুন

२. স্ব-অভিযোজিত প্যারামিটার নির্বাচন: সর্বোত্তম α স্বয়ংক্রিয়ভাবে নির্বাচন করার পদ্ধতি বিকাশ করুন

३. সম্প্রসারিত প্রয়োগ: অন্যান্য প্রকার নয়েজ এবং কাজে প্রয়োগ অন্বেষণ করুন

४. অন্যান্য কৌশলের সাথে সংমিশ্রণ: ডেটা বর্ধন, প্রতিকূল প্রশিক্ষণ ইত্যাদির সাথে সংমিশ্রণ গবেষণা করুন

গভীর মূল্যায়ন

শক্তি

१. পদ্ধতি উদ্ভাবনী:

প্রথমবারের মতো SVD সংশোধনমূলক মেশিন আনলার্নিংয়ে প্রয়োগ করা হয়েছে
অ্যাক্টিভেশন প্রজেকশনের ধারণা নতুন এবং কার্যকর
স্বয়ংক্রিয় বিশ্বস্ত নমুনা নির্বাচন মানব হস্তক্ষেপ এড়ায়

२. পরীক্ষামূলক সম্পূর্ণতা:

একাধিক নয়েজ প্রকার এবং ডেটাসেট কভার করে
একাধিক বেসলাইন পদ্ধতির সাথে তুলনা
বিলোপন পরীক্ষা এবং প্যারামিটার সংবেদনশীলতা বিশ্লেষণ অন্তর্ভুক্ত

३. ব্যবহারিক মূল্য:

উচ্চ গণনা দক্ষতা, সহজ স্থাপনা
বিদ্যমান পদ্ধতির সাথে সংমিশ্রণ করা যায়
একাধিক নেটওয়ার্ক আর্কিটেকচার সমর্থন করে

४. ফলাফল প্রভাবশালীতা:

সামঞ্জস্যপূর্ণ কর্মক্ষমতা উন্নতি
পরিসংখ্যানগত তাৎপর্য যাচাইকরণ
ভিজ্যুয়ালাইজেশন বিশ্লেষণ বোঝাপড়া বৃদ্ধি করে

দুর্বলতা

१. দুর্বল তাত্ত্বিক ভিত্তি:

পদ্ধতির কার্যকারিতার তাত্ত্বিক বিশ্লেষণের অভাব
SVD প্রজেকশন কেন কার্যকরভাবে নয়েজ দমন করে তা ব্যাখ্যা করা হয়নি

२. অনুমান সীমাবদ্ধতা:

কম ক্ষতির নমুনা সঠিকভাবে লেবেলযুক্ত হওয়ার অনুমান সর্বদা সত্য নাও হতে পারে
নয়েজ বিতরণের অনুমান শক্তিশালী

३. প্যারামিটার সমন্বয়:

α নির্বাচনে তাত্ত্বিক নির্দেশনার অভাব
বিভিন্ন ডেটাসেটের জন্য বিভিন্ন α মান প্রয়োজন হতে পারে

४. তুলনা সীমাবদ্ধতা:

সর্বশেষ নয়েজ-রোবাস্ট পদ্ধতির সাথে তুলনা অপর্যাপ্ত
ডেটা পরিষ্কার পদ্ধতির সাথে সরাসরি তুলনার অভাব

প্রভাব

१. একাডেমিক অবদান:

মেশিন আনলার্নিং ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করে
অ্যাক্টিভেশন প্রজেকশন ধারণা অন্যান্য প্রয়োগে অনুপ্রেরণা দিতে পারে

२. ব্যবহারিক প্রয়োগ:

বাস্তব-বিশ্ব লেবেল নয়েজ পরিচালনার জন্য ব্যবহারিক সরঞ্জাম প্রদান করে
বিদ্যমান প্রশিক্ষণ প্রবাহে একীভূত করা যায়

३. পুনরুৎপাদনযোগ্যতা:

সম্পূর্ণ কোড বাস্তবায়ন প্রদান করে
পরীক্ষামূলক সেটআপ বিস্তারিতভাবে বর্ণিত

প্রযোজ্য পরিস্থিতি

१. ডেটাসেট লেবেল গুণমান কম পরিস্থিতি

२. ডেটা পুনরায় টীকাকরণ করা যায় না এমন পরিস্থিতি

३. প্রশিক্ষিত মডেল দ্রুত সংশোধনের প্রয়োজন এমন প্রয়োগ

४. গণনা সম্পদ সীমিত পরিবেশ

সংদর্ভ

পেপারটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

মেশিন আনলার্নিং: SCRUB, SSD ইত্যাদি পদ্ধতি
লেবেল নয়েজ প্রক্রিয়াকরণ: MixUp, MentorMix, SAM ইত্যাদি
ডেটা পরিষ্কার: Confident Learning ইত্যাদি
মৌলিক তত্ত্ব: SVD বিয়োজন, অ্যাক্টিভেশন বিশ্লেষণ ইত্যাদি

সামগ্রিক মূল্যায়ন: এই পেপারে প্রস্তাবিত SAP পদ্ধতি লেবেল নয়েজ প্রক্রিয়াকরণে গুরুত্বপূর্ণ মূল্য রাখে, অ্যাক্টিভেশন প্রজেকশনের চতুর ডিজাইনের মাধ্যমে দক্ষ মডেল সংশোধন অর্জন করে। যদিও তাত্ত্বিক বিশ্লেষণে কিছু অভাব রয়েছে, তবে পরীক্ষামূলক যাচাইকরণ পর্যাপ্ত, ব্যবহারিক মূল্য উল্লেখযোগ্য এবং সম্পর্কিত ক্ষেত্রে মূল্যবান অবদান প্রদান করে।