2025-11-25T00:34:17.070097

A Unified Approach Towards Active Learning and Out-of-Distribution Detection

Schmidt, Schenk, Schwinn et al.

When applying deep learning models in open-world scenarios, active learning (AL) strategies are crucial for identifying label candidates from a nearly infinite amount of unlabeled data. In this context, robust out-of-distribution (OOD) detection mechanisms are essential for handling data outside the target distribution of the application. However, current works investigate both problems separately. In this work, we introduce SISOM as the first unified solution for both AL and OOD detection. By leveraging feature space distance metrics SISOM combines the strengths of the currently independent tasks to solve both effectively. We conduct extensive experiments showing the problems arising when migrating between both tasks. In these evaluations SISOM underlined its effectiveness by achieving first place in two of the widely used OpenOOD benchmarks and second place in the remaining one. In AL, SISOM outperforms others and delivers top-1 performance in three benchmarks

academic

সক্রিয় শিক্ষা এবং বিতরণ-বহির্ভূত সনাক্তকরণের দিকে একটি একীভূত পদ্ধতি

মৌলিক তথ্য

পেপার আইডি: 2405.11337
শিরোনাম: সক্রিয় শিক্ষা এবং বিতরণ-বহির্ভূত সনাক্তকরণের দিকে একটি একীভূত পদ্ধতি
লেখক: Sebastian Schmidt, Leonard Schenk, Leo Schwinn, Stephan Günnemann
শ্রেণীবিভাগ: cs.CV
প্রকাশনার সময়: ২০২৪ সালের মে (arXiv v3: ২০২৫ সালের অক্টোবর ১২)
পেপার লিঙ্ক: https://arxiv.org/abs/2405.11337

সারসংক্ষেপ

খোলা বিশ্বের পরিস্থিতিতে গভীর শিক্ষা মডেল প্রয়োগ করার সময়, সক্রিয় শিক্ষা (AL) কৌশল বিশাল অলেবেলযুক্ত ডেটা থেকে লেবেল প্রার্থীদের সনাক্ত করার জন্য অত্যন্ত গুরুত্বপূর্ণ। এই প্রেক্ষাপটে, শক্তিশালী বিতরণ-বহির্ভূত (OOD) সনাক্তকরণ প্রক্রিয়া প্রয়োগ লক্ষ্য বিতরণের বাইরে থাকা ডেটা পরিচালনার জন্য প্রয়োজনীয়। তবে, বর্তমান কাজগুলি এই দুটি সমস্যা আলাদাভাবে অধ্যয়ন করে। এই পত্রটি SISOM প্রবর্তন করে যা AL এবং OOD সনাক্তকরণের প্রথম একীভূত সমাধান। বৈশিষ্ট্য স্থান দূরত্ব মেট্রিক ব্যবহার করে, SISOM বর্তমান স্বাধীন কাজগুলির সুবিধাগুলি একত্রিত করে উভয় সমস্যা কার্যকরভাবে সমাধান করে। OpenOOD বেঞ্চমার্কে, SISOM নিকট OOD ডেটায় একটি প্রথম স্থান এবং দুটি শীর্ষ তিন স্থান অর্জন করেছে, AL কাজে শীর্ষস্থানীয় কর্মক্ষমতাও অর্জন করেছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

সক্রিয় শিক্ষার চ্যালেঞ্জ: বৃহৎ-স্কেল গভীর শিক্ষা মডেলগুলির জন্য বিশাল মন্তব্যকৃত ডেটা প্রয়োজন, কিন্তু মন্তব্যের খরচ বেশি, সবচেয়ে মূল্যবান নমুনাগুলি বুদ্ধিমানের সাথে নির্বাচন করা প্রয়োজন
বিতরণ-বহির্ভূত সনাক্তকরণের প্রয়োজনীয়তা: মডেলগুলি প্রকৃত স্থাপনার সময় প্রশিক্ষণ বিতরণের বাইরে ডেটার সম্মুখীন হয়, নির্ভরযোগ্য OOD সনাক্তকরণ প্রক্রিয়া প্রয়োজন
স্বাধীন প্রক্রিয়াকরণের সীমাবদ্ধতা: বিদ্যমান পদ্ধতিগুলি AL এবং OOD সনাক্তকরণকে স্বাধীন কাজ হিসাবে বিবেচনা করে, যা ডিজাইন উদ্দেশ্যের সংঘর্ষ এবং সিস্টেম জটিলতার দিকে পরিচালিত করে

গবেষণা প্রেরণা

বাস্তব প্রয়োগের প্রয়োজনীয়তা: মোবাইল রোবট, স্বয়ংচালিত গাড়ি ইত্যাদি বাস্তব প্রয়োগের জন্য লেবেল দক্ষতা এবং বিতরণ-বহির্ভূত ডেটা সমস্যা একযোগে পরিচালনা করা প্রয়োজন
কাজের সম্পর্কিততা আবিষ্কার: লেখকরা পর্যবেক্ষণ করেছেন যে নিকট OOD ডেটা এবং অলেবেলযুক্ত ডেটা সম্ভাব্য স্থানে ওভারল্যাপ এবং অস্পষ্টতা রয়েছে
একীভূত পদ্ধতির সুবিধা: একীভূত প্রক্রিয়াকরণ স্বাধীন ডিজাইন পর্যায়ের ওভারহেড দূর করতে পারে, বিরোধপূর্ণ ডিজাইন উদ্দেশ্য এড়াতে পারে

মূল অন্তর্দৃষ্টি

পত্রটি UMAP ভিজ্যুয়ালাইজেশনের মাধ্যমে আবিষ্কার করে যে নিকট OOD ডেটা এবং অলেবেলযুক্ত AL প্রার্থী ডেটা বৈশিষ্ট্য স্থানে কাছাকাছি অবস্থিত, উভয়ই বিদ্যমান ক্লাস্টারের মধ্যে বা সিদ্ধান্ত সীমানার কাছাকাছি থাকতে থাকে, যা একীভূত পদ্ধতির জন্য তাত্ত্বিক ভিত্তি প্রদান করে।

মূল অবদান

প্রথম একীভূত পদ্ধতি: SISOM প্রস্তাব করে যা AL এবং OOD সনাক্তকরণ একযোগে সমাধানের জন্য বিশেষভাবে ডিজাইন করা প্রথম পদ্ধতি
বৈশিষ্ট্য স্থান বিশ্লেষণ কৌশল: সম্ভাব্য স্থান বিশ্লেষণ প্রবর্তন করে, প্রশিক্ষণ-পরবর্তী বৈশিষ্ট্য স্থান পরিমার্জনের অপ্টিমাইজেশন লুপ বাস্তবায়ন করে
স্ব-ভারসাম্যপূর্ণ ফিউশন প্রক্রিয়া: অনিশ্চয়তা এবং বৈচিত্র্য মেট্রিকের স্ব-ভারসাম্যপূর্ণ ফিউশন পদ্ধতি প্রস্তাব করে
উৎকৃষ্ট পরীক্ষামূলক কর্মক্ষমতা: সাধারণ ইমেজ AL এবং OOD বেঞ্চমার্কে অত্যন্ত বিশেষায়িত অত্যাধুনিক পদ্ধতির বিরুদ্ধে উৎকৃষ্ট কর্মক্ষমতা অর্জন করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

সক্রিয় শিক্ষা: প্রাথমিক মন্তব্যকৃত পুল L এবং অলেবেলযুক্ত পুল U থেকে শুরু করে, মডেল f প্রশ্ন কৌশল Q(x,f) মাধ্যমে নতুন নমুনা A নির্বাচন করে মন্তব্যের জন্য, লক্ষ্য হল সর্বনিম্ন মন্তব্য সহ সর্বোত্তম কর্মক্ষমতা অর্জন করা।

OOD সনাক্তকরণ: বিতরণ Ω-তে প্রশিক্ষিত মডেল f দেওয়া, পরীক্ষার নমুনা x̃ বিতরণ-অভ্যন্তরীণ (InD) বা বিতরণ-বহির্ভূত (OOD) থেকে আসে কিনা তা নির্ধারণ করুন:

$G(x, f) = \begin{cases} \text{InD} & \text{if } S(x; f) \geq \lambda \\ \text{OOD} & \text{if } S(x; f) < \lambda \end{cases}$

SISOM পদ্ধতি স্থাপত্য

SISOM পাঁচটি মূল উপাদান রয়েছে:

1. কভারেজ (Coverage)

তথ্যপূর্ণ বৈশিষ্ট্য স্থান প্রতিনিধিত্ব তৈরি করে, একাধিক নেটওয়ার্ক স্তর সংযুক্ত করে: $z = h_1(x) \oplus \cdots \oplus h_j(x) \oplus \cdots \oplus h_n(x)$

2. বৈশিষ্ট্য বর্ধন (Feature Enhancement)

KL বিচ্যুতি গ্রেডিয়েন্ট ওজনযুক্ত বৈশিষ্ট্য ব্যবহার করে: $g = \frac{\partial D_{KL}(u||f(x))}{\partial z}$ $\tilde{z} = \sigma(z \odot g)$

যেখানে u একটি সমান বিতরণ, ⊙ Hadamard পণ্য নির্দেশ করে।

3. দূরত্ব অনুপাত (Distance Ratio)

অভ্যন্তরীণ-শ্রেণী দূরত্ব এবং বাহ্যিক-শ্রেণী দূরত্ব সংজ্ঞায়িত করে: $d_{in}(\tilde{z}) = \min_{z' \in Z_L(c'=c)} ||\tilde{z} - \tilde{z}'||_2$ $d_{out}(\tilde{z}) = \min_{z' \in Z_L(c' \neq c)} ||\tilde{z} - \tilde{z}'||_2$

SISOM স্কোর: $r(x) = \frac{d_{in}}{d_{out}}$

4. বৈশিষ্ট্য স্থান বিশ্লেষণ (Feature Space Analysis)

বৈশিষ্ট্য স্থান বিভাজনযোগ্যতার প্রক্সি হিসাবে গড় দূরত্ব অনুপাত গণনা করে: $r_{avg} = \frac{1}{|L|} \sum_{z \in L} \frac{d_{in}(\sigma(z \odot g))}{d_{out}(\sigma(z \odot g))}$

অনিশ্চয়তা এবং বৈচিত্র্য স্ব-অভিযোজিত ফিউশন: $\hat{r}_i = \min(r_{avg}, 1) \cdot E_i + \max(1 - r_{avg}, 0) \cdot r_i$

5. সিগময়েড খাড়াতা (Sigmoid Steepness)

বৈশিষ্ট্য স্থান বিভাজনযোগ্যতা উন্নত করতে প্রতিটি স্তরের সিগময়েড ফাংশন খাড়াতা প্যারামিটার α অপ্টিমাইজ করে: $\alpha_{opt} = \arg\min_\alpha r_{avg}(\alpha)$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

একীভূত মেট্রিক ডিজাইন: দূরত্ব অনুপাত AL এবং OOD সনাক্তকরণ প্রয়োজনীয়তা একযোগে ক্যাপচার করে
অভিযোজিত ফিউশন: বৈশিষ্ট্য স্থান গুণমান অনুযায়ী স্বয়ংক্রিয়ভাবে অনিশ্চয়তা এবং বৈচিত্র্য ভারসাম্য করে
বহু-স্তর বৈশিষ্ট্য একীকরণ: নেটওয়ার্ক বহু-স্তর তথ্য ব্যবহার করে প্রতিনিধিত্ব ক্ষমতা বৃদ্ধি করে
গ্রেডিয়েন্ট ওজন: KL বিচ্যুতি গ্রেডিয়েন্টের মাধ্যমে গুরুত্বপূর্ণ নিউরন হাইলাইট করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

সক্রিয় শিক্ষা:

CIFAR-10/100: প্রশ্ন আকার q=1000/2000
SVHN: প্রশ্ন আকার q=500
ResNet18/34 স্থাপত্য ব্যবহার করে

OOD সনাক্তকরণ:

OpenOOD বেঞ্চমার্ক সেটিং অনুসরণ করে
CIFAR-10: নিকট OOD (CIFAR-100, Tiny ImageNet), দূর OOD (MNIST, SVHN ইত্যাদি)
CIFAR-100: নিকট OOD (CIFAR-10, Tiny ImageNet), দূর OOD (MNIST, SVHN ইত্যাদি)
ImageNet-1k: নিকট OOD (SSB-hard, NINCO), দূর OOD (iNaturalist ইত্যাদি)

মূল্যায়ন মেট্রিক্স

সক্রিয় শিক্ষা: মন্তব্যকৃত ডেটা শতাংশের সাথে শ্রেণীবিভাগ নির্ভুলতার পরিবর্তন
OOD সনাক্তকরণ: AUROC (ROC বক্ররেখার অধীন এলাকা)

তুলনামূলক পদ্ধতি

সক্রিয় শিক্ষা ভিত্তিরেখা:

CoreSet, Badge, Learning Loss, CoreGCN
আধা-তত্ত্বাবধানকৃত সেটিং: TypiClust, ProbCover, PT4AL

OOD সনাক্তকরণ ভিত্তিরেখা:

NAC, KNN, MSP, Energy, ReAct, SCALE ইত্যাদি ১৭টি পদ্ধতি

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

সক্রিয় শিক্ষার কর্মক্ষমতা

CIFAR-10: SISOM এবং SISOMe সমস্ত নির্বাচন চক্রে অন্যান্য পদ্ধতি অতিক্রম করে
CIFAR-100: পরবর্তী নির্বাচন পদক্ষেপে সর্বোচ্চ কর্মক্ষমতা অর্জন করে
আধা-তত্ত্বাবধানকৃত সেটিং: SISOM প্রাক-প্রশিক্ষণ থেকে উল্লেখযোগ্যভাবে উপকৃত হয়, PT4AL অতিক্রম করে

OOD সনাক্তকরণ কর্মক্ষমতা

ডেটাসেট	SISOMe	SISOM	সেরা ভিত্তিরেখা
CIFAR-10 (নিকট OOD)	91.76	91.40	91.13
CIFAR-100 (নিকট OOD)	81.10	79.42	81.31
ImageNet (নিকট OOD)	78.59	77.33	95.22

সমন্বিত র্যাঙ্কিং: SISOMe তিনটি বেঞ্চমার্কে শীর্ষ তিনে স্থান পায়, সামগ্রিক র্যাঙ্কিং প্রথম।

বিলোপন পরীক্ষা

সর্বোত্তম সিগময়েড খাড়াতা: CIFAR-100 এবং ImageNet-এ কর্মক্ষমতা উন্নত করে
উপসেট নির্বাচন হ্রাস: অনুমান গতি উল্লেখযোগ্যভাবে বৃদ্ধি করে, কর্মক্ষমতা সামান্য উন্নত হয়
বৈশিষ্ট্য বর্ধন প্রভাব: KL বিচ্যুতি গ্রেডিয়েন্ট ওজন বৈশিষ্ট্য স্থান বিভাজনযোগ্যতা উল্লেখযোগ্যভাবে উন্নত করে

রানটাইম বিশ্লেষণ

পদ্ধতি	SISOM	SISOMe	Badge	CoreSet
সময় (সেকেন্ড)	1477±896	954±126	33664±6682	2604±1572

৫% উপসেট নির্বাচনের মাধ্যমে, SISOMe রানটাইম ২৬৬ সেকেন্ডে হ্রাস পায়, কর্মক্ষমতা সামান্য উন্নত হয়।

সম্পূর্ণ জীবনচক্র পরীক্ষা

AL প্রশিক্ষণের চেকপয়েন্ট ব্যবহার করে OOD সনাক্তকরণ পরিচালনা করে, SISOMe নিকট OOD এবং দূর OOD উভয়ে সর্বোত্তম কর্মক্ষমতা অর্জন করে, একীভূত পদ্ধতির কার্যকারিতা প্রমাণ করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

একীকরণের সম্ভাব্যতা: প্রথমবারের মতো প্রমাণ করে যে AL এবং OOD সনাক্তকরণ একটি একক পদ্ধতির মাধ্যমে কার্যকরভাবে সমাধান করা যায়
কর্মক্ষমতা উৎকর্ষতা: উভয় কাজে অত্যাধুনিক বা কাছাকাছি কর্মক্ষমতা অর্জন করে
ব্যবহারিক মূল্য: বাস্তব প্রয়োগের স্থাপনা জটিলতা সরল করে

সীমাবদ্ধতা

গণনামূলক জটিলতা: দূরত্ব গণনা অতিরিক্ত ওভারহেড নিয়ে আসে, যদিও উপসেট নির্বাচনের মাধ্যমে প্রশমিত করা যায়
বৈশিষ্ট্য স্থান নির্ভরতা: পদ্ধতির কর্মক্ষমতা বৈশিষ্ট্য স্থান বিভাজনযোগ্যতার উপর নির্ভর করে
হাইপারপ্যারামিটার সংবেদনশীলতা: সিগময়েড খাড়াতা প্যারামিটার বিভিন্ন ডেটাসেটের জন্য সমন্বয় প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

খোলা সেট সক্রিয় শিক্ষা: একীভূত পদ্ধতি খোলা সেট AL পরিস্থিতিতে প্রসারিত করা
জটিল কাজ: লক্ষ্য সনাক্তকরণ, শব্দার্থিক বিভাজন ইত্যাদি আরও জটিল কাজে প্রসারিত করা
ব্যাচ বৈচিত্র্য: ব্যাচ বৈচিত্র্য কৌশল দ্বৈত-কাজ পদ্ধতিতে প্রভাব গবেষণা করা

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী উদ্ভাবনী: AL এবং OOD সনাক্তকরণের প্রথম একীভূত পদ্ধতি, উল্লেখযোগ্য তাত্ত্বিক এবং ব্যবহারিক মূল্য রয়েছে
পদ্ধতি ডিজাইন চতুর: দূরত্ব অনুপাত ডিজাইন সহজ এবং কার্যকর উভয়ই, স্ব-অভিযোজিত ফিউশন প্রক্রিয়া গভীর অন্তর্দৃষ্টি প্রতিফলিত করে
ব্যাপক পরীক্ষা: একাধিক ডেটাসেট এবং ভিত্তিরেখা অন্তর্ভুক্ত করে, বিলোপন পরীক্ষা এবং রানটাইম বিশ্লেষণ অন্তর্ভুক্ত করে
শক্তিশালী তাত্ত্বিক ভিত্তি: ভিজ্যুয়ালাইজেশন বিশ্লেষণের মাধ্যমে দুটি কাজের অভ্যন্তরীণ সম্পর্ক প্রকাশ করে

অপূর্ণতা

অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: পদ্ধতির সংগ্রহ এবং সাধারণীকরণ ক্ষমতার জন্য তাত্ত্বিক গ্যারান্টি অভাব
প্রয়োগের পরিধি সীমাবদ্ধ: প্রধানত ইমেজ শ্রেণীবিভাগ কাজে যাচাই করা হয়, অন্যান্য ক্ষেত্রে প্রয়োগযোগ্যতা অজানা
প্যারামিটার সমন্বয় জটিল: একাধিক হাইপারপ্যারামিটার বিভিন্ন ডেটাসেটের জন্য সমন্বয় প্রয়োজন, ব্যবহারিকতা প্রভাবিত করতে পারে

প্রভাব

একাডেমিক অবদান: AL এবং OOD সনাক্তকরণের একীভূত গবেষণার জন্য নতুন দিক খুলে দেয়
ব্যবহারিক মূল্য: মোবাইল রোবট, স্বয়ংচালিত গাড়ি ইত্যাদি বাস্তব প্রয়োগের জন্য গুরুত্বপূর্ণ
পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং কোড প্রদান করে, পুনরুৎপাদন এবং সম্প্রসারণ সহজ করে

প্রযোজ্য পরিস্থিতি

সম্পদ-সীমিত পরিবেশ: লেবেল দক্ষতা এবং বিতরণ-বহির্ভূত সনাক্তকরণ একযোগে বিবেচনা করা প্রয়োজন এমন প্রয়োগ
রিয়েল-টাইম সিস্টেম: উপসেট নির্বাচনের মাধ্যমে কর্মক্ষমতা বজায় রেখে দক্ষতা বৃদ্ধি করতে পারে
খোলা বিশ্ব প্রয়োগ: স্বয়ংচালিত গাড়ি, রোবট নেভিগেশন ইত্যাদি বিতরণ পরিবর্তনের সম্মুখীন পরিস্থিতি

রেফারেন্স

পত্রটি সম্পর্কিত কাজের বিস্তৃত উদ্ধৃতি রয়েছে, প্রধানত অন্তর্ভুক্ত:

সক্রিয় শিক্ষা: Settles (2010), Sener & Savarese (2018), Ash et al. (2020)
OOD সনাক্তকরণ: Yang et al. (2022), Liu et al. (2020), Sun et al. (2022)
OpenOOD বেঞ্চমার্ক: Yang et al. (2022), Zhang et al. (2023)

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পত্র যা দুটি গুরুত্বপূর্ণ সমস্যা সমাধানের জন্য একটি উদ্ভাবনী একীভূত পদ্ধতি প্রস্তাব করে, পরীক্ষামূলক যাচাইকরণ পর্যাপ্ত, সম্পর্কিত ক্ষেত্রে গুরুত্বপূর্ণ প্রচারমূলক ভূমিকা রয়েছে। যদিও তাত্ত্বিক এবং ব্যবহারিক দিক থেকে কিছু অপূর্ণতা রয়েছে, তবে এর অগ্রগামী অবদান এবং উৎকৃষ্ট কর্মক্ষমতা এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ কাজ করে তোলে।