ক্লাস-সচেতন ডোমেইন জ্ঞান সংমিশ্রণ এবং বিভাজন ক্রমাগত পরীক্ষা-সময় অভিযোজনের জন্য

মৌলিক তথ্য

• পেপার আইডি: 2510.12150
• শিরোনাম: Class-aware Domain Knowledge Fusion and Fission for Continual Test-Time Adaptation
• লেখক: Jiahuan Zhou, Chao Zhu, Zhenyu Cui, Zichen Liu, Xu Zou, Gang Hua
• শ্রেণীবিভাগ: cs.CV (কম্পিউটার ভিশন)
• প্রকাশনা সম্মেলন: NeurIPS 2025 (39তম নিউরাল ইনফরমেশন প্রসেসিং সিস্টেম সম্মেলন)
• পেপার লিঙ্ক: https://arxiv.org/abs/2510.12150

সারসংক্ষেপ

এই পেপারটি ক্রমাগত পরীক্ষা-সময় অভিযোজন (CTTA) সমস্যার সমাধানের জন্য KFF নামক একটি ক্লাস-সচেতন ডোমেইন জ্ঞান সংমিশ্রণ ও বিভাজন পদ্ধতি প্রস্তাব করে। এই পদ্ধতিটি জ্ঞান বিভাজন (KFI) মডিউলের মাধ্যমে নতুন ডোমেইন জ্ঞানকে অভিযোজিতভাবে বিচ্ছিন্ন করে, ঐতিহাসিক ডোমেইনের নেতিবাচক জ্ঞানের হস্তক্ষেপ এড়ায়; এবং জ্ঞান সংমিশ্রণ (KFU) মডিউলের মাধ্যমে বিভক্ত নতুন জ্ঞানকে ন্যূনতম খরচে বিদ্যমান জ্ঞান পুলে একীভূত করে। ImageNet-C ডেটাসেটে পরীক্ষা-নিরীক্ষা দেখায় যে এই পদ্ধতিটি SOTA পদ্ধতি DPCore এর তুলনায় 5.1% কর্মক্ষমতা উন্নতি করেছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ক্রমাগত পরীক্ষা-সময় অভিযোজন (CTTA) এর লক্ষ্য হল পূর্ব-প্রশিক্ষিত মডেলকে পরীক্ষার পর্যায়ে একাধিক অজানা ডাউনস্ট্রিম ডোমেইন বিতরণে দ্রুত অভিযোজিত করা, যখন ডাউনস্ট্রিম ডোমেইন ডেটা পূর্বে অর্জন করার প্রয়োজন নেই। এটি ঐতিহ্যবাহী পরীক্ষা-সময় অভিযোজন (TTA) এর চেয়ে আরও চ্যালেঞ্জিং সমস্যা।

মূল চ্যালেঞ্জ

1. বিপর্যয়মূলক বিস্মৃতি: যখন ডোমেইন ডেটা অনিয়মিতভাবে স্যুইচ করে, তখন ঐতিহাসিক জ্ঞানের বিপর্যয়মূলক বিস্মৃতি ঘটে
2. নতুন জ্ঞান শেখার অপ্রতুলতা: বিদ্যমান পদ্ধতিগুলি ঐতিহাসিক জ্ঞান বজায় রেখে নতুন জ্ঞান পর্যাপ্তভাবে শিখতে পারে না
3. ক্ষতিকারক ঐতিহাসিক জ্ঞান হস্তক্ষেপ: বিভিন্ন ডোমেইনের মধ্যে জ্ঞান দ্বন্দ্ব গ্রেডিয়েন্ট অপ্টিমাইজেশন দিক ধ্বংস করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

• নিয়মিতকরণ পদ্ধতি: নিয়মিতকরণের মাধ্যমে ঐতিহাসিক জ্ঞান বজায় রাখে, কিন্তু নতুন জ্ঞান শেখা দমন করে
• প্যারামিটার রিসেট পদ্ধতি: প্রাথমিক মডেল পুনরুদ্ধারের মাধ্যমে বিস্মৃতি এড়ায়, কিন্তু দরকারী ঐতিহাসিক জ্ঞান হারায়
• মডেল সংমিশ্রণ পদ্ধতি: ঐতিহাসিক মডেল প্যারামিটার নির্বাচন এবং সংমিশ্রণ করে, কিন্তু ডোমেইন দ্বন্দ্ব সমস্যা এবং সীমাহীন বৃদ্ধির সংরক্ষণ ওভারহেড রয়েছে

মূল অবদান

1. KFF ফ্রেমওয়ার্ক প্রস্তাব: প্রথম ক্লাস-সচেতন ডোমেইন জ্ঞান সংমিশ্রণ ও বিভাজন ফ্রেমওয়ার্ক, যা গতিশীলভাবে বিচক্ষণ ঐতিহাসিক জ্ঞান সংগ্রহ করতে পারে
2. KFI মডিউল ডিজাইন: জ্ঞান বিভাজন মডিউল নতুন ডোমেইন জ্ঞানকে অভিযোজিতভাবে বিচ্ছিন্ন করতে পারে, বিভিন্ন ডোমেইনের মধ্যে নেতিবাচক জ্ঞান হস্তক্ষেপ হ্রাস করে
3. KFU মডিউল উন্নয়ন: জ্ঞান সংমিশ্রণ মডিউল লোভী কৌশলের মাধ্যমে জ্ঞান একীভূত করে, প্রভাব এবং দক্ষতার ভারসাম্য রাখে
4. SOTA কর্মক্ষমতা অর্জন: ImageNet-C এ 34.8% ত্রুটি হার অর্জন করে, DPCore এর তুলনায় 5.1% উন্নতি
5. তাত্ত্বিক বিশ্লেষণ প্রদান: ভালভাবে বিচ্ছিন্ন ক্লাস্টারিং অনুমানের উপর ভিত্তি করে তাত্ত্বিক গ্যারান্টি

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

উৎস ডোমেইন প্রশিক্ষণ ডেটা $D_S = \{Y_S, X_S\}$ এবং বিভিন্ন ডোমেইন বিতরণ থেকে আসা পরীক্ষা ডেটা স্ট্রিম $D_T = \{X_T\}_{T=1}^N$ দেওয়া, মডেল $f_θ$ অনলাইনে পরীক্ষা ব্যাচ $B_T^j = \{x_t\}_{t=0}^b$ প্রক্রিয়া করতে হবে, লক্ষ্য হল লক্ষ্য ডোমেইনে অভিযোজিত হওয়া এবং একই সাথে ঐতিহাসিক ডোমেইনের ক্ষমতা বজায় রাখা।

মডেল আর্কিটেকচার

সামগ্রিক ফ্রেমওয়ার্ক

KFF ফ্রেমওয়ার্কে দুটি মূল মডিউল রয়েছে:

• জ্ঞান বিভাজন (KFI) মডিউল: গতিশীলভাবে ক্লাস-সচেতন ডোমেইন জ্ঞান বিভাজন করে
• জ্ঞান সংমিশ্রণ (KFU) মডিউল: বিভক্ত জ্ঞান বিদ্যমান জ্ঞান পুলে একীভূত করে

জ্ঞান বিভাজন মডিউল (KFI)

ক্লাস জ্ঞান বিভাজন:

• কোসাইন সাদৃশ্য $s_{t,i} = \text{sim}(\tilde{y}_t, y_i)$ ব্যবহার করে ছদ্ম লেবেল এবং প্রম্পট কী এর মিলন মূল্যায়ন করে
• $s_{t,i} > γ_c$ এর প্রার্থী প্রম্পট নির্বাচন করে, ওজনযুক্ত পদ্ধতিতে ব্যবহার করে:

P_t = Σ_{i=0}^{N_c} w_i P_i^c, w_i = exp(s_{t,i}/τ_c) / Σ exp(s_{t,i}/τ_c)

• যদি কোনো প্রার্থী প্রম্পট না থাকে, তাহলে পরীক্ষা নমুনার জন্য নতুন প্রম্পট বিভাজন করে

ডোমেইন জ্ঞান বিভাজন:

• পরীক্ষা ব্যাচ পরিসংখ্যান বৈশিষ্ট্য $Γ_T^j = \{μ, σ\}$ ইনপুট কী হিসাবে ব্যবহার করে
• ইউক্লিডীয় দূরত্বের উপর ভিত্তি করে প্রার্থী প্রম্পট নির্বাচন করে: $d_i = \|Γ_T^j - Γ_i\|_2 < γ_d$
• দূরত্ব ওজনযুক্ত একীকরণের মাধ্যমে:

P^d = Σ_{i=0}^{N_d} w_i P_i^d, w_i = exp(-d_i/τ_d) / Σ exp(-d_i/τ_d)

জ্ঞান সংমিশ্রণ মডিউল (KFU)

ক্লাস জ্ঞান সংমিশ্রণ:

• এন্ট্রপি থ্রেশহোল্ড $γ_h$ ব্যবহার করে প্রম্পট পুল আপডেট নিয়ন্ত্রণ করে
• নতুন বিভক্ত প্রম্পটের জন্য সরাসরি পুলে যোগ করে
• সংমিশ্রিত প্রম্পটের জন্য, ওজন অনুযায়ী মূল প্রম্পট আপডেট করে:

P_{c_i}^* = (1/b) Σ_{t=0}^b [w_{ti} P_t^* + (1-w_{ti}) P_i^c]

• পুল আকার নিয়ন্ত্রণের জন্য ন্যূনতম বিস্তৃত গাছ (MST) অ্যালগরিদম ব্যবহার করে প্রম্পট ক্লাস্টার এবং একীভূত করে

ডোমেইন জ্ঞান সংমিশ্রণ:

• নতুন প্রম্পট সরাসরি ডোমেইন প্রম্পট পুলে যোগ করে
• সংমিশ্রিত প্রম্পট ওজন অনুযায়ী আপডেট করে: $P_{d_i}^* = w_i P_d^* + (1-w_i) P_i^d$
• পুল পূর্ণ হলে নিকটতম প্রতিবেশী প্রম্পট জোড়া একীভূত করে

ক্ষতি ফাংশন ডিজাইন

দ্বি-স্তরীয় ক্ষতি ফাংশন ব্যবহার করে:

L = L_d + a·L_c

যেখানে:

• ডোমেইন সারিবদ্ধতা ক্ষতি: $L_d = \|μ_s - μ_T^j(P)\|_2 + α\|σ_s - σ_T^j(P)\|_2$
• উদাহরণ-স্তরীয় এন্ট্রপি ক্ষতি: $L_c = (1/b) Σ_{t=0}^b H(\hat{y}_t)$

পরীক্ষা সেটআপ

ডেটাসেট

• ImageNet-to-ImageNet-C: 15 ধরনের বিকৃতি, সর্বোচ্চ গুরুত্ব স্তর 5
• CIFAR100-to-CIFAR100-C: একই সেটআপ
• CIFAR10-to-CIFAR10-C: একই সেটআপ

মূল্যায়ন মেট্রিক্স

• শ্রেণীবিভাগ ত্রুটি হার (%) প্রধান সূচক হিসাবে
• শিখনযোগ্য প্যারামিটার সংখ্যা, মেমরি ব্যবহার, গণনা সময় দক্ষতা সূচক হিসাবে

তুলনা পদ্ধতি

• TTA পদ্ধতি: TENT, SAR, POEM
• CTTA পদ্ধতি: CoTTA, VDP, RoTTA, C-MAE, ROID, ViDA, CoLA, PALM, DPCore

বাস্তবায়ন বিবরণ

• মেরুদণ্ড নেটওয়ার্ক: ViT-B/16
• অপ্টিমাইজার: AdamW, ডোমেইন প্রম্পট শেখার হার 0.1, ক্লাস প্রম্পট শেখার হার 0.001
• ব্যাচ আকার: 64
• ডোমেইন প্রম্পট দৈর্ঘ্য: 8, ক্লাস প্রম্পট দৈর্ঘ্য: 1
• মূল হাইপারপ্যারামিটার: $γ_d=25, γ_c=0.005, γ_h=2, N_d=20, N_c=100$

পরীক্ষা ফলাফল

প্রধান ফলাফল

অ-পুনরাবৃত্ত ডোমেইন সেটআপ:

• ImageNet-C: 34.8% বনাম DPCore এর 39.9%, 5.1% উন্নতি
• CIFAR100-C: 22.5% বনাম DPCore এর 25.1%, 2.6% উন্নতি
• CIFAR10-C: 12.4% বনাম DPCore এর 15.4%, 3.0% উন্নতি

পুনরাবৃত্ত ডোমেইন সেটআপ (10 রাউন্ড):

• ImageNet-C গড় ত্রুটি হার: 34.5% বনাম DPCore এর 44.4%, 9.9% উন্নতি
• কর্মক্ষমতা একাধিক রাউন্ডে স্থিতিশীল থাকে, পদ্ধতির শক্তিশালীতা যাচাই করে

দক্ষতা বিশ্লেষণ

• মাত্র 0.09M শিখনযোগ্য প্যারামিটার প্রবর্তন করে (মডেল মোট প্যারামিটারের প্রায় 0.1%)
• পুনরাবৃত্ত ডোমেইন সেটআপে, 10তম রাউন্ডে DPCore এই পদ্ধতির চেয়ে প্রায় 5 গুণ বেশি প্যারামিটার ব্যবহার করে
• গণনা ওভারহেড DPCore এর সাথে তুলনীয়, কিন্তু কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত

অপসারণ পরীক্ষা

প্রতিটি উপাদানের অবদান বিশ্লেষণ:

• শুধুমাত্র ডোমেইন প্রম্পট + KFI + KFU: 39.5%
• শুধুমাত্র ক্লাস প্রম্পট + KFI + KFU: 50.9%
• দ্বি-প্রম্পট কোনো KFI + KFU নেই: 62.9% (কর্মক্ষমতা গুরুতরভাবে হ্রাস)
• দ্বি-প্রম্পট + KFI কোনো KFU নেই: 36.9%
• সম্পূর্ণ পদ্ধতি: 34.8%

ফলাফল দেখায় যে প্রতিটি উপাদান অপরিহার্য, KFI মডিউল কর্মক্ষমতা উন্নতির জন্য সবচেয়ে গুরুত্বপূর্ণ।

ভিজ্যুয়ালাইজেশন বিশ্লেষণ

• মনোযোগ মানচিত্র বিশ্লেষণ: এই পদ্ধতি মনোযোগকে ক্লাস-সম্পর্কিত বিচক্ষণ অঞ্চলে কেন্দ্রীভূত করতে পারে
• t-SNE বিশ্লেষণ: ডোমেইন প্রম্পট কী এবং পরীক্ষা ব্যাচ পরিসংখ্যান বৈশিষ্ট্য ভালভাবে ক্লাস্টার বিচ্ছিন্নতা গঠন করে
• ক্লাস বিতরণ বিশ্লেষণ: ক্লাস প্রম্পট কার্যকরভাবে বিভিন্ন ক্লাসকে সংশ্লিষ্ট প্রম্পটে ম্যাপ করতে পারে

তাত্ত্বিক বিশ্লেষণ

ভালভাবে বিচ্ছিন্ন ক্লাস্টারিং অনুমান

অনুমান করুন যে পরীক্ষা ব্যাচগুলি বৈশিষ্ট্য প্রতিনিধিত্বের উপর ভিত্তি করে স্বাভাবিকভাবে N টি ভালভাবে বিচ্ছিন্ন ক্লাস্টারে বিভক্ত হতে পারে, একটি থ্রেশহোল্ড θ বিদ্যমান যেমন:

∀i≠j, max_{B,B'∈C_i} d(B,B') < θ < min_{B∈C_i,B'∈C_j} d(B,B')

তাত্ত্বিক গ্যারান্টি

লেমা A.1: KFI প্রক্রিয়া সমস্ত ব্যাচকে একই ক্লাস্টারের প্রম্পটে সঠিকভাবে নির্ধারণ করতে পারে লেমা A.2: KFU প্রক্রিয়া শুধুমাত্র একই ক্লাস্টারের মধ্যে প্রম্পট একীভূত করে
প্রস্তাব A.3: KFF পদ্ধতি সমস্ত ব্যাচকে একই ক্লাস্টারের প্রম্পটে সঠিকভাবে নির্ধারণ করতে পারে

তাত্ত্বিক বিশ্লেষণ পদ্ধতির সঠিকতা নিশ্চিত করে, পরীক্ষায় t-SNE ভিজ্যুয়ালাইজেশন তাত্ত্বিক অনুমান যাচাই করে।

সম্পর্কিত কাজ

পরীক্ষা-সময় অভিযোজন (TTA)

• প্রাথমিক পদ্ধতিগুলি প্রধানত এন্ট্রপি ন্যূনতমকরণ, সামঞ্জস্য সর্বাধিকীকরণ ইত্যাদি স্ব-তত্ত্বাবধানিত ক্ষতি ব্যবহার করে
• সীমাবদ্ধতা: স্থির লক্ষ্য ডোমেইন অনুমান করে, গতিশীল ডোমেইন পরিবর্তন পরিচালনা করতে পারে না

ক্রমাগত পরীক্ষা-সময় অভিযোজন (CTTA)

• নিয়মিতকরণ পদ্ধতি: EATA, EcoTTA নিয়মিতকরণের মাধ্যমে ত্রুটি সংগ্রহ হ্রাস করে
• রিসেট পদ্ধতি: ERSK, CoTTA ওজন রিসেট ব্যবহার করে বিপর্যয়মূলক বিস্মৃতি প্রতিরোধ করে
• প্রম্পট শেখার পদ্ধতি: VDP, SVDP, DPCore অল্প সংখ্যক প্যারামিটার ব্যবহার করে ডোমেইন-নির্দিষ্ট জ্ঞান শিখে

প্রম্পট শেখা

• NLP থেকে কম্পিউটেশনাল ভিশন ক্ষেত্রে প্রসারিত
• বিদ্যমান পদ্ধতিগুলি প্রধানত ডোমেইন-স্তরীয় জ্ঞানে ফোকাস করে, ক্রস-ডোমেইন ভাগ করা ক্লাস-স্তরীয় তথ্য উপেক্ষা করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

1. KFF ফ্রেমওয়ার্ক CTTA তে ডোমেইন দ্বন্দ্ব সমস্যা কার্যকরভাবে সমাধান করে
2. ক্লাস-সচেতন ডিজাইন ক্রস-ডোমেইন ভাগ করা জ্ঞান আরও ভালভাবে ব্যবহার করতে পারে
3. জ্ঞান বিভাজন ও সংমিশ্রণ প্রক্রিয়া প্রভাব এবং দক্ষতার ভারসাম্য রাখে
4. একাধিক বেঞ্চমার্ক ডেটাসেটে উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করে

সীমাবদ্ধতা

1. উৎস ডোমেইন নির্ভরতা: উৎস ডোমেইন পরিসংখ্যান তথ্য অ্যাক্সেস প্রয়োজন, গোপনীয়তা সীমাবদ্ধ পরিস্থিতিতে চ্যালেঞ্জ উপস্থাপন করে
2. সিন্থেটিক বিকৃতি: প্রধানত কৃত্রিমভাবে ডিজাইন করা বিকৃতিতে যাচাই করা হয়, বাস্তব-বিশ্ব বিতরণ পরিবর্তনের শক্তিশালীতা যাচাই করা প্রয়োজন
3. গণনা ওভারহেড: যদিও তুলনামূলকভাবে দক্ষ, সম্পদ-সীমাবদ্ধ ডিভাইসে এখনও চ্যালেঞ্জ রয়েছে
4. হাইপারপ্যারামিটার সংবেদনশীলতা: বিভিন্ন ডেটাসেটের জন্য মূল হাইপারপ্যারামিটার সামঞ্জস্য করা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

1. উৎস ডোমেইন পরিসংখ্যান তথ্য ছাড়াই অভিযোজন পদ্ধতি অন্বেষণ করা
2. বাস্তব-বিশ্ব ডেটাসেটে পদ্ধতির শক্তিশালীতা যাচাই করা
3. গণনা দক্ষতা আরও অপ্টিমাইজ করা
4. হাইপারপ্যারামিটারের স্ব-অভিযোজিত সমন্বয় প্রক্রিয়া গবেষণা করা

গভীর মূল্যায়ন

শক্তি

1. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো ক্লাস-সচেতন জ্ঞান বিভাজন ও সংমিশ্রণ ফ্রেমওয়ার্ক প্রস্তাব করে, গুরুত্বপূর্ণ ডোমেইন দ্বন্দ্ব সমস্যা সমাধান করে
2. তাত্ত্বিক সমর্থন: ভালভাবে বিচ্ছিন্ন ক্লাস্টারিং অনুমানের উপর ভিত্তি করে তাত্ত্বিক বিশ্লেষণ প্রদান করে
3. ব্যাপক পরীক্ষা: একাধিক ডেটাসেটে ব্যাপক তুলনামূলক পরীক্ষা এবং অপসারণ গবেষণা পরিচালনা করে
4. উচ্চতর দক্ষতা: সর্বোত্তম কর্মক্ষমতা অর্জন করার সময় গণনা দক্ষতা বজায় রাখে
5. স্পষ্ট ভিজ্যুয়ালাইজেশন: মনোযোগ মানচিত্র এবং t-SNE ইত্যাদির মাধ্যমে স্বজ্ঞাত পদ্ধতি ব্যাখ্যা প্রদান করে

অপূর্ণতা

1. অনুমান সীমাবদ্ধতা: ভালভাবে বিচ্ছিন্ন ক্লাস্টারিং অনুমান বাস্তব প্রয়োগে সর্বদা সত্য নাও হতে পারে
2. মূল্যায়ন সীমাবদ্ধতা: প্রধানত সিন্থেটিক বিকৃতি ডেটায় মূল্যায়ন করা হয়, বাস্তব পরিস্থিতি যাচাই অনুপস্থিত
3. উৎস ডোমেইন নির্ভরতা: উৎস ডোমেইন পরিসংখ্যান তথ্য প্রয়োজন পদ্ধতির প্রয়োজনীয়তা সীমাবদ্ধ করে
4. হাইপারপ্যারামিটার জটিলতা: একাধিক হাইপারপ্যারামিটার জড়িত যা সাবধানে সুর করা প্রয়োজন

প্রভাব

1. একাডেমিক অবদান: CTTA ক্ষেত্রে নতুন সমাধান চিন্তাভাবনা প্রদান করে, ব্যাপক মনোযোগ আকর্ষণ করার প্রত্যাশা করা হয়
2. ব্যবহারিক মূল্য: স্বয়ংচালিত গাড়ি, চিকিৎসা চিত্র ইত্যাদি ক্রমাগত অভিযোজন প্রয়োজন এমন দৃশ্যে প্রয়োগ সম্ভাবনা রয়েছে
3. পুনরুৎপাদনযোগ্যতা: লেখক কোড ওপেন-সোর্স করার প্রতিশ্রুতি দেন, পদ্ধতি প্রচার সহজতর করে

প্রযোজ্য পরিস্থিতি

• একাধিক ডোমেইন পরিবর্তনে ক্রমাগত অভিযোজন প্রয়োজন এমন কম্পিউটেশনাল ভিশন কাজ
• প্যারামিটার দক্ষতার প্রয়োজন এমন প্রান্ত গণনা পরিস্থিতি
• অল্প সংখ্যক উৎস ডোমেইন পরিসংখ্যান তথ্য অ্যাক্সেস করতে পারে এমন প্রয়োগ
• ডোমেইন পরিবর্তন তুলনামূলকভাবে পূর্বাভাসযোগ্য কাঠামোগত পরিবেশ

এই পেপারটি CTTA ক্ষেত্রে গুরুত্বপূর্ণ অবদান করেছে, উদ্ভাবনী জ্ঞান বিভাজন ও সংমিশ্রণ প্রক্রিয়ার মাধ্যমে ডোমেইন দ্বন্দ্ব সমস্যা কার্যকরভাবে সমাধান করে, গণনা দক্ষতা বজায় রেখে উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর মূল চিন্তাভাবনা এবং প্রযুক্তিগত উদ্ভাবন সম্পর্কিত গবেষণার জন্য মূল্যবান রেফারেন্স প্রদান করে।