জ্ঞান পরিশোধন এবং গ্রাফ কনভোলিউশনাল নেটওয়ার্ক ব্যবহার করে উন্নত সাবডোমেইন অভিযোজন সম্পদ-সীমিত বেয়ারিং ফল্ট নির্ণয়ের জন্য

মৌলিক তথ্য

• পেপার আইডি: 2501.07173
• শিরোনাম: জ্ঞান পরিশোধন এবং গ্রাফ কনভোলিউশনাল নেটওয়ার্ক ব্যবহার করে উন্নত সাবডোমেইন অভিযোজন সম্পদ-সীমিত বেয়ারিং ফল্ট নির্ণয়ের জন্য
• লেখক: মোহাম্মাদরেজা কাভিয়ানপুর, পারিসা কাভিয়ানপুর, আমিন রামেজানি, মোহাম্মাদ থ বেহেশতি
• প্রতিষ্ঠান: তারবিয়াত মোদারেস বিশ্ববিদ্যালয় (ইরান), মাজান্দারান বিশ্ববিদ্যালয় (ইরান), বেইলর কলেজ অফ মেডিসিন (যুক্তরাষ্ট্র)
• শ্রেণীবিভাগ: cs.LG (মেশিন লার্নিং), eess.SP (সিগন্যাল প্রসেসিং)
• প্রকাশনার সময়: ২০২৫ সালের ১৩ জানুয়ারি (arXiv)
• পেপার লিংক: https://arxiv.org/abs/2501.07173

সারসংক্ষেপ

বেয়ারিং ফল্ট নির্ণয় পরিবর্তনশীল কর্মপরিস্থিতিতে লেবেলযুক্ত ডেটার অভাব, বিতরণ পার্থক্য এবং সম্পদ সীমাবদ্ধতার চ্যালেঞ্জের সম্মুখীন হয়। এই সমস্যাগুলি সমাধানের জন্য, এই পেপারটি একটি ক্রমবর্ধমান জ্ঞান পরিশোধন কাঠামো প্রস্তাব করে যা জটিল শিক্ষক মডেল (ARMA ফিল্টার সহ গ্রাফ কনভোলিউশনাল নেটওয়ার্ক GCN ব্যবহার করে) থেকে কমপ্যাক্ট এবং দক্ষ শিক্ষার্থী মডেলে জ্ঞান স্থানান্তর করে। বিতরণ পার্থক্য এবং লেবেল অনিশ্চয়তা হ্রাস করার জন্য, উন্নত স্থানীয় সর্বোচ্চ গড় বর্গ পার্থক্য (ELMMSD) চালু করা হয়েছে, যা পুনরুৎপাদনকারী কার্নেল হিলবার্ট স্পেস (RKHS) এ গড় এবং বৈচিত্র্য পরিসংখ্যান ব্যবহার করে এবং লেবেলগুলির মধ্যে পূর্ব সম্ভাব্যতা বিতরণের সাথে একত্রিত হয়। এই পদ্ধতি ক্লাস্টারিং কেন্দ্রের মধ্যে দূরত্ব বৃদ্ধি করে, সাবডোমেইন ব্যবধান পূরণ করে এবং সাবডোমেইন সারিবদ্ধতার নির্ভরযোগ্যতা উন্নত করে। বেঞ্চমার্ক ডেটাসেট (CWRU এবং JNU) এ পরীক্ষামূলক ফলাফলগুলি দেখায় যে এই পদ্ধতিটি গণনা খরচ উল্লেখযোগ্যভাবে হ্রাস করার সময় চমৎকার নির্ণয় নির্ভুলতা অর্জন করে। ব্যাপক অ্যাবলেশন গবেষণা প্রতিটি উপাদানের কার্যকারিতা যাচাই করে এবং বিভিন্ন কর্মপরিস্থিতিতে পদ্ধতির শক্তিশালীতা এবং অভিযোজনযোগ্যতা তুলে ধরে।

গবেষণা পটভূমি এবং প্রেরণা

১. সমাধান করার মূল সমস্যা

বেয়ারিং ঘূর্ণায়মান যন্ত্রপাতির সবচেয়ে সহজে ব্যর্থ উপাদানগুলির মধ্যে একটি হিসাবে, এর ফল্ট নির্ণয় তিনটি মূল চ্যালেঞ্জের সম্মুখীন হয়:

• গণনামূলক জটিলতা: গভীর শেখার মডেলগুলি সম্পদ-সীমিত শিল্প সরঞ্জামে স্থাপন করা কঠিন
• ডোমেইন শিফট সমস্যা: প্রশিক্ষণ ডেটা (উৎস ডোমেইন) এবং প্রকৃত অপারেটিং ডেটা (লক্ষ্য ডোমেইন) এর মধ্যে বিতরণ পার্থক্য বিদ্যমান
• লেবেলযুক্ত ডেটা স্বল্পতা: শিল্প পরিবেশে উচ্চ মানের মন্তব্যকৃত ডেটা অর্জন করা কঠিন

২. সমস্যার গুরুত্ব

• বেয়ারিং ফল্টের সময়োপযোগী এবং নির্ভুল সনাক্তকরণ প্রধান অর্থনৈতিক ক্ষতি এবং অপারেশনাল ডাউনটাইম প্রতিরোধের জন্য অত্যন্ত গুরুত্বপূর্ণ
• শিল্প পরিবেশে সরঞ্জাম প্রায়শই পরিবর্তনশীল কর্মপরিস্থিতিতে চলে, যা ডেটা বিতরণ পরিবর্তন ঘটায়
• এজ কম্পিউটিং ডিভাইসের সম্পদ সীমাবদ্ধতা মডেলগুলিকে হালকা হতে প্রয়োজন করে

৩. বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ডোমেইন অভিযোজন পদ্ধতির অপর্যাপ্ততা:

• MMD, CORAL ইত্যাদি পদ্ধতি প্রধানত গড় পরিসংখ্যান বা সহভেদ সারিবদ্ধতার উপর ফোকাস করে, সম্পূর্ণ বিতরণ বৈশিষ্ট্য ক্যাপচার করতে পারে না
• উচ্চ মানের লেবেলের উপর নির্ভর করে, শব্দযুক্ত লেবেলের প্রতি সংবেদনশীল
• একই শ্রেণীর সাবডোমেইন সারিবদ্ধতা উপেক্ষা করে

GCN পদ্ধতির সীমাবদ্ধতা:

• মান গ্রাফ ফিল্টার (Chebyshev, বহুপদী) নমনীয়তার অভাব, অত-মসৃণতা এবং উচ্চ গণনা খরচ সহ সমস্যা রয়েছে
• বর্ণালী ফিল্টার গণনা-নিবিড়, গ্রাফ কাঠামো পরিবর্তনের প্রতি সংবেদনশীল

জ্ঞান পরিশোধন পদ্ধতির ত্রুটি:

• ঐতিহ্যবাহী KD পদ্ধতি সাবডোমেইন অভিযোজন সমস্যা সম্পূর্ণভাবে সমাধান করে না
• শিক্ষক-শিক্ষার্থী মডেলের মধ্যে ক্ষমতা ব্যবধান জ্ঞান স্থানান্তর প্রভাব প্রভাবিত করে
• নিরীক্ষিত পরিস্থিতিতে লক্ষ্য ডোমেইন লেবেল ডেটার উপর নির্ভর করে

৪. গবেষণা প্রেরণা

এই পেপারটি একটি একীভূত কাঠামো তৈরি করার লক্ষ্য রাখে যা গণনা দক্ষতা, ডোমেইন শিফট এবং লেবেল অনিশ্চয়তার তিনটি প্রধান চ্যালেঞ্জ একযোগে সমাধান করে, সম্পদ-সীমিত পরিবেশে দক্ষ বেয়ারিং ফল্ট নির্ণয় অর্জন করে।

মূল অবদান

১. ELMMSD মেট্রিক প্রস্তাব: গড় এবং বৈচিত্র্য পরিসংখ্যানের সাবডোমেইন অভিযোজন মেট্রিক উদ্ভাবনীভাবে একত্রিত করে, RKHS-এ আরও নির্ভুল ডোমেইন সারিবদ্ধতা অর্জন করে এবং লেবেল মসৃণকরণের মাধ্যমে শব্দযুক্ত লেবেলের প্রতি শক্তিশালীতা বৃদ্ধি করে

२. ক্রমবর্ধমান জ্ঞান পরিশোধন কাঠামো ডিজাইন: মডেল আকার সংকোচন ৯৯.৬৭% অর্জন করে (০.৯२ MB থেকে ০.०२८ MB-এ), নির্ভুলতা মাত্র २% হ্রাস পায়, মডেলটি সম্পদ-সীমিত ডিভাইসে স্থাপন করা সম্ভব করে

३. ARMA ফিল্টার সহ GCN আর্কিটেকচার গ্রহণ: স্বয়ংক্রিয় রিগ্রেসিভ মুভিং এভারেজ ফিল্টার ব্যবহার করে জ্যামিতিক কাঠামো বৈশিষ্ট্য ক্যাপচার করে, সাবডোমেইন অভিযোজন ক্ষমতা বৃদ্ধি করে এবং ডোমেইন শিফটের প্রতি শক্তিশালীতা উন্নত করে

४. একীভূত ফল্ট নির্ণয় সমাধান তৈরি: ELMMSD, জ্ঞান পরিশোধন এবং GCN একীভূত করে, বেয়ারিং ফল্ট নির্ণয়ে গণনা জটিলতা, ডোমেইন শিফট এবং শব্দযুক্ত লেবেল চ্যালেঞ্জ সম্পূর্ণভাবে সমাধান করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

সমস্যা আনুষ্ঠানিকীকরণ:

• উৎস ডোমেইন: $D_s = \{(x_i^s, y_i^s)\}_{i=1}^{n_s}$, $n_s$ লেবেলযুক্ত নমুনা সহ
• লক্ষ্য ডোমেইন: $D_t = \{(x_j^t)\}_{j=1}^{n_t}$, $n_t$ নিরীক্ষিত নমুনা সহ
• উভয় ডোমেইনে $n_c$ শ্রেণী রয়েছে, কিন্তু বিভিন্ন বিতরণ থেকে নমুনা নেওয়া হয় $p_s \neq p_t$
• লক্ষ্য: একটি হালকা শিক্ষার্থী মডেল শিখুন যা লক্ষ্য ডোমেইনে বেয়ারিং ফল্ট নির্ভুলভাবে নির্ণয় করতে পারে

মডেল আর্কিটেকচার

সামগ্রিক কাঠামো KAVI তিনটি মূল মডিউল রয়েছে:

মডিউল १: শিক্ষক এবং শিক্ষার্থী মডেল

শিক্ষক মডেল আর্কিটেকচার: १. গ্রাফ জেনারেশন লেয়ার (GGL): প্রতিটি মিনি-ব্যাচ থেকে উদাহরণ গ্রাফ তৈরি করুন

• সংলগ্ন ম্যাট্রিক্স: $A = \text{normalize}(X X^T)$
• বিরলতা: $\tilde{A} = \text{Top-K}(A)$, K=2

२. ARMA কনভোলিউশন লেয়ার: তিন স্তরের ARMA१ কনভোলিউশন কাঠামো তথ্য নিষ্কাশন করে

• K-ক্রম ARMA ফিল্টার সংজ্ঞা: $h_{ARMA_K}(\lambda) = \frac{\sum_{k=0}^{K-1} b_k\lambda^k}{1 + \sum_{k=1}^K a_k\lambda^k}$
• প্রথম-ক্রম ARMA পুনরাবৃত্তিমূলক অনুমান: $\tilde{X}^{(t+1)} = ReLU(F\tilde{X}^{(t)}W + \tilde{X}V)$

যেখানে $F = \frac{1}{2}(\lambda_{max} - \lambda_{min})I - L$

३. সম্পূর্ণ সংযুক্ত স্তর: ফল্ট শ্রেণীবিভাগ এবং ডোমেইন সারিবদ্ধতার জন্য তিন স্তরের FC (256→128→শ্রেণী সংখ্যা)

শিক্ষার্থী মডেল আর্কিটেকচার:

• হালকা এক-মাত্রিক CNN: দুটি কনভোলিউশন লেয়ার (१६ এবং ३२ টি ३×२ কার্নেল)
• দুটি সম্পূর্ণ সংযুক্ত স্তর (१२८→শ্রেণী সংখ্যা)
• পরামিতি সংখ্যা উল্লেখযোগ্যভাবে হ্রাস পায়, এজ স্থাপনার জন্য উপযুক্ত

মডিউল २: সাবডোমেইন অভিযোজন মডিউল

ELMMSD মূল উদ্ভাবন:

१. লেবেল মসৃণকরণ (Label Smoothing):

• মসৃণ লেবেল: $S(y_i) = (1-\epsilon)y_i + \frac{\epsilon}{n_c}$
• মসৃণ শ্রেণীবিভাগ ক্ষতি: $L_{cls} = -\sum_{c=1}^C \left[(1-\epsilon)q(c|x_i^s) + \frac{\epsilon}{n_c}\right] \log(p(c|x_i^s))$

२. ELMMSD দূরত্ব সংজ্ঞা: FC१ এবং FC२ স্তরে বহু-স্তর বহু-কার্নেল ELMMSD গণনা করুন:

$d_{z_1} = \frac{1}{n_c}\sum_{c=1}^{n_c}\left[\sum_{i,j}\omega_i^{sc}\omega_j^{sc}k^2(\tilde{z}_{1s_i}, \tilde{z}_{1s_j}) + \sum_{i,j}\omega_i^{tc}\omega_j^{tc}k^2(z_{1t_i}, z_{1t_j}) - 2\sum_{i,j}\omega_i^{sc}\omega_j^{tc}k^2(\tilde{z}_{1s_i}, z_{1t_j})\right]$

३. বহু-কার্নেল ডিজাইন: $k \triangleq \sum_{u=1}^U \mu_u k_u$ একাধিক গাউসিয়ান কার্নেল ব্যবহার করুন (ব্যান্ডউইথ: {०.००१, ०.०१, १, १०, १००}) নিম্ন এবং উচ্চ-ক্রম মুহূর্ত ক্যাপচার করতে

४. গতিশীল ভারসাম্য ফ্যাক্টর: $\lambda_{SDA} = -\frac{4}{\sqrt{e}} \frac{n_e}{n_e+1} + 4$ প্রাথমিকভাবে ०ে মৌলিক ফল্ট বৈশিষ্ট্য শিখতে, প্রশিক্ষণের সাথে ধীরে ধীরে বৃদ্ধি পায়

५. সামগ্রিক সাবডোমেইন অভিযোজন ক্ষতি: $L_{SDA} = L_{CLS} + \lambda_{SDA}(d_{z_1} + d_{z_2})$

মডিউল ३: ক্রমবর্ধমান জ্ঞান পরিশোধন

१. লক্ষ্য ডোমেইন পরিশোধন ক্ষতি: $L_{KD}^T = L_{KL}(Q_s(D_t, \tau), Q_t(D_t, \tau))$

তাপমাত্রা নরম আউটপুট: $Q_i = \frac{\exp(z_i/\tau)}{\sum_j \exp(z_j/\tau)}$

२. উৎস ডোমেইন পরিশোধন ক্ষতি: $L_{KD}^S = L_{KL}(Q_s(D_s, \tau), Q_t(D_s, \tau)) + \lambda_{CLS}L_{CLS}$

३. সামগ্রিক উদ্দেশ্য ফাংশন: $L_{total} = (1-\lambda_e)L_{SDA} + \lambda_e(L_{KD}^T + L_{KD}^S)$

ক্রমবর্ধমান ওজন: $\lambda_e = \alpha_1 \cdot \exp\left(\frac{e}{n_e} \cdot \log\left(\frac{\alpha_2}{\alpha_1}\right)\right)$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. ELMMSD বনাম ঐতিহ্যবাহী পদ্ধতি:

• MMD শুধুমাত্র গড় বিবেচনা করার তুলনায়, ELMMSD গড় এবং বৈচিত্র্য তথ্য উভয়ই ব্যবহার করে
• LMMD এর তুলনায়, উচ্চ-মানের লেবেলের উপর নির্ভরতা হ্রাস করতে লেবেল মসৃণকরণ প্রবর্তন করে
• বর্গ কার্নেল (টেনসর পণ্য) ব্যবহার করে উচ্চ-ক্রম পরিসংখ্যান বৈশিষ্ট্য সংরক্ষণ করে, গণনা জটিলতা হ্রাস করে

२. ARMA ফিল্টার সুবিধা:

• Chebyshev ফিল্টারের তুলনায় আরও নমনীয়, আরও সামঞ্জস্যযোগ্য পরামিতি
• পুনরাবৃত্তিমূলক বাস্তবায়ন গণনা খরচ হ্রাস করে
• গ্রাফ কাঠামো পরিবর্তনের প্রতি আরও শক্তিশালী, অত-মসৃণতা সমস্যা হ্রাস করে

३. ক্রমবর্ধমান পরিশোধন কৌশল:

• প্রথমে অভিযোজন তারপর পরিশোধন, ঐতিহ্যবাহী পদ্ধতি প্রথমে সংকোচন দ্বারা সৃষ্ট সাধারণীকরণ ক্ষমতা হ্রাস এড়ান
• গতিশীল ভারসাম্য ফ্যাক্টর মসৃণ রূপান্তর অর্জন করে
• উৎস এবং লক্ষ্য ডোমেইন উভয়েই জ্ঞান স্থানান্তর সম্পাদন করুন

পরীক্ষামূলক সেটআপ

ডেটাসেট

१. CWRU ডেটাসেট:

• স্বাস্থ্য অবস্থা: १० প্রকার (१ স্বাভাবিক + ३ ফল্ট × ३ গুরুত্ব স্তর)
  • বাহ্যিক রিং ফল্ট (ORF), অভ্যন্তরীণ রিং ফল্ট (IRF), বল ফল্ট (BF)
  • গুরুত্ব স্তর: ०.००७, ०.०१४, ०.०२१ ইঞ্চি
• কর্মপরিস্থিতি: ४ প্রকার লোড অবস্থা (०hp-A१, १hp-A२, २hp-A३, ३hp-A४)
• স্যাম্পলিং: १२kHz স্যাম্পলিং ফ্রিকোয়েন্সি
• স্থানান্তর কাজ: १२ টি (যেমন A१→A२ মানে ०hp থেকে १hp-এ স্থানান্তর)
• নমুনা: প্রতি শ্রেণী १००० নমুনা, প্রতি নমুনা १०२४ ডেটা পয়েন্ট

२. JNU ডেটাসেট:

• স্বাস্থ্য অবস্থা: ४ প্রকার
• কর্মপরিস্থিতি: ३ প্রকার গতি (६००rpm-J१, ८००rpm-J२, १०००rpm-J३)
• স্যাম্পলিং: ५०kHz স্যাম্পলিং ফ্রিকোয়েন্সি, ३० সেকেন্ড স্থায়িত্ব
• স্থানান্তর কাজ: ६ টি (যেমন J१→J२)

ডেটা বিভাজন: প্রশিক্ষণ ७०%, যাচাইকরণ १५%, পরীক্ষা १५%

মূল্যায়ন সূচক

१. নির্ণয় নির্ভুলতা (Accuracy): প্রধান কর্মক্ষমতা সূচক २. A-দূরত্ব: বৈশ্বিক ডোমেইন অভিযোজন প্রভাব পরিমাপ করে $\hat{d}_A = 2(1-2\zeta)$ যেখানে $\zeta$ হল SVM শ্রেণীবিভাগকারী ত্রুটি

३. AL-দূরত্ব: সাবডোমেইন সারিবদ্ধতা প্রভাব পরিমাপ করে $d_{AL} = 2\sum_{c=1}^C p(c)(1-2\zeta_c)$

४. গণনা খরচ: FLOPs (ফ্লোটিং পয়েন্ট অপারেশন) এবং মডেল আকার (MB)

তুলনা পদ্ধতি

শ্রেণী १: KD এবং SDA কনফিগারেশন

• SDA→KD: প্রথমে শিক্ষক মডেল অভিযোজন তারপর পরিশোধন
• KD→SDA: প্রথমে পরিশোধন তারপর শিক্ষার্থী মডেল অভিযোজন
• SDA only: শুধুমাত্র শিক্ষার্থী মডেলে সাবডোমেইন অভিযোজন

শ্রেণী २: ডোমেইন অভিযোজন প্রযুক্তি

• DANN: ডোমেইন বিরোধী স্নায়ু নেটওয়ার্ক
• LMMD: স্থানীয় সর্বোচ্চ গড় পার্থক্য
• MMSD: সর্বোচ্চ গড় বর্গ পার্থক্য

শ্রেণী ३: GCN ব্যাকবোন নেটওয়ার্ক

• CNN: তিন স্তরের কনভোলিউশন নেটওয়ার্ক
• GAT: গ্রাফ মনোযোগ নেটওয়ার্ক
• MRFGCN: বহু-রিসেপ্টিভ ফিল্ড গ্রাফ কনভোলিউশন নেটওয়ার্ক
• TAGCN: টপোলজিক্যাল স্ব-অভিযোজনশীল গ্রাফ কনভোলিউশন নেটওয়ার্ক

বাস্তবায়ন বিবরণ

• ফ্রেমওয়ার্ক: PyTorch
• ব্যাচ আকার: १२८
• অপ্টিমাইজার: SGD
• প্রশিক্ষণ যুগ: ४०० epochs
• শেখার হার: ०.००१ (প্রাথমিক)
• তাপমাত্রা প্যারামিটার: τ=२०
• ভারসাম্য প্যারামিটার: λe ०.१ থেকে ०.९ পর্যন্ত সূচকীয়ভাবে বৃদ্ধি পায়, λCLS=०.८
• ARMA ক্রম: ३-ক্রম
• পুনরাবৃত্তি পরীক্ষা: ५ বার গড় নিন
• হাইপারপ্যারামিটার টিউনিং: গ্রিড অনুসন্ধান

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

সারণী २: বিভিন্ন KD এবং SDA কনফিগারেশনের নির্ভুলতা তুলনা

মূল আবিষ্কার:

• KAVI সমস্ত কাজে অন্যান্য কনফিগারেশনকে ছাড়িয়ে যায়
• "SDA only" "SDA→KD" এর চেয়ে ভাল, নিরীক্ষিত পরিস্থিতিতে ক্রস-এন্ট্রপি ক্ষতির গুরুত্ব প্রদর্শন করে
• "KD→SDA" ভাল কর্মক্ষমতা দেখায়, কিন্তু KAVI এর ক্রমবর্ধমান কৌশল আরও কর্মক্ষমতা উন্নত করে

সারণী ३: CWRU ডেটাসেটে সম্পূর্ণ ফলাফল

শিক্ষক মডেল গড় নির্ভুলতা:

• KAVI: ९९.५३% (সর্বোচ্চ)
• MMSD: ९८.५१%
• LMMD: ९७.३५%
• DANN: ९७.००%

শিক্ষার্থী মডেল গড় নির্ভুলতা:

• KAVI: ९७.३९% (সর্বোচ্চ)
• MMSD: ९६.०७%
• LMMD: ९४.३८%
• DANN: ९३.६०%

সারণী ४: JNU ডেটাসেটে সম্পূর্ণ ফলাফল

শিক্ষক মডেল গড় নির্ভুলতা:

• KAVI: ९८.८८%
• MMSD: ९८.१४%
• LMMD: ९६.२६%
• DANN: ९५.८९%

শিক্ষার্থী মডেল গড় নির্ভুলতা:

• KAVI: ९६.३०%
• MMSD: ९५.०५%
• LMMD: ९३.७८%
• DANN: ९३.१७%

চিত্র २: বিভিন্ন GCN ব্যাকবোনের তুলনা

• A१→A४ কাজ: KAVI ९९.६७% অর্জন করে, TAGCN (९९.१२%) ০.५५% অতিক্রম করে
• J३→J२ কাজ: KAVI ९९.०९% অর্জন করে, TAGCN (९८.७१%) ०.३८% অতিক্রম করে
• সমস্ত GCN পদ্ধতি CNN বেসলাইনকে ছাড়িয়ে যায়

অ্যাবলেশন পরীক্ষা

१. ARMA ফিল্টার নোড সংখ্যা প্রভাব (সারণী ५, কাজ A१→A३)

উপসংহার: १२८ নোড সর্বোত্তম নির্ভুলতা-খরচ ভারসাম্য অর্জন করে, २५६ নোড গণনা পরিমাণ २.१३ গুণ বৃদ্ধি করে কিন্তু কোন নির্ভুলতা উন্নতি নেই

२. শিক্ষার্থী মডেল সংকোচন প্রভাব

• FLOPs: ५९.०५M থেকে ३२.८३M-এ হ্রাস (४४.४% হ্রাস)
• মডেল আকার: ०.९२MB থেকে ०.०२८MB-এ (९९.६७% সংকোচন)
• নির্ভুলতা ক্ষতি: মাত্র २.०६% (९९.८२%→९७.७६%)

३. লেবেল মসৃণকরণের প্রভাব (সারণী ६)

উপসংহার: লেবেল মসৃণকরণ সমস্ত কাজে নির্ভুলতা উন্নত করে, মডেল অত্যধিক আত্মবিশ্বাস হ্রাস করে

४. ডোমেইন দূরত্ব পরিমাপ (চিত্র ४, কাজ J३→J१)

A-দূরত্ব এবং AL-দূরত্ব তুলনা:

• KAVI এর A-দূরত্ব এবং AL-দূরত্ব উভয়ই সর্বনিম্ন
• প্রমাণ করে ELMMSD বৈশ্বিক ডোমেইন অভিযোজন এবং সাবডোমেইন সারিবদ্ধতা উভয়েই LMMD, DANN, MMSD এর চেয়ে উন্নত

কেস বিশ্লেষণ

চিত্র ३: বিভ্রান্তি ম্যাট্রিক্স (কাজ A३→A२)

• শিক্ষার্থী মডেল: সমস্ত শ্রেণী সঠিকভাবে চিহ্নিত, সর্বনিম্ন নির্ভুলতা ९९.३% (BF०२१ শ্রেণী)
• শিক্ষক মডেল: প্রায় নিখুঁত শ্রেণীবিভাগ
• নির্দেশ করে KAVI বিভিন্ন ফল্ট গুরুত্ব স্তরে উচ্চ নির্ভুলতা বজায় রাখে

পরীক্ষামূলক আবিষ্কার

१. MMSD LMMD এবং DANN এর চেয়ে উন্নত: কারণ এটি গড় এবং বৈচিত্র্য উভয়ই বিবেচনা করে, বর্গ কার্নেল দ্বিতীয় ক্রম পরিসংখ্যান প্রতিনিধিত্ব করতে ব্যবহার করে

२. ELMMSD আরও উন্নতি করে: লেবেল মসৃণকরণ এবং প্রান্তিক-শর্তাধীন বিতরণ যৌথ সারিবদ্ধতার মাধ্যমে সর্বোত্তম কর্মক্ষমতা অর্জন করে

३. ARMA ফিল্টারের উচ্চতর: সমস্ত GCN ভেরিয়েন্টে সর্বোত্তম কর্মক্ষমতা, জ্যামিতিক কাঠামো বৈশিষ্ট্য ক্যাপচারে এর কার্যকারিতা প্রমাণ করে

४. ক্রমবর্ধমান কৌশলের প্রয়োজনীয়তা: গতিশীল ভারসাম্য ফ্যাক্টর মসৃণ জ্ঞান স্থানান্তর অর্জন করে, আকস্মিক পরিবর্তন দ্বারা সৃষ্ট কর্মক্ষমতা হ্রাস এড়ায়

५. সাধারণীকরণ ক্ষমতা: দুটি ভিন্ন ডেটাসেটে (CWRU এবং JNU) সামঞ্জস্যপূর্ণ চমৎকার কর্মক্ষমতা

সম্পর্কিত কাজ

ডোমেইন অভিযোজন এবং সাবডোমেইন অভিযোজন

• প্রাথমিক পদ্ধতি: Qian ইত্যাদি CORAL+MMD ব্যবহার করে, Jiang ইত্যাদি LMMD+CORAL গ্রহণ করে
• সীমাবদ্ধতা: প্রধানত গড় পরিসংখ্যানে ফোকাস করে, বৈচিত্র্য উপেক্ষা করে; শব্দযুক্ত লেবেলের প্রতি সংবেদনশীল
• এই পেপারের উন্নতি: ELMMSD গড় এবং বৈচিত্র্য উভয়ই ব্যবহার করে, লেবেল মসৃণকরণের সাথে শক্তিশালীতা বৃদ্ধি করে

GCN পদ্ধতি

• বিদ্যমান কাজ:
  • Li ইত্যাদির বহু-রিসেপ্টিভ ফিল্ড GCN
  • Sun ইত্যাদির বহু-স্কেল ক্লাস্টারিং গ্রাফ কনভোলিউশন নেটওয়ার্ক
  • Yu ইত্যাদির ChebyNet ভিত্তিক GCN
• সমস্যা: মান ফিল্টার নমনীয়তার অভাব, অত-মসৃণতা, উচ্চ গণনা খরচ সমস্যা রয়েছে
• এই পেপারের অবদান: ARMA ফিল্টার আরও নমনীয় ফ্রিকোয়েন্সি প্রতিক্রিয়া প্রদান করে, স্থানান্তরযোগ্যতা বৃদ্ধি করে

জ্ঞান পরিশোধন পদ্ধতি

• ঐতিহ্যবাহী KD: Chen ইত্যাদির MsGPAT পরিশোধন, Gue ইত্যাদির KD+কোয়ান্টাইজেশন
• সীমাবদ্ধতা: সাবডোমেইন অভিযোজন সমস্যা সম্পূর্ণভাবে সমাধান করে না; সংকোচনের আগে অভিযোজন বা অভিযোজনের পরে সংকোচনের প্রতিটি ত্রুটি রয়েছে
• এই পেপারের উদ্ভাবন: ক্রমবর্ধমান পরিশোধন কাঠামো, অভিযোজন প্রক্রিয়ায় সমন্বিত জ্ঞান স্থানান্তর

এই পেপারের আপেক্ষিক সুবিধা

१. প্রথমবার ARMA-GCN, ELMMSD এবং ক্রমবর্ধমান KD একটি কাঠামোতে একীভূত করে २. গণনা দক্ষতা, ডোমেইন শিফট এবং লেবেল অনিশ্চয়তার তিনটি প্রধান চ্যালেঞ্জ একযোগে সমাধান করে ३. মডেল-অজ্ঞেয়বাদী, বিভিন্ন SDA এবং KD প্রযুক্তিতে প্রয়োগযোগ্য

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. KAVI কাঠামোর কার্যকারিতা: CWRU এবং JNU ডেটাসেটে SOTA কর্মক্ষমতা অর্জন করে, শিক্ষক মডেল গড় নির্ভুলতা যথাক্রমে ९९.५३% এবং ९८.८८% পৌঁছায়

२. চরম সংকোচন: শিক্ষার্থী মডেল ९९.६७% আকার সংকোচন অর্জন করে (०.९२MB→०.०२८MB), নির্ভুলতা মাত্র २% হ্রাস পায়

३. ELMMSD উচ্চতর: LMMD, DANN এবং MMSD এর তুলনায়, বৈশ্বিক ডোমেইন অভিযোজন এবং সাবডোমেইন সারিবদ্ধতা উভয়েই উন্নত কর্মক্ষমতা

४. ARMA ফিল্টারের মূল্য: সমস্ত GCN ভেরিয়েন্টে সর্বোত্তম কর্মক্ষমতা, কাঠামো বৈশিষ্ট্য নিষ্কাশনে এর সুবিধা প্রমাণ করে

५. লেবেল মসৃণকরণের ভূমিকা: শব্দযুক্ত লেবেলের অধীনে মডেল শক্তিশালীতা এবং সাধারণীকরণ ক্ষমতা উল্লেখযোগ্যভাবে উন্নত করে

সীমাবদ্ধতা

१. অনুমান সীমাবদ্ধতা: উৎস এবং লক্ষ্য ডোমেইনে একই শ্রেণী লেবেল সেট রয়েছে বলে অনুমান করে (বন্ধ-সেট পরিস্থিতি)

२. গণনা খরচ: যদিও শিক্ষার্থী মডেল হালকা, শিক্ষক মডেল প্রশিক্ষণ এখনও উচ্চ গণনা সম্পদ প্রয়োজন

३. হাইপারপ্যারামিটার সংবেদনশীলতা: একাধিক হাইপারপ্যারামিটার (τ, λe, ε ইত্যাদি) গ্রিড অনুসন্ধান টিউনিং প্রয়োজন

४. গ্রাফ নির্মাণ কৌশল: Top-K বিরলতা কৌশল (K=२) সমস্ত পরিস্থিতিতে উপযুক্ত নাও হতে পারে

५. রিয়েল-টাইম: পেপার অনলাইন শেখা এবং রিয়েল-টাইম নির্ণয়ের সম্ভাব্যতা আলোচনা করে না

ভবিষ্যত দিকনির্দেশনা

१. খোলা-সেট ফল্ট নির্ণয়: অজানা ফল্ট প্রকার সনাক্তকরণে সম্প্রসারণ

२. বহু-উৎস ডোমেইন স্থানান্তর: একাধিক উৎস ডোমেইন থেকে যৌথ জ্ঞান স্থানান্তর

३. অনলাইন স্ব-অভিযোজন: ক্রমাগত পরিবর্তনশীল কর্মপরিস্থিতিতে মোকাবেলা করার জন্য বৃদ্ধিমূলক শেখার কৌশল গবেষণা

४. ফেডারেটেড লার্নিং একীকরণ: ডেটা গোপনীয়তা রক্ষা করার সময় ক্রস-ডিভাইস সহযোগী নির্ণয় অর্জন করুন

५. ব্যাখ্যাযোগ্যতা বৃদ্ধি: ফল্ট নির্ণয় সিদ্ধান্তের ব্যাখ্যাযোগ্যতা বিশ্লেষণ প্রদান করুন

গভীর মূল্যায়ন

সুবিধা

१. পদ্ধতি উদ্ভাবনী (★★★★★)

• তাত্ত্বিক উদ্ভাবন: ELMMSD প্রথমবার গড় এবং বৈচিত্র্য পরিসংখ্যান একত্রিত করে, তাত্ত্বিকভাবে আরও সম্পূর্ণ
• আর্কিটেকচার উদ্ভাবন: ক্রমবর্ধমান পরিশোধন কাঠামো অভিযোজন-সংকোচন বৈরিতা চতুরভাবে সমাধান করে
• প্রযুক্তি সংমিশ্রণ: ARMA-GCN+ELMMSD+KD এর জৈব একীকরণ সিস্টেমিক চিন্তাভাবনা প্রদর্শন করে

२. পরীক্ষামূলক সম্পূর্ণতা (★★★★★)

• ডেটাসেট বৈচিত্র্য: দুটি বেঞ্চমার্ক ডেটাসেট, १८ স্থানান্তর কাজ
• তুলনা ব্যাপক: তিন শ্রেণী ७ তুলনা পদ্ধতি
• অ্যাবলেশন পুঙ্খানুপুঙ্খ: প্রতিটি উপাদানের অবদান যাচাই করে
• পরিসংখ্যান কঠোর: ५ বার পুনরাবৃত্তি পরীক্ষা গড় নিন, নির্ভরযোগ্যতা নিশ্চিত করুন

३. ফলাফল প্ররোচনা (★★★★☆)

• কর্মক্ষমতা উন্নতি উল্লেখযোগ্য: দ্বিতীয় সেরা পদ্ধতির তুলনায় ०.५-३% উন্নতি
• সংকোচন প্রভাব চমকপ্রদ: ९९.६७% মডেল সংকোচন হার
• সামঞ্জস্যতা ভাল: বিভিন্ন ডেটাসেট এবং কাজে স্থিতিশীল কর্মক্ষমতা
• ভিজ্যুয়ালাইজেশন সমৃদ্ধ: বিভ্রান্তি ম্যাট্রিক্স, তুলনা চার্ট, দূরত্ব পরিমাপ ইত্যাদি বহুমাত্রিক প্রদর্শন

४. লেখার স্পষ্টতা (★★★★☆)

• কাঠামো যুক্তিসঙ্গত: সমস্যা-পদ্ধতি-পরীক্ষা যুক্তি স্পষ্ট
• গণিত কঠোর: সূত্র উদ্ভাবন সম্পূর্ণ
• চার্ট সমৃদ্ধ: আর্কিটেকচার চার্ট, তুলনা চার্ট, বিভ্রান্তি ম্যাট্রিক্স ইত্যাদি বোঝাপড়া সহায়তা করে
• বিবরণ পর্যাপ্ত: বাস্তবায়ন বিবরণ এবং হাইপারপ্যারামিটার সেটিং বিস্তারিত

অপূর্ণতা

१. পদ্ধতি সীমাবদ্ধতা

• বন্ধ-সেট অনুমান: খোলা-সেট পরিস্থিতিতে অজানা ফল্ট প্রকার পরিচালনা করতে পারে না
• গণনা ওভারহেড: শিক্ষক মডেল প্রশিক্ষণ পর্যায় এখনও উচ্চ গণনা সম্পদ প্রয়োজন
• গ্রাফ নির্মাণ নির্ভরতা: ইউক্লিডিয়ান দূরত্ব ভিত্তিক গ্রাফ নির্মাণ সমস্ত ডেটা প্রকারে উপযুক্ত নাও হতে পারে

२. পরীক্ষামূলক সেটআপ ত্রুটি

• রিয়েল-টাইম বিশ্লেষণ অনুপস্থিত: অনুমান সময় এবং বিলম্ব রিপোর্ট করা হয় না
• হার্ডওয়্যার পরিবেশ একক: প্রকৃত এজ ডিভাইসে যাচাই করা হয় না
• ডেটাসেট স্কেল: দুটি ডেটাসেট তুলনামূলকভাবে ছোট, বড় আকারের যাচাইকরণ অনুপস্থিত

३. বিশ্লেষণ অপূর্ণতা

• ব্যর্থতার কেস বিশ্লেষণ: পদ্ধতি ব্যর্থতার পরিস্থিতি গভীরভাবে আলোচনা করা হয় না
• ব্যাখ্যাযোগ্যতা অভাব: মডেল সিদ্ধান্তের ব্যাখ্যাযোগ্যতা বিশ্লেষণ প্রদান করা হয় না
• তাত্ত্বিক গ্যারান্টি অনুপস্থিত: সংমিশ্রণ এবং সাধারণীকরণ ত্রুটির তাত্ত্বিক বিশ্লেষণ অনুপস্থিত

४. প্রযুক্তিগত বিবরণ

• হাইপারপ্যারামিটার সংবেদনশীলতা: একাধিক হাইপারপ্যারামিটার নির্বাচনে সিস্টেমিক নির্দেশনা অনুপস্থিত
• গতিশীল ফ্যাক্টর ডিজাইন: λSDA এবং λe এর সূচকীয় ফাংশন ফর্ম তাত্ত্বিক ভিত্তি অনুপস্থিত
• লেবেল মসৃণকরণ সহগ: ε নির্বাচন কৌশল পর্যাপ্তভাবে আলোচনা করা হয় না

প্রভাব

१. ক্ষেত্রে অবদান (★★★★☆)

• তাত্ত্বিক অবদান: ELMMSD সাবডোমেইন অভিযোজনের জন্য নতুন চিন্তাভাবনা প্রদান করে
• ব্যবহারিক মূল্য: সম্পদ-সীমিত পরিস্থিতিতে সম্ভাব্য সমাধান প্রদান করে
• অনুপ্রেরণামূলক: ক্রমবর্ধমান পরিশোধন কৌশল অন্যান্য কাজে সাধারণীকৃত করা যায়

२. ব্যবহারিক মূল্য (★★★★☆)

• শিল্প প্রয়োগ সম্ভাবনা: চরম সংকোচন এজ স্থাপন সম্ভব করে
• স্কেলেবিলিটি: কাঠামো মডেল-অজ্ঞেয়বাদী, সম্প্রসারণ সহজ
• খরচ-কার্যকারিতা: গণনা এবং সঞ্চয় খরচ উল্লেখযোগ্যভাবে হ্রাস করে

३. পুনরুৎপাদনযোগ্যতা (★★★★☆)

• বাস্তবায়ন বিবরণ পর্যাপ্ত: হাইপারপ্যারামিটার, নেটওয়ার্ক কাঠামো ইত্যাদি বিস্তারিত বর্ণনা করা হয়
• কোড ওপেন সোর্স: পেপার স্পষ্টভাবে উল্লেখ করে না, কিন্তু বিবরণ পুনরুৎপাদনের জন্য যথেষ্ট
• ডেটাসেট জনসাধারণ: জনসাধারণ বেঞ্চমার্ক ডেটাসেট ব্যবহার করে

প্রযোজ্য পরিস্থিতি

উচ্চ প্রযোজ্যতা: १. শিল্প এজ ডিভাইস: সেন্সর নোড, এমবেডেড সিস্টেম ইত্যাদি সম্পদ-সীমিত পরিবেশ २. পরিবর্তনশীল কর্মপরিস্থিতি নির্ণয়: লোড, গতি ইত্যাদি কর্মপরিস্থিতি ঘন ঘন পরিবর্তনের পরিস্থিতি ३. লেবেল-স্বল্প পরিস্থিতি: বড় পরিমাণ মন্তব্যকৃত ডেটা অর্জন করা কঠিন অ্যাপ্লিকেশন

মধ্যম প্রযোজ্যতা: १. বহু-উৎস ডোমেইন স্থানান্তর: একাধিক উৎস ডোমেইন সমর্থনের জন্য সম্প্রসারণ প্রয়োজন २. অনলাইন নির্ণয়: বৃদ্ধিমূলক শেখার প্রক্রিয়া যোগ করা প্রয়োজন ३. বড় আকারের সিস্টেম: বিতরণকৃত প্রশিক্ষণ কৌশল প্রয়োজন হতে পারে

অপ্রযোজ্য: १. খোলা-সেট ফল্ট নির্ণয়: অজানা ফল্ট প্রকার সনাক্ত করতে পারে না २. অত্যন্ত উচ্চ রিয়েল-টাইম প্রয়োজনীয়তা: শিক্ষক মডেল প্রশিক্ষণ সময়সাপেক্ষ ३. ডেটা গোপনীয়তা সংবেদনশীল: ফেডারেটেড লার্নিং ইত্যাদি গোপনীয়তা সুরক্ষা প্রযুক্তির সাথে একত্রিত করা প্রয়োজন

সমন্বিত মূল্যায়ন

সংদর্ভ

মূল উদ্ধৃতি:

१. ARMA ফিল্টার: Bianchi et al. (२०२१) - গ্রাফ নিউরাল নেটওয়ার্ক ARMA ফিল্টার সহ, IEEE TPAMI

२. LMMD: Zhu et al. (२०२०) - গভীর সাবডোমেইন অভিযোজন নেটওয়ার্ক ছবি শ্রেণীবিভাগের জন্য, IEEE TNNLS

३. MMSD: Qian et al. (२०२३) - সর্বোচ্চ গড় বর্গ পার্থক্য: নতুন বৈষম্য প্রতিনিধিত্ব মেট্রিক, KBS

४. ডোমেইন বিরোধী: Ganin et al. (२०१६) - স্নায়ু নেটওয়ার্কের ডোমেইন-বিরোধী প্রশিক্ষণ, JMLR

५. CWRU ডেটাসেট: Lou & Loparo (२००४) - ওয়েভলেট রূপান্তর এবং ফাজি অনুমান ভিত্তিক বেয়ারিং ফল্ট নির্ণয়

সংক্ষিপ্তসার: এই পেপারে প্রস্তাবিত KAVI কাঠামো বেয়ারিং ফল্ট নির্ণয় ক্ষেত্রে গুরুত্বপূর্ণ অবদান করেছে, গ্রাফ কনভোলিউশন নেটওয়ার্ক, উন্নত সাবডোমেইন অভিযোজন এবং ক্রমবর্ধমান জ্ঞান পরিশোধন চতুরভাবে একত্রিত করে, সম্পদ-সীমিত পরিবেশে পরিবর্তনশীল কর্মপরিস্থিতি ফল্ট নির্ণয় সমস্যা সফলভাবে সমাধান করেছে। ९९.६७% মডেল সংকোচন হার এবং মাত্র २% নির্ভুলতা ক্ষতি এই পদ্ধতির ব্যবহারিক মূল্য প্রদর্শন করে। যদিও বন্ধ-সেট অনুমান ইত্যাদি সীমাবদ্ধতা রয়েছে, তবে এর সিস্টেমিক ডিজাইন এবং পর্যাপ্ত পরীক্ষামূলক যাচাইকরণ এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ কাজ করে তোলে, আরও গবেষণা এবং প্রয়োগ প্রচার মূল্যবান।