ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা (XAI) পদ্ধতির ব্যবহার বাস্তব প্রয়োগে অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠেছে, যা কৃত্রিম বুদ্ধিমত্তা মডেলের ক্রমবর্ধমান স্থাপনা এবং সম্প্রতি প্রস্তাবিত আইনি প্রয়োজনীয়তার কারণে। ব্যাখ্যার শক্তিশালীতা একটি মৌলিক কিন্তু প্রায়শই অবমূল্যায়িত দিক, যা ব্যাখ্যার প্রতি বিশ্বাস স্থাপনের জন্য একটি মূল বৈশিষ্ট্য। এই গবেষণা অসন্তুলিত ডেটাসেটের নির্দিষ্ট পরিস্থিতিতে ব্যাখ্যার নির্ভরযোগ্যতা মূল্যায়নের জন্য কিছু প্রাথমিক অন্তর্দৃষ্টি প্রদান করে। অসন্তুলিত ডেটাসেট উচ্চ-ঝুঁকিপূর্ণ ব্যবহার-কেসে অত্যন্ত সাধারণ, কিন্তু একই সাথে AI মডেল এবং XAI পদ্ধতি উভয়ের জন্য উল্লেখযোগ্য চ্যালেঞ্জ উপস্থাপন করে। আমরা সংখ্যাসূচক বৈশিষ্ট্যের ট্যাবুলার ডেটাসেটের উপর ভিত্তি করে, তুষার ঘটনার সংঘটনকে ব্যবহার-কেস হিসাবে প্রদর্শন করে, একটি সরল মূল্যায়ন পদ্ধতি প্রস্তাব করি যা সংখ্যালঘু শ্রেণীতে (অর্থাৎ কম ফ্রিকোয়েন্সির শ্রেণী) ফোকাস করে এবং বহুগুণ উপর প্রতিবেশী উৎপাদন, ব্যাখ্যা সমন্বয় এবং ব্যাখ্যা সামঞ্জস্যতা পরীক্ষার জন্য মেট্রিক্স ব্যবহার করে।
এই গবেষণার মূল সমস্যা হল: অসন্তুলিত ডেটাসেটে XAI ব্যাখ্যার নির্ভরযোগ্যতা কীভাবে মূল্যায়ন করা যায়। বিশেষভাবে, যখন ডেটাসেটে সংখ্যালঘু শ্রেণীর নমুনা অত্যন্ত কম থাকে, তখন ঐতিহ্যবাহী ব্যাখ্যা পদ্ধতি অবিশ্বাস্য ফলাফল উৎপাদন করতে পারে।
১. আইনি প্রয়োজনীয়তা: GDPR এবং AI Act এর মতো নিয়মকানুন উচ্চ-ঝুঁকিপূর্ণ প্রয়োগের জন্য স্বচ্ছতার প্রয়োজনীয়তা আরোপ করে २. বাস্তব চাহিদা: চিকিৎসা, জলবায়ু, জালিয়াতি সনাক্তকরণ এবং অন্যান্য উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্র প্রায়শই অসন্তুলিত ডেটা সমস্যার সম্মুখীন হয় ३. বিশ্বাস সংকট: অসন্তুলিত ডেটাসেটে, এমনকি মডেল ৯৯% নির্ভুলতা অর্জন করলেও, এটি কেবল সংখ্যাগুরু শ্রেণী পূর্বাভাস দিতে পারে
१. LIME এবং SHAP এর মতো পদ্ধতি অসন্তুলিত ডেটাসেটে দুর্বল শক্তিশালীতা প্রদর্শন করে २. লক্ষ্যবস্তু মূল্যায়নের অভাব: বিদ্যমান পদ্ধতি প্রধানত সামগ্রিক কর্মক্ষমতার উপর ফোকাস করে, সংখ্যালঘু শ্রেণীর বিশেষত্ব উপেক্ষা করে ३. ব্যাখ্যার অস্থিরতা: সমান ইনপুট সম্পূর্ণভাবে ভিন্ন ব্যাখ্যা উৎপাদন করতে পারে
লেখকরা বিশ্বাস করেন যে অসন্তুলিত ডেটাসেটে, সংখ্যালঘু শ্রেণীর ব্যাখ্যা নির্ভরযোগ্যতা মূল্যায়ন বিশেষভাবে গুরুত্বপূর্ণ, কারণ:
१. অসন্তুলিত ডেটাসেটের জন্য ব্যাখ্যা নির্ভরযোগ্যতা মূল্যায়ন কাঠামো প্রস্তাব করা হয়েছে, যা সংখ্যালঘু শ্রেণীর নমুনায় ফোকাস করে २. বহুগুণ-ভিত্তিক প্রতিবেশী উৎপাদন পদ্ধতি ডিজাইন করা হয়েছে, যা বিঘ্নিত নমুনা ডেটা বহুগুণে থাকে তা নিশ্চিত করে ३. সামঞ্জস্যতা মেট্রিক্স প্রবর্তন করা হয়েছে, মূল ব্যাখ্যা এবং স্থানীয় ওজনযুক্ত গড় ব্যাখ্যা তুলনা করে নির্ভরযোগ্যতা মূল্যায়ন করে ४. প্রকৃত তুষার পূর্বাভাস কাজে পদ্ধতির কার্যকারিতা যাচাই করা হয়েছে, যা অত্যন্ত অসন্তুলিত বৈশিষ্ট্য রাখে (৯९:१)
অসন্তুলিত ডেটাসেট দেওয়া, যেখানে (০ সংখ্যাগুরু শ্রেণী, १ সংখ্যালঘু শ্রেণী), একটি স্নায়ু নেটওয়ার্ক প্রশিক্ষণ দিন, লক্ষ্য হল সংখ্যালঘু শ্রেণী নমুনায় ব্যাখ্যা পদ্ধতি এর নির্ভরযোগ্যতা মূল্যায়ন করা।
k-medoids ক্লাস্টারিং-ভিত্তিক বহুগুণ উপর প্রতিবেশী উৎপাদন গ্রহণ করুন:
পদক্ষেপ:
বিঘ্নিত সূত্র: যেখানে
সংখ্যালঘু শ্রেণী নমুনার জন্য ওজনযুক্ত গড় ব্যাখ্যা গণনা করুন: যেখানে ওজন
দুটি মূল্যায়ন সূচক সংজ্ঞায়িত করুন:
স্থানীয় শক্তিশালীতা:
সামঞ্জস্যতা: যেখানে Spearman র্যাঙ্ক সহসম্পর্ক সহগ
१. বহুগুণ-সচেতন প্রতিবেশী উৎপাদন: র্যান্ডম গাউসীয় শব্দের তুলনায়, medoid-ভিত্তিক পদ্ধতি ডেটা বিতরণের সাথে আরও সামঞ্জস্যপূর্ণ প্রতিবেশী উৎপাদন করতে পারে २. সংখ্যালঘু শ্রেণীর জন্য বিশেষায়িত মূল্যায়ন: সবচেয়ে গুরুত্বপূর্ণ কিন্তু সবচেয়ে দুর্বল সংখ্যালঘু শ্রেণী নমুনায় ফোকাস করুন ३. সামঞ্জস্যতা মেট্রিক্সের প্রবর্তন: মূল ব্যাখ্যা এবং সমন্বিত ব্যাখ্যা তুলনা করে স্থানীয় সামঞ্জস্যতা মূল্যায়ন করুন ४. দূরত্ব-ওজনযুক্ত ব্যাখ্যা সমন্বয়: নমুনা মধ্যে দূরত্ব অনুযায়ী ব্যাখ্যা ওজনযুক্ত গড় করুন
তুষার পূর্বাভাস ডেটাসেট:
ব্যাখ্যা পদ্ধতি: १. Integrated Gradients: গ্রেডিয়েন্ট ইন্টিগ্রেশন-ভিত্তিক অ্যাট্রিবিউশন পদ্ধতি २. DeepLIFT: সক্রিয়করণ পার্থক্য প্রচার-ভিত্তিক পদ্ধতি ३. Layer-wise Relevance Propagation (LRP): স্তর-অনুযায়ী প্রাসঙ্গিকতা প্রচার ४. Ensemble পদ্ধতি: উপরোক্ত তিনটি পদ্ধতির ওজনযুক্ত সমন্বয়
প্রতিবেশী উৎপাদন তুলনা:
| ডেটাসেট | সংখ্যাগুরু শ্রেণী F१ | সংখ্যালঘু শ্রেণী F१ | সংখ্যালঘু শ্রেণী নমুনা সংখ্যা |
|---|---|---|---|
| প্রশিক্ষণ সেট | १.०० | ०.६६ | ~२,५०० |
| যাচাইকরণ সেট | १.०० | ०.५० | ~४५० |
| পরীক্ষা সেট | १.०० | ०.५१ | ~३०० |
| পদ্ধতি | শক্তিশালীতা | সামঞ্জস্যতা |
|---|---|---|
| Integrated Gradients | ८९.३४% (±८.३५%) | ९७.५६% (±३.५८%) |
| DeepLIFT | ९७.६९% (±२.२६%) | ९९.४०% (±१.५१%) |
| LRP | ७६.७७% (±१५.७०%) | ८९.८६% (±१९.९५%) |
| Ensemble | ७९.०३% (±१२.५६%) | ८९.२०% (±१३.७३%) |
१. প্রতিবেশী উৎপাদন পদ্ধতির গুরুত্ব: medoid-ভিত্তিক পদ্ধতি র্যান্ডম শব্দের তুলনায় সংখ্যালঘু শ্রেণীতে উল্লেখযোগ্যভাবে ভাল কর্মক্ষমতা প্রদর্শন করে २. DeepLIFT সর্বোত্তম কর্মক্ষমতা: শক্তিশালীতা এবং সামঞ্জস্যতা উভয় মেট্রিক্সে সর্বোচ্চ স্কোর এবং সর্বনিম্ন মান বিচ্যুতি অর্জন করে ३. LRP এর অস্থিরতা: গ্রেডিয়েন্ট অদৃশ্য সমস্যার কারণে, LRP সবচেয়ে অস্থির কর্মক্ষমতা প্রদর্শন করে ४. সংখ্যালঘু শ্রেণীর দুর্বলতা: সংখ্যালঘু শ্রেণী ব্যাখ্যা সংখ্যাগুরু শ্রেণী ব্যাখ্যার চেয়ে প্রতিবেশী উৎপাদন পদ্ধতির প্রভাবের জন্য আরও সহজ
র্যান্ডম প্রতিবেশী উৎপাদন এবং medoid-ভিত্তিক প্রতিবেশী উৎপাদনের তুলনা করে প্রমাণ করে:
বিদ্যমান কাজের তুলনায়, এই পেপার প্রথমবারের মতো অসন্তুলিত ডেটাসেটে XAI পদ্ধতির নির্ভরযোগ্যতা সমস্যা সিস্টেমেটিকভাবে অধ্যয়ন করে এবং একটি বিশেষায়িত মূল্যায়ন কাঠামো প্রস্তাব করে।
१. অসন্তুলিত ডেটাসেটে ব্যাখ্যা নির্ভরযোগ্যতা একটি গুরুত্বপূর্ণ কিন্তু উপেক্ষিত সমস্যা २. সংখ্যালঘু শ্রেণী ব্যাখ্যার জন্য বিশেষ মূল্যায়ন পদ্ধতির প্রয়োজন, ঐতিহ্যবাহী পদ্ধতি বিভ্রান্তিকর ফলাফল উৎপাদন করতে পারে ३. বহুগুণ-ভিত্তিক প্রতিবেশী উৎপাদন মূল্যায়নের নির্ভরযোগ্যতা উল্লেখযোগ্যভাবে উন্নত করতে পারে ४. DeepLIFT তুষার পূর্বাভাস কাজে সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে, উচ্চ শক্তিশালীতা এবং সামঞ্জস্যতা সহ
१. পদ্ধতি এখনও প্রাথমিক পর্যায়ে রয়েছে: আরও ডেটাসেট এবং পরিস্থিতিতে যাচাইকরণের প্রয়োজন २. শুধুমাত্র ট্যাবুলার ডেটা বিবেচনা করা হয়েছে: চিত্র, পাঠ্য এবং অন্যান্য ডেটা ধরনের সাথে জড়িত নয় ३. মূল্যায়ন মেট্রিক্সের সীমাবদ্ধতা: বর্তমান মেট্রিক্স ব্যাখ্যার গুণমান সম্পূর্ণভাবে ক্যাপচার করতে পারে না ४. গণনা ওভারহেড: প্রতিটি নমুনার জন্য বড় সংখ্যক প্রতিবেশী উৎপাদন গণনা খরচ বৃদ্ধি করে
१. বিভিন্ন অসন্তুলন অনুপাতে সম্প্রসারণ: বিভিন্ন অসন্তুলন মাত্রায় পদ্ধতির কর্মক্ষমতা অধ্যয়ন করুন २. মাল্টিমোডাল ডেটা: চিত্র, পাঠ্য এবং অন্যান্য ডেটা ধরনে পদ্ধতি সম্প্রসারণ করুন ३. অনিশ্চয়তা বিশ্লেষণ: অনিশ্চয়তা পরিমাণকরণ একত্রিত করে সংখ্যালঘু শ্রেণী মূল্যায়ন উন্নত করুন ४. স্থানকালীন ডেটা: স্থানকালীন মাত্রার বিশেষ বৈশিষ্ট্য বিবেচনা করুন
१. সমস্যার গুরুত্ব: XAI ক্ষেত্রে একটি গুরুত্বপূর্ণ কিন্তু উপেক্ষিত সমস্যায় মনোযোগ দেয় २. পদ্ধতির উদ্ভাবনী: লক্ষ্যবস্তু মূল্যায়ন কাঠামো প্রস্তাব করে, তাত্ত্বিক ভিত্তি সহ ३. পরীক্ষার সম্পূর্ণতা: বাস্তব পরিস্থিতিতে যাচাই করা হয়, বাস্তব প্রয়োগ মূল্য রয়েছে ४. লেখার স্পষ্টতা: পেপার কাঠামো স্পষ্ট, পদ্ধতি বর্ণনা বিস্তারিত
१. পরীক্ষার স্কেল সীমিত: শুধুমাত্র একটি ডেটাসেটে যাচাই করা হয়েছে, সর্বজনীনতা প্রমাণের অভাব २. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: পদ্ধতির তাত্ত্বিক বৈশিষ্ট্যের গভীর বিশ্লেষণের অভাব ३. বেসলাইন পদ্ধতির সীমাবদ্ধতা: অসন্তুলিত ডেটা পরিচালনার জন্য বিশেষায়িত অন্যান্য XAI পদ্ধতির সাথে তুলনা নেই ४. মূল্যায়ন মেট্রিক্স একক: প্রধানত সম্পর্ক মেট্রিক্সের উপর নির্ভর করে, ব্যাখ্যার গুণমান সম্পূর্ণভাবে প্রতিফলিত করতে পারে না
१. একাডেমিক অবদান: অসন্তুলিত ডেটায় XAI প্রয়োগের জন্য নতুন চিন্তাভাবনা প্রদান করে २. বাস্তব মূল্য: উচ্চ-ঝুঁকিপূর্ণ প্রয়োগে XAI স্থাপনার জন্য নির্দেশনা প্রদান করে ३. পুনরুৎপাদনযোগ্যতা: কোড খোলা উৎস, পুনরুৎপাদন এবং সম্প্রসারণ সহজ করে
পেপারটি XAI ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
সামগ্রিক মূল্যায়ন: এটি একটি গুরুত্বপূর্ণ বাস্তব সমস্যায় মনোযোগ দেওয়া প্রাথমিক গবেষণা কাজ। যদিও পরীক্ষার স্কেল এবং তাত্ত্বিক গভীরতায় উন্নতির জায়গা রয়েছে, তবে এটি অসন্তুলিত ডেটাসেটে XAI নির্ভরযোগ্যতা মূল্যায়নের জন্য গবেষণার একটি নতুন দিক খুলে দেয় এবং ভাল প্রয়োগ সম্ভাবনা রয়েছে।