Beyond single-model XAI: aggregating multi-model explanations for enhanced trustworthiness
Vascotto, Rodriguez, Bonaita et al.
The use of Artificial Intelligence (AI) models in real-world and high-risk applications has intensified the discussion about their trustworthiness and ethical usage, from both a technical and a legislative perspective. The field of eXplainable Artificial Intelligence (XAI) addresses this challenge by proposing explanations that bring to light the decision-making processes of complex black-box models. Despite being an essential property, the robustness of explanations is often an overlooked aspect during development: only robust explanation methods can increase the trust in the system as a whole. This paper investigates the role of robustness through the usage of a feature importance aggregation derived from multiple models ($k$-nearest neighbours, random forest and neural networks). Preliminary results showcase the potential in increasing the trustworthiness of the application, while leveraging multiple model's predictive power.
academic
একক-মডেল XAI এর বাইরে: উন্নত বিশ্বাসযোগ্যতার জন্য বহু-মডেল ব্যাখ্যা সমন্বয়
কৃত্রিম বুদ্ধিমত্তা মডেলগুলি বাস্তব-বিশ্বের উচ্চ-ঝুঁকিপূর্ণ অ্যাপ্লিকেশনে ব্যাপকভাবে ব্যবহৃত হওয়ার সাথে সাথে, এর বিশ্বাসযোগ্যতা এবং নৈতিক ব্যবহার প্রযুক্তিগত এবং আইনি উভয় দৃষ্টিকোণ থেকে ক্রমবর্ধমান মনোযোগ পাচ্ছে। ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা (XAI) ক্ষেত্র জটিল ব্ল্যাক-বক্স মডেলগুলির সিদ্ধান্ত গ্রহণের প্রক্রিয়া প্রকাশ করার জন্য ব্যাখ্যা প্রদান করে এই চ্যালেঞ্জটি মোকাবেলা করে। যদিও দৃঢ়তা একটি গুরুত্বপূর্ণ বৈশিষ্ট্য, এটি উন্নয়ন প্রক্রিয়ায় প্রায়শই উপেক্ষা করা হয়: শুধুমাত্র দৃঢ় ব্যাখ্যা পদ্ধতি সম্পূর্ণ সিস্টেমের প্রতি বিশ্বাস বৃদ্ধি করতে পারে। এই পেপারটি একাধিক মডেল (k-নিকটতম প্রতিবেশী, র্যান্ডম ফরেস্ট এবং নিউরাল নেটওয়ার্ক) থেকে সমন্বিত বৈশিষ্ট্য গুরুত্ব ব্যবহার করে দৃঢ়তার ভূমিকা অনুসন্ধান করে। প্রাথমিক ফলাফলগুলি একাধিক মডেলের পূর্বাভাস ক্ষমতা ব্যবহার করার সময় প্রয়োগের বিশ্বাসযোগ্যতা উন্নত করার সম্ভাবনা প্রদর্শন করে।
এই গবেষণা যে মূল সমস্যাটি সমাধান করতে চায় তা হল বিদ্যমান XAI পদ্ধতির দুটি মূল ত্রুটি:
ব্যাখ্যা দৃঢ়তার অভাব: LIME এবং SHAP এর মতো জনপ্রিয় ব্যাখ্যা পদ্ধতিগুলি একাধিক গবেষণায় দৃঢ়তার অভাব প্রমাণিত হয়েছে, তবুও উচ্চ-ঝুঁকিপূর্ণ পরিস্থিতিতে ব্যাপকভাবে প্রয়োগ করা হয়
ব্যাখ্যা বিচ্ছিন্নতা সমস্যা: যখন একাধিক ব্যাখ্যা পদ্ধতি একই উদাহরণে প্রয়োগ করা হয় তখন পরস্পর বিরোধী ব্যাখ্যা তৈরি হয়, ব্যাখ্যার সত্য মান মানদণ্ডের অভাবে সর্বোত্তম পদ্ধতি নির্বাচন করা যায় না
GDPR এবং AI আইনের মতো আইনি প্রয়োজনীয়তা মডেল স্বচ্ছতার সাথে, ব্যাখ্যার বিশ্বাসযোগ্যতা অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠেছে। শুধুমাত্র ব্যাখ্যায় বিশ্বাসের মাধ্যমে মডেল নিজেই প্রতি বিশ্বাস প্রতিষ্ঠা করা যায়, যা উচ্চ-ঝুঁকিপূর্ণ অ্যাপ্লিকেশনে বিশেষভাবে গুরুত্বপূর্ণ।
নিউরাল নেটওয়ার্ক সমন্বয় ব্যাখ্যায় পূর্ববর্তী কাজের উপর ভিত্তি করে, এই পেপারটি পদ্ধতিটি বিভিন্ন বিভাগের মডেলগুলিতে প্রসারিত করার প্রস্তাব দেয়, যার লক্ষ্য বিভিন্ন সিদ্ধান্ত গ্রহণের প্রক্রিয়ার ব্যাখ্যা সমন্বয়ের মাধ্যমে সিস্টেমের সামগ্রিক বিশ্বাসযোগ্যতা বৃদ্ধি করা।
এই পেপারটি সারণীবদ্ধ ডেটার দ্বিমুখী শ্রেণীবিভাগ কাজে ফোকাস করে, লক্ষ্য হল প্রতিটি পূর্বাভাস উদাহরণের জন্য বিশ্বাসযোগ্য বৈশিষ্ট্য গুরুত্ব ব্যাখ্যা তৈরি করা। ইনপুট হল সারণীবদ্ধ ডেটা উদাহরণ, আউটপুট হল স্বাভাবিকীকৃত বৈশিষ্ট্য অ্যাট্রিবিউশন ভেক্টর।
সমস্ত মডেল সমস্ত ডেটাসেটে 80% এর উপরে নির্ভুলতা অর্জন করে (HELOC এ k-NN 75.51% ছাড়া)। নিউরাল নেটওয়ার্ক জটিল ডেটাসেটে সর্বোত্তম পারফরম্যান্স করে, র্যান্ডম ফরেস্ট সহজ ডেটাসেটে সর্বোত্তম পারফরম্যান্স করে।
মডেল পূর্বাভাস সামঞ্জস্য এবং প্রতিবেশ আকারের সম্পর্ক অনুমান যাচাই করে: যখন তিনটি মডেল পূর্বাভাস সামঞ্জস্যপূর্ণ হয়, সাধারণত বৃহত্তর প্রতিবেশ আকার পাওয়া যায়, যা নির্দেশ করে যে অঞ্চলটি আরও ভাল ব্যাখ্যা দৃঢ়তা রয়েছে।
পরিশিষ্ট ফলাফল দেখায় যে LIME এবং SHAP এর দৃঢ়তা স্কোর 0.5 থ্রেশহোল্ডের নিচে অনেক দূরে, সাহিত্যে এই পদ্ধতিগুলির অস্থিরতা সম্পর্কে অনুসন্ধান যাচাই করে, তাদের বাদ দেওয়ার সিদ্ধান্তকে সমর্থন করে।
পেপারটি XAI ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যার মধ্যে রয়েছে:
LIME এবং SHAP এর মূল পেপার এবং তাদের দৃঢ়তা সমালোচনা
DeepLIFT, Integrated Gradients এবং অন্যান্য নিউরাল নেটওয়ার্ক ব্যাখ্যা পদ্ধতি
সম্পর্কিত দৃঢ়তা মূল্যায়ন এবং ব্যাখ্যা সমন্বয় গবেষণা
GDPR এবং EU AI আইনের মতো আইনি নথি
সামগ্রিক মূল্যায়ন: এটি XAI দৃঢ়তা গবেষণা দিকনির্দেশনায় গুরুত্বপূর্ণ অবদান সহ একটি পেপার। যদিও পদ্ধতি অপেক্ষাকৃত সহজ, এটি ব্যবহারিক গুরুত্বপূর্ণ সমস্যা সমাধান করে এবং বিশ্বাসযোগ্য AI উন্নয়নের জন্য মূল্যবান সরঞ্জাম প্রদান করে। পেপারের প্রধান মূল্য মডেল প্রকার জুড়ে ব্যাখ্যা সমন্বয় গবেষণা দিকনির্দেশনা উদ্ভাবন করা এবং সিস্টেমেটিক মূল্যায়ন কাঠামো প্রদান করা। ভবিষ্যত কাজের দিকনির্দেশনা স্পষ্ট, এই ক্ষেত্রের আরও উন্নয়নের জন্য ভিত্তি স্থাপন করে।