আর্থিক ক্ষেত্রের মেশিন লার্নিং মডেলগুলি মডেল ড্রিফ্টের প্রভাবের জন্য অত্যন্ত সংবেদনশীল, যেখানে ডেটা বিতরণ পরিবর্তনের সময় পূর্বাভাসমূলক কর্মক্ষমতা হ্রাস পায়। এই সমস্যাটি উন্নয়নশীল অর্থনীতিতে বিশেষভাবে গুরুতর, বিশেষত মধ্য এশিয়া এবং ককেশাস অঞ্চলে (তাজিকিস্তান, উজবেকিস্তান, কাজাখস্তান এবং আজারবাইজান সহ), যেখানে ঘন ঘন এবং অপ্রত্যাশিত ম্যাক্রোইকোনমিক শক আর্থিক ডেটার স্থিতিশীলতা ব্যাহত করে। লেখকদের জ্ঞান অনুযায়ী, এই অঞ্চলের আর্থিক ডেটাসেটে ড্রিফ্ট প্রশমন পদ্ধতি অধ্যয়ন করা এটি প্রথম গবেষণাগুলির মধ্যে একটি। এই পেপারটি সিন্থেটিক আউটলায়ার ব্যবহার করার একটি মৌলিকভাবে অন্বেষিত পদ্ধতি অধ্যয়ন করে যা অপ্রত্যাশিত শকের প্রতি মডেলের স্থিতিশীলতা উন্নত করতে। কার্যকারিতা মূল্যায়নের জন্য, লেখকরা একটি দ্বি-স্তরীয় কাঠামো প্রবর্তন করেছেন যা কর্মক্ষমতা হ্রাসের মাত্রা এবং শকের তীব্রতা উভয়ই পরিমাপ করে। ম্যাক্রোইকোনমিক টেবুলার ডেটাসেটে পরীক্ষা-নিরীক্ষা দেখায় যে অল্প সংখ্যক সিন্থেটিক আউটলায়ার যোগ করা সাধারণত বেসলাইন মডেলের তুলনায় স্থিতিশীলতা উন্নত করে, যদিও সর্বোত্তম সংখ্যা ডেটাসেট এবং মডেল অনুযায়ী পরিবর্তিত হয়।
এই গবেষণা আর্থিক মেশিন লার্নিং মডেলের মডেল ড্রিফ্ট সমস্যা সমাধান করে যখন বিতরণ পরিবর্তনের সম্মুখীন হয়, বিশেষত উন্নয়নশীল অর্থনীতিতে ঘন ঘন ম্যাক্রোইকোনমিক শকের কারণে মডেল কর্মক্ষমতার তীব্র হ্রাস।
১. অর্থনৈতিক প্রভাব গুরুতর: উন্নয়নশীল অর্থনীতিতে, মডেল ব্যর্থতার খরচ অত্যন্ত বেশি হতে পারে, বিশেষত ঋণ ঝুঁকি মূল্যায়নের মতো গুরুত্বপূর্ণ আর্থিক প্রয়োগে २. শক ঘন ঘন এবং অপ্রত্যাশিত: মধ্য এশিয়া এবং ককেশাস অঞ্চল প্রায়শই বাণিজ্য সংঘর্ষ, সশস্ত্র সংঘর্ষ ইত্যাদি বাহ্যিক শকের সম্মুখীন হয়, যা ডেটা বিতরণে তীব্র পরিবর্তন ঘটায় ३. গবেষণা ফাঁক: বিদ্যমান মডেল ড্রিফ্ট গবেষণা প্রধানত পরিপক্ক আর্থিক বাজারে কেন্দ্রীভূত, উন্নয়নশীল অর্থনীতিতে মনোযোগ অপর্যাপ্ত
१. প্যাসিভ প্রতিক্রিয়া: ঐতিহ্যবাহী পদ্ধতি যেমন মনিটরিং মেট্রিক্স, পুনরায় প্রশিক্ষণ ইত্যাদি সবই ড্রিফ্ট ঘটার পরে পদক্ষেপ নেয় २. ডেটা নির্ভরতা: মডেল পুনরায় প্রশিক্ষণের জন্য বাস্তব-বিশ্বের ডেটার জন্য অপেক্ষা করতে হয় ३. আঞ্চলিক বিশেষত্ব অপর্যাপ্ত: উন্নয়নশীল অর্থনীতির বিশেষ পরিস্থিতির জন্য সমাধানের অভাব
লেখকরা একটি সক্রিয় কৌশল প্রস্তাব করেন, প্রশিক্ষণ পর্যায়ে সিন্থেটিক আউটলায়ার প্রবর্তন করে মডেলকে চরম পরিস্থিতিতে আগে থেকেই অভিযোজিত করতে, যা অজানা শকের সম্মুখীন হওয়ার সময় মডেলের শক্তিশালীতা বৃদ্ধি করে।
१. নতুন স্থিতিশীলতা মূল্যায়ন কাঠামো প্রস্তাব: স্থিতিশীলকরণ স্কোর (SS) এবং স্থিতিশীলকরণ উন্নতি (SU) দুটি মেট্রিক্স অন্তর্ভুক্ত করে, যা শকের অধীনে মডেলের স্থিতিশীলতা কর্মক্ষমতা পরিমাণ করতে পারে २. সিন্থেটিক আউটলায়ারের উদ্ভাবনী ব্যবহার: zGAN দ্বারা উৎপাদিত সিন্থেটিক আউটলায়ার ব্যবহার করে আকস্মিক শকের প্রতি মডেলের শক্তিশালীতা বৃদ্ধি করে ३. আঞ্চলিক গবেষণা ফাঁক পূরণ: মধ্য এশিয়া এবং ককেশাস অঞ্চলের আর্থিক ডেটাসেটে মডেল ড্রিফ্ট প্রশমন পদ্ধতি প্রথমবারের মতো সিস্টেমেটিকভাবে অধ্যয়ন করে ४. ওপেন সোর্স বাস্তবায়ন প্রদান: সম্পূর্ণ কোড, মেট্রিক্স এবং পরীক্ষা-নিরীক্ষা প্রকাশ করে, সিন্থেটিক ডেটা সহ
ইনপুট: আর্থিক টেবুলার ডেটা (ঋণ ঝুঁকি পূর্বাভাস কাজ) আউটপুট: বাইনারি শ্রেণীবিভাগ ফলাফল (ডিফল্ট/স্বাভাবিক) লক্ষ্য: বাহ্যিক শকের কারণে ডেটা বিতরণ পরিবর্তনের সম্মুখীন হওয়ার সময় মডেল পূর্বাভাসের কর্মক্ষমতার স্থিতিশীলতা বজায় রাখা
শক ডেটা উৎপাদন প্রক্রিয়ায় বৈশিষ্ট্য বিতরণে তাৎক্ষণিক উল্লেখযোগ্য পরিবর্তন ঘটায় এমন আকস্মিক ঘটনা হিসাবে সংজ্ঞায়িত। বিতরণ পরিবর্তন (DS) নিম্নলিখিত সূত্র দ্বারা গণনা করা হয়:
যেখানে C এবং N যথাক্রমে শ্রেণীবিভাগ এবং সংখ্যাসূচক বৈশিষ্ট্য প্রতিনিধিত্ব করে, এবং যথাক্রমে মোট পরিবর্তন দূরত্ব এবং কলমোগোরভ-স্মিরনভ পরিসংখ্যান।
ড্রিফ্টের অধীনে পূর্বাভাসমূলক কর্মক্ষমতা বজায় রাখার মডেলের ক্ষমতা পরিমাণ করে:
যেখানে এবং যথাক্রমে বেসলাইন এবং শক ডেটায় মডেল কর্মক্ষমতা প্রতিনিধিত্ব করে।
ড্রিফ্টের অধীনে দুটি মডেলের আপেক্ষিক সুবিধা তুলনা করে:
যেখানে ওজন সিগময়েড ফাংশনের মাধ্যমে গণনা করা হয়, মডেলের অভ্যন্তরীণ স্থিতিশীলতা এবং আপেক্ষিক উৎকর্ষতা বিবেচনা করে।
zGAN জেনারেটর ব্যবহার করে, যা অন্তর্ভুক্ত করে:
१. সক্রিয় স্থিতিশীলকরণ কৌশল: ড্রিফ্ট ঘটার পরে প্রতিক্রিয়া জানানোর অপেক্ষা না করে, প্রশিক্ষণ পর্যায়ে মডেলকে চরম পরিস্থিতির সাথে যোগাযোগ করায় २. দ্বি-স্তরীয় মূল্যায়ন কাঠামো: SS একক মডেল স্থিতিশীলতা পরিমাপ করে, SU মডেলের মধ্যে আপেক্ষিক সুবিধা তুলনা করে ३. আঞ্চলিক বিশেষত্ব ডিজাইন: উন্নয়নশীল অর্থনীতির ম্যাক্রোইকোনমিক শকের বৈশিষ্ট্যের জন্য পদ্ধতি ডিজাইন করা ४. অ-একঘেয়ে অপ্টিমাইজেশন: সর্বোত্তম আউটলায়ার অনুপাত সাধারণত ৫-१०% এ থাকে, যত বেশি তত ভাল নয় এমন আবিষ্কার
পরীক্ষা-নিরীক্ষা ৫টি উন্নয়নশীল অর্থনীতির ব্যক্তিগত ঋণ ঝুঁকি ডেটাসেট ব্যবহার করেছে:
সমস্ত কাজ বাইনারি ডিফল্ট পূর্বাভাস, শ্রেণী অসন্তুলন (প্রায় २-१२%)।
८টি মেশিন লার্নিং মডেল পরীক্ষা করা হয়েছে:
টেবিল १ এর সেরা ফলাফল অনুযায়ী:
१. নমনীয় স্থাপত্য সবচেয়ে বেশি উপকৃত: TabPFN এবং FT-Transformer সাধারণত শকের অধীনে সর্বোচ্চ SU মান অর্জন করে २. আউটলায়ার অনুপাত অ-একঘেয়ে: মধ্যম ইনজেকশন পরিমাণ (५-१०%) প্রায়শই SU সর্বাধিক করে, খুব ছোট বা বড় উভয়ই লাভ দুর্বল করে ३. লাভ শক শক্তির সাথে সম্পর্কিত: DS উচ্চতর ডেটাসেটে (A1, A9) উন্নতি সর্বাধিক, DS সর্বনিম্ন হলে (A4, A6) উন্নতি সীমিত
সমস্ত মডেল-ডেটাসেট জোড়ায়:
তাজিকিস্তান ডেটাসেটের "tjs/usd" বিনিময় হার বৈশিষ্ট্য বিশ্লেষণ থেকে দেখা যায়:
ঐতিহ্যবাহী পদ্ধতি ADWIN অ্যালগরিদম, বর্ধমান শিক্ষা, স্লাইডিং উইন্ডো ইত্যাদি অন্তর্ভুক্ত করে, প্রধানত প্যাসিভ প্রতিক্রিয়া কৌশল।
সম্পর্কিত কাজ TabOOD ফ্রেমওয়ার্ক বিতরণ বাইরে টেবুলার নমুনা উৎপাদন এবং ব্যবসায়িক প্রক্রিয়ায় ড্রিফ্ট সনাক্তকরণের জন্য সিন্থেটিক ডেটা অন্তর্ভুক্ত করে, কিন্তু ড্রিফ্ট প্রশমনের জন্য সিন্থেটিক আউটলায়ারের লক্ষ্যবস্তু ব্যবহার সম্পর্কিত গবেষণা এখনও বিরল।
१. সিন্থেটিক আউটলায়ার কার্যকর: বেশিরভাগ ক্ষেত্রে আকস্মিক শকের অধীনে মডেলের স্থিতিশীলতা উন্নত করতে পারে २. সর্বোত্তম অনুপাত বিদ্যমান: সাধারণত ५-१०% পরিসরে, চরম মূল্য এক্সপোজার এবং ডেটা গুণমান ভারসাম্য প্রয়োজন ३. স্থাপত্য সংবেদনশীলতা: নমনীয় নিউরাল নেটওয়ার্ক স্থাপত্য ঐতিহ্যবাহী গাছ মডেলের চেয়ে আউটলায়ার তথ্য আরও ভালভাবে ব্যবহার করতে পারে ४. আঞ্চলিক প্রযোজ্যতা: পদ্ধতি উন্নয়নশীল অর্থনীতির একাধিক দেশের ডেটাসেটে কার্যকারিতা প্রদর্শন করে
१. সর্বজনীন নিয়ম অনুপস্থিত: সর্বোত্তম আউটলায়ার শতাংশ নির্বাচনের জন্য সর্বজনীন পদ্ধতি খুঁজে পায়নি २. ডেটাসেট সীমাবদ্ধতা: প্রধানত ঋণ ঝুঁকি কাজে যাচাই করা, অন্যান্য আর্থিক কাজের প্রযোজ্যতা অজানা ३. শক প্রকার সীমাবদ্ধতা: প্রধানত ম্যাক্রোইকোনমিক শকের জন্য, অন্যান্য প্রকার ড্রিফ্টের প্রভাব অস্পষ্ট ४. গণনা ওভারহেড: অতিরিক্ত জেনারেটিভ মডেল প্রশিক্ষণ গণনা খরচ বৃদ্ধি করে
१. স্বয়ংক্রিয় আউটলায়ার অনুপাত: সর্বোত্তম আউটলায়ার অনুপাত স্বয়ংক্রিয়ভাবে নির্ধারণ করতে পারে এমন হিউরিস্টিক পদ্ধতি বিকাশ করা २. বহু-প্রকার শক: আরও বেশি প্রকার বিতরণ পরিবর্তন পরিস্থিতিতে সম্প্রসারণ করা ३. রিয়েল-টাইম অভিযোজন: অনলাইন শিক্ষার সাথে সংমিশ্রণ করে গতিশীল সমন্বয় বাস্তবায়ন করা ४. তাত্ত্বিক বিশ্লেষণ: আরও গভীর তাত্ত্বিক গ্যারান্টি এবং বিশ্লেষণ প্রদান করা
१. সমস্যার গুরুত্ব বিশিষ্ট: উন্নয়নশীল অর্থনীতি এই উপেক্ষিত কিন্তু গুরুত্বপূর্ণ প্রয়োগ পরিস্থিতিতে ফোকাস করে २. পদ্ধতি উদ্ভাবন শক্তিশালী: সক্রিয় আউটলায়ার ইনজেকশন কৌশল নতুনত্ব এবং ব্যবহারিক মূল্য রাখে ३. মূল্যায়ন কাঠামো সম্পূর্ণ: SS এবং SU মেট্রিক্স ডিজাইন যুক্তিসঙ্গত, মডেল স্থিতিশীলতা ব্যাপক মূল্যায়ন করতে পারে ४. পরীক্ষা-নিরীক্ষা ডিজাইন কঠোর: ५१টি মন্টে কার্লো পুনরাবৃত্তি, একাধিক ডেটাসেট, একাধিক মডেল তুলনা পরীক্ষা ५. ওপেন সোর্স অবদান: সম্পূর্ণ কোড এবং ডেটা প্রদান করে, পুনরুৎপাদনযোগ্যতা বৃদ্ধি করে
१. ডেটাসেট গোপনীয়তা: মূল ডেটাসেট প্রকাশ্যে উপলব্ধ নয়, ফলাফলের যাচাইযোগ্যতা সীমিত করে २. তাত্ত্বিক ভিত্তি দুর্বল: আউটলায়ার কেন স্থিতিশীলতা উন্নত করতে পারে তার গভীর তাত্ত্বিক বিশ্লেষণ অনুপস্থিত ३. হাইপারপ্যারামিটার সংবেদনশীলতা: SU মেট্রিকের k1,k2,k3 পরামিতি নির্বাচন পর্যাপ্ত তাত্ত্বিক নির্দেশনা অনুপস্থিত ४. প্রযোজ্যতা পরিসীমা অস্পষ্ট: প্রধানত টেবুলার ডেটায় যাচাই করা, অন্যান্য ডেটা প্রকারের প্রযোজ্যতা অজানা ५. গণনা দক্ষতা: পদ্ধতির গণনা খরচ এবং স্কেলেবিলিটি বিশ্লেষণ অনুপস্থিত
१. একাডেমিক অবদান: মডেল ড্রিফ্ট গবেষণায় নতুন দৃষ্টিভঙ্গি এবং পদ্ধতি প্রদান করে
२. ব্যবহারিক মূল্য: উন্নয়নশীল অর্থনীতির আর্থিক প্রতিষ্ঠানের জন্য সরাসরি প্রয়োগ মূল্য রাখে
३. পদ্ধতি অনুপ্রেরণা: সক্রিয় স্থিতিশীলকরণ কৌশল আরও সম্পর্কিত গবেষণা অনুপ্রাণিত করতে পারে
४. ডেটাসেট মূল্য: গোপনীয় হলেও, অঞ্চলের গবেষণার জন্য গুরুত্বপূর্ণ অভিজ্ঞতামূলক ভিত্তি প্রদান করে
१. উন্নয়নশীল অর্থনীতির আর্থিক প্রতিষ্ঠান: বিশেষত ঘন ঘন বাহ্যিক শকের সম্মুখীন আর্থিক পরিবেশের জন্য উপযুক্ত २. ঋণ ঝুঁকি ব্যবস্থাপনা: ডিফল্ট পূর্বাভাস ইত্যাদি গুরুত্বপূর্ণ কাজে মডেল শক্তিশালীতা উন্নত করে ३. ম্যাক্রোইকোনমিক অস্থিরতা অঞ্চল: যেকোনো রাজনৈতিক, অর্থনৈতিক অনিশ্চয়তার সম্মুখীন বাজার ४. সক্রিয় ঝুঁকি ব্যবস্থাপনা: প্রতিক্রিয়াশীল নয় বরং প্রতিরোধমূলক প্রয়োজন এমন পরিস্থিতি
পেপারটি ३१টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত করে:
१. মডেল ড্রিফ্ট মৌলিক গবেষণা: Hinder et al. (2024), Halstead et al. (2022) ইত্যাদি ধারণা ড্রিফ্ট সম্পর্কিত সমীক্ষা কাজ २. ড্রিফ্ট সনাক্তকরণ পদ্ধতি: ADWIN অ্যালগরিদম (Bifet & Gavaldà, 2007), অনলাইন শিক্ষা পদ্ধতি ইত্যাদি ३. সিন্থেটিক ডেটা উৎপাদন: GAN সম্পর্কিত কাজ (Goodfellow et al., 2014), TabOOD ফ্রেমওয়ার্ক (Puranik et al., 2024) ४. মেশিন লার্নিং মডেল: CatBoost, XGBoost, LightGBM ইত্যাদি প্রধান মডেলের মূল পেপার ५. পরিসংখ্যানগত পদ্ধতি: চরম মূল্য তত্ত্ব (de Haan & Ferreira, 2006), কলমোগোরভ-স্মিরনভ পরীক্ষা ইত্যাদি
সামগ্রিক মূল্যায়ন: এটি গুরুত্বপূর্ণ কিন্তু উপেক্ষিত প্রয়োগ ক্ষেত্রে (উন্নয়নশীল অর্থনীতির আর্থিক স্থিতিশীলতা) উদ্ভাবনী সমাধান প্রস্তাব করা একটি উচ্চ মানের পেপার। পদ্ধতি নতুন, পরীক্ষা-নিরীক্ষা পর্যাপ্ত, ব্যবহারিক প্রয়োগের জন্য গুরুত্বপূর্ণ মূল্য রাখে, কিন্তু তাত্ত্বিক গভীরতা এবং সর্বজনীনতায় উন্নতির অবকাশ রয়েছে।