NiaAutoARM: সংযোজন নিয়ম খনন পাইপলাইনের স্বয়ংক্রিয় প্রজন্ম এবং মূল্যায়ন

মৌলিক তথ্য

• পেপার আইডি: 2501.00138
• শিরোনাম: NiaAutoARM: সংযোজন নিয়ম খনন পাইপলাইনের স্বয়ংক্রিয় প্রজন্ম এবং মূল্যায়ন
• লেখক: Uroš Mlakar, Iztok Fister Jr., Iztok Fister (মারিবোর বিশ্ববিদ্যালয়, স্লোভেনিয়া)
• শ্রেণীবিভাগ: cs.NE (নিউরাল এবং বিবর্তনীয় গণনা), cs.AI (কৃত্রিম বুদ্ধিমত্তা)
• প্রকাশনার সময়: ২০২৪ সালের ৩০ ডিসেম্বর (arXiv প্রাক-প্রিন্ট)
• পেপার লিঙ্ক: https://arxiv.org/abs/2501.00138

সারসংক্ষেপ

সংখ্যাসূচক সংযোজন নিয়ম খনন (Numerical Association Rule Mining, NARM) প্যারাডাইম সংখ্যাসূচক এবং বিভাগীয় উভয় বৈশিষ্ট্য একযোগে পরিচালনা করতে পারে, যা উভয় ধরনের বৈশিষ্ট্য সম্পন্ন ডেটাসেট থেকে সংযোজন সম্পর্ক আবিষ্কারের জন্য অত্যন্ত উপকারী। তবে এই প্রক্রিয়াটি সহজ নয়, কারণ এতে সম্পূর্ণ পাইপলাইন গঠনের জন্য ক্রমানুসারে সম্পাদিত একাধিক প্রক্রিয়াকরণ পদক্ষেপ রয়েছে, যেমন পূর্ব-প্রক্রিয়াকরণ, অ্যালগরিদম নির্বাচন, হাইপারপ্যারামিটার অপ্টিমাইজেশন এবং সংযোজন নিয়মের গুণমান মূল্যায়নের জন্য মেট্রিক্স সংজ্ঞায়িত করা। এই পেপারটি NiaAutoARM নামক একটি উপন্যাস স্বয়ংক্রিয় মেশিন লার্নিং পদ্ধতি প্রস্তাব করে, যা র্যান্ডম জনসংখ্যা মেটাহিউরিস্টিক অ্যালগরিদমের উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে সম্পূর্ণ সংযোজন নিয়ম খনন পাইপলাইন তৈরি করে। পদ্ধতির তাত্ত্বিক উপস্থাপনা ছাড়াও, পেপারটি প্রস্তাবিত পদ্ধতির একটি ব্যাপক পরীক্ষামূলক মূল্যায়ন প্রদান করে।

গবেষণা পটভূমি এবং প্রেরণা

১. সমস্যা সংজ্ঞা

সংযোজন নিয়ম খনন (ARM) হল লেনদেন ডেটাবেসে আইটেমগুলির মধ্যে সম্পর্ক আবিষ্কারের জন্য ব্যবহৃত একটি মেশিন লার্নিং পদ্ধতি। ঐতিহ্যবাহী ARM শুধুমাত্র বিভাগীয় বৈশিষ্ট্য পরিচালনার মধ্যে সীমাবদ্ধ, যখন সংখ্যাসূচক সংযোজন নিয়ম খনন (NARM) হল ARM এর একটি রূপান্তর যা সংখ্যাসূচক এবং বিভাগীয় উভয় বৈশিষ্ট্য একযোগে পরিচালনা করতে পারে, যা ঐতিহ্যবাহী ARM এর বাধা দূর করে।

২. সমস্যার গুরুত্ব

• গণতান্ত্রিকীকরণের প্রয়োজনীয়তা: স্বয়ংক্রিয় মেশিন লার্নিং (AutoML) অ-বিশেষজ্ঞ ব্যবহারকারীদেরও ML পদ্ধতি ব্যবহার করতে সক্ষম করার লক্ষ্য রাখে, "মানুষ-লুপে" নীতি এড়ায়
• জটিলতার চ্যালেঞ্জ: ARM পাইপলাইনে একাধিক জটিল উপাদান রয়েছে: ডেটা পূর্ব-প্রক্রিয়াকরণ, অ্যালগরিদম নির্বাচন, হাইপারপ্যারামিটার অপ্টিমাইজেশন, মূল্যায়ন মেট্রিক্স নির্বাচন এবং মূল্যায়ন
• সর্বজনীন সমাধান নেই: No Free Lunch উপপাদ্য অনুযায়ী, সমস্ত ডেটাসেটের জন্য প্রযোজ্য কোনও সর্বজনীন ARM মেটাহিউরিস্টিক অ্যালগরিদম নেই

৩. বিদ্যমান পদ্ধতির সীমাবদ্ধতা

• ARM পাইপলাইন ম্যানুয়ালি তৈরি করতে ব্যাপক মানব হস্তক্ষেপ প্রয়োজন, যা সময়সাপেক্ষ এবং জটিল
• বিদ্যমান গবেষণা ARM পূর্ব-প্রক্রিয়াকরণ পদক্ষেপগুলিতে পর্যাপ্ত মনোযোগ দেয় না
• ARM পাইপলাইন স্বয়ংক্রিয় নির্মাণের জন্য বিশেষায়িত AutoML পদ্ধতির অভাব রয়েছে

৪. গবেষণা প্রেরণা

NiaAML পদ্ধতির অনুপ্রেরণার উপর ভিত্তি করে, ARM পাইপলাইন নির্মাণ সমস্যাকে একটি ক্রমাগত অপ্টিমাইজেশন সমস্যা হিসাবে মডেল করা হয়েছে, জনসংখ্যা মেটাহিউরিস্টিক অ্যালগরিদম ব্যবহার করে সর্বোত্তম পাইপলাইন কনফিগারেশন স্বয়ংক্রিয়ভাবে অনুসন্ধান করা হয়।

মূল অবদান

১. প্রথমবারত্ব: ARM পাইপলাইন স্বয়ংক্রিয় অনুসন্ধানের জন্য প্রথম AutoML সমাধান প্রস্তাব করা, স্বয়ংক্রিয় অনুসন্ধানকে অপ্টিমাইজেশন সমস্যা হিসাবে উপস্থাপন করা २. পূর্ব-প্রক্রিয়াকরণ ফোকাস: ARM পূর্ব-প্রক্রিয়াকরণ পদক্ষেপে বিশেষ মনোযোগ, সাম্প্রতিক গবেষণা কাজের অভাব পূরণ করা ३. বাস্তবায়ন কাঠামো: NiaAutoARM নামক একটি Python প্যাকেজ বাস্তবায়ন, সম্পূর্ণ ব্যবহারিক সরঞ্জাম প্রদান করা ४. ব্যাপক মূল্যায়ন: একাধিক ডেটাসেটে প্রস্তাবিত পদ্ধতির কঠোর পরীক্ষামূলক মূল্যায়ন

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

ARM পাইপলাইন নির্মাণকে একটি ক্রমাগত অপ্টিমাইজেশন সমস্যা হিসাবে সংজ্ঞায়িত করা হয়েছে, যেখানে প্রতিটি ব্যক্তি একটি সম্ভাব্য ARM পাইপলাইন কনফিগারেশন প্রতিনিধিত্ব করে, যার মধ্যে রয়েছে:

• অ্যালগরিদম নির্বাচন
• হাইপারপ্যারামিটার সেটিংস
• পূর্ব-প্রক্রিয়াকরণ পদ্ধতি
• মূল্যায়ন মেট্রিক্স এবং ওজন

মডেল আর্কিটেকচার

১. সমাধান প্রতিনিধিত্ব

প্রতিটি ব্যক্তি $x_i^{(t)}$ এভাবে প্রতিনিধিত্ব করা হয়:

$x_i^{(t)} = \langle x_{i,1}^{(t)}, y_{i,1}^{(t)}, y_{i,2}^{(t)}, p_{i,1}^{(t)}, \ldots, p_{i,P}^{(t)}, z_{i,1}^{(t)}, \ldots, z_{i,M}^{(t)}, w_{i,1}^{(t)}, \ldots, w_{i,M}^{(t)} \rangle$

যেখানে:

• $x_{i,1}^{(t)}$: অ্যালগরিদম নির্বাচন
• $y_{i,1}^{(t)}, y_{i,2}^{(t)}$: হাইপারপ্যারামিটার (জনসংখ্যার আকার NP, সর্বাধিক মূল্যায়ন সংখ্যা MAXFES)
• $p_{i,1}^{(t)}, \ldots, p_{i,P}^{(t)}$: পূর্ব-প্রক্রিয়াকরণ পদ্ধতি
• $z_{i,1}^{(t)}, \ldots, z_{i,M}^{(t)}$: মূল্যায়ন মেট্রিক্স
• $w_{i,1}^{(t)}, \ldots, w_{i,M}^{(t)}$: মেট্রিক্স ওজন

२. উপাদান ডিজাইন

অ্যালগরিদম পুল: PSO, DE, GA, LSHADE, ILSHADE, jDE সহ ৬টি মেটাহিউরিস্টিক অ্যালগরিদম অন্তর্ভুক্ত

পূর্ব-প্রক্রিয়াকরণ পদ্ধতি:

• Min-Max স্বাভাবিকীকরণ (MM)
• Z-Score স্বাভাবিকীকরণ (ZS)
• ডেটা সংকোচন (DS)
• উচ্চ সম্পর্কযুক্ত বৈশিষ্ট্য অপসারণ (RHC)
• K-means বিচ্ছিন্নকরণ (DK)

মূল্যায়ন মেট্রিক্স: সমর্থন, আত্মবিশ্বাস, কভারেজ, প্রশস্ততা, অন্তর্ভুক্তি, বোধগম্যতা

३. ফিটনেস ফাংশন

NiaAutoARM একটি ন্যায্যতা ফিটনেস ফাংশন ব্যবহার করে:

$f(x_i^{(t)}) = \frac{\alpha \cdot supp(X \Rightarrow Y) + \beta \cdot conf(X \Rightarrow Y)}{\alpha + \beta}$

যেখানে α এবং β বিভিন্ন ARM মেট্রিক্সের সমাধান গুণমানের উপর প্রভাব প্রতিনিধিত্ব করে।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. দ্বি-স্তরীয় অপ্টিমাইজেশন কাঠামো: বাহ্যিক স্তরের মেটাহিউরিস্টিক অভ্যন্তরীণ স্তরের অ্যালগরিদমের আচরণ নিয়ন্ত্রণ করে, সর্বোত্তম কনফিগারেশন অনুসন্ধান করে २. স্ব-অভিযোজনশীল ওজন: ARM মেট্রিক্স ওজনের গতিশীল সমন্বয় সমর্থন করে ३. বহু-পূর্ব-প্রক্রিয়াকরণ সমন্বয়: একাধিক পূর্ব-প্রক্রিয়াকরণ পদ্ধতির সমন্বয় নির্বাচন অনুমতি দেয় ४. ক্রমাগত অপ্টিমাইজেশন মডেলিং: বিচ্ছিন্ন পাইপলাইন নির্মাণ সমস্যাকে ক্রমাগত অপ্টিমাইজেশন সমস্যায় রূপান্তরিত করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

মূল্যায়নের জন্য ১০টি UCI মেশিন লার্নিং ডেটাসেট ব্যবহার করা হয়েছে:

মূল্যায়ন মেট্রিক্স

• ফিটনেস মান (সমর্থন এবং আত্মবিশ্বাসের ওজনযুক্ত গড়)
• উৎপন্ন নিয়মের সংখ্যা
• অ্যালগরিদম নির্বাচনের ফ্রিকোয়েন্সি
• পূর্ব-প্রক্রিয়াকরণ পদ্ধতি ব্যবহারের ফ্রিকোয়েন্সি

তুলনামূলক পদ্ধতি

VARDE (Variable-length Association Rule mining using Differential Evolution) সর্বশেষ অ্যালগরিদমের সাথে পরোক্ষ তুলনা।

বাস্তবায়ন বিবরণ

• বাহ্যিক স্তরের অ্যালগরিদম: DE এবং PSO
• জনসংখ্যার আকার: NP = ३०
• সর্বাধিক ফিটনেস মূল্যায়ন সংখ্যা: MAXFES = १०००
• স্বাধীন চালানোর সংখ্যা: ३० বার
• অভ্যন্তরীণ স্তরের অ্যালগরিদম হাইপারপ্যারামিটার পরিসীমা: NP ∈ १०, ३०, MAXFES ∈ २०००, १००००

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

१. ভিত্তি পরীক্ষা

• পূর্ব-প্রক্রিয়াকরণ নির্বাচন: Min-Max স্বাভাবিকীকরণ (MM), Z-Score স্বাভাবিকীকরণ (ZS) এবং কোনো পূর্ব-প্রক্রিয়াকরণ সবচেয়ে ঘন ঘন নির্বাচিত হয়
• মেট্রিক্স পছন্দ: সমর্থন এবং আত্মবিশ্বাস প্রায় সমস্ত পাইপলাইনে উপস্থিত থাকে
• অ্যালগরিদম নির্বাচন: PSO এবং jDE অভ্যন্তরীণ অপ্টিমাইজেশন অ্যালগরিদম হিসাবে সবচেয়ে ঘন ঘন নির্বাচিত হয়
• হাইপারপ্যারামিটার: জটিল ডেটাসেট (যেমন Buying, German, House16) উচ্চতর NP মান নির্বাচনের প্রবণতা দেখায়

२. ওজন স্ব-অভিযোজন পরীক্ষা

ARM মেট্রিক্স ওজন স্ব-অভিযোজন সক্ষম করার পরে:

• ফিটনেস মান সামান্য উন্নতি (যদিও Wilcoxon পরীক্ষা p মান=०.४१, পার্থক্য উল্লেখযোগ্য নয়)
• ওজন মান গতিশীল বিতরণ প্রদর্শন করে, সমর্থন এবং আত্মবিশ্বাস উচ্চতর ওজন বজায় রাখে
• প্রশস্ততা এবং বোধগম্যতা মেট্রিক্স ব্যবহারের ফ্রিকোয়েন্সি কম

३. বহু-পূর্ব-প্রক্রিয়াকরণ পদ্ধতি পরীক্ষা

একাধিক পূর্ব-প্রক্রিয়াকরণ পদ্ধতি নির্বাচনের অনুমতি দেওয়ার সময়:

• PSO: সবচেয়ে ঘন ঘন সমন্বয় {MM,RHC} এবং একক MM
• DE: সবচেয়ে ঘন ঘন সমন্বয় {RHC,ZS}, {MM,RHC,ZS} এবং একক RHC
• DE অ্যালগরিদম দ্বারা উৎপন্ন পাইপলাইনের ফিটনেস মান সামান্য বেশি, PSO আরও নিয়ম উৎপন্ন করে

४. VARDE এর সাথে তুলনা

Wilcoxon স্বাক্ষরিত র‍্যাঙ্ক পরীক্ষার ফলাফল দেখায়:

• একাধিক কনফিগারেশনে, NiaAutoARM দ্বারা উৎপন্ন পাইপলাইন VARDE এর চেয়ে উল্লেখযোগ্যভাবে ভাল
• বিশেষ করে ওজন স্ব-অভিযোজন এবং বহু-পূর্ব-প্রক্রিয়াকরণ পদ্ধতি সক্ষম করার সময় আরও ভাল পারফরম্যান্স

অ্যাবলেশন পরীক্ষা

বিভিন্ন বৈশিষ্ট্য ধাপে সক্ষম করে প্রতিটি উপাদানের অবদান যাচাই করা হয়েছে: १. ভিত্তি কনফিগারেশন (একক পূর্ব-প্রক্রিয়াকরণ, কোনো ওজন স্ব-অভিযোজন নেই) २. ওজন স্ব-অভিযোজন সক্ষম করা ३. বহু-পূর্ব-প্রক্রিয়াকরণ পদ্ধতি নির্বাচন সক্ষম করা

গণনামূলক জটিলতা বিশ্লেষণ

গড় সম্পাদন সময় १५,०००-४०,००० সেকেন্ডের পরিসরে, যদিও গণনামূলক জটিলতা বেশি, তবে স্বয়ংক্রিয়করণ দ্বারা আনা সুবিধা বিবেচনা করে এটি একটি গ্রহণযোগ্য বিনিময়।

সম্পর্কিত কাজ

AutoML ক্ষেত্র

• NiaAML: প্রাকৃতিক অনুপ্রাণিত অ্যালগরিদমের উপর ভিত্তি করে শ্রেণীবিভাগ পাইপলাইন স্বয়ংক্রিয় নির্মাণ
• NiaAML2: উন্নত সংস্করণ, পাইপলাইন নির্মাণ এবং হাইপারপ্যারামিটার অপ্টিমাইজেশনকে দুটি স্বাধীন পর্যায়ে বিভক্ত করে
• সাধারণ AutoML: TPOT, Auto-sklearn ইত্যাদি ফ্রেমওয়ার্ক প্রধানত শ্রেণীবিভাগ এবং রিগ্রেশন কাজের জন্য

ARM ক্ষেত্র

• NiaARM: ARM-DE অ্যালগরিদম বাস্তবায়নের Python ফ্রেমওয়ার্ক
• ঐতিহ্যবাহী ARM: প্রধানত বিভাগীয় বৈশিষ্ট্য পরিচালনা করে
• NARM: সংখ্যাসূচক এবং বিভাগীয় উভয় বৈশিষ্ট্য পরিচালনা করতে পারে এমন উন্নত সংস্করণ

প্রযুক্তিগত পার্থক্য

NiaAutoARM হল ARM পাইপলাইন স্বয়ংক্রিয় নির্মাণের জন্য প্রথম AutoML পদ্ধতি, যা এই ক্ষেত্রের শূন্যতা পূরণ করে।

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

१. NiaAutoARM কার্যকরভাবে উচ্চ মানের ARM পাইপলাইন স্বয়ংক্রিয়ভাবে নির্মাণ করতে পারে २. PSO অভ্যন্তরীণ অ্যালগরিদম হিসাবে সেরা পারফরম্যান্স প্রদর্শন করে, Min-Max স্বাভাবিকীকরণ সবচেয়ে পছন্দের পূর্ব-প্রক্রিয়াকরণ পদ্ধতি ३. সমর্থন এবং আত্মবিশ্বাস ARM এ মূল মেট্রিক্স ४. বিদ্যমান অত্যাধুনিক পদ্ধতির তুলনায়, এই ফ্রেমওয়ার্ক উচ্চতর কর্মক্ষমতা প্রদর্শন করে

সীমাবদ্ধতা

१. গণনামূলক জটিলতা: পুনরাবৃত্তিমূলক অপ্টিমাইজেশন এবং একাধিক পূর্ব-প্রক্রিয়াকরণ সমন্বয় অন্বেষণের কারণে গণনামূলক খরচ বেশি २. মূল্যায়ন মেট্রিক্স: বর্তমানে প্রধানত সমর্থন এবং আত্মবিশ্বাসের সমন্বয়ের উপর ভিত্তি করে, সমস্ত প্রয়োগের জন্য উপযুক্ত নাও হতে পারে ३. ডেটাসেট স্কেল: পরীক্ষা প্রধানত মধ্য এবং ছোট স্কেলের ডেটাসেটে পরিচালিত হয়েছে, বড় স্কেলের ডেটাসেটের পারফরম্যান্স যাচাই করা বাকি রয়েছে ४. অ্যালগরিদম পুল সীমাবদ্ধতা: অভ্যন্তরীণ অ্যালগরিদম পুল তুলনামূলকভাবে সীমিত, অন্যান্য কার্যকর অ্যালগরিদম মিস করতে পারে

ভবিষ্যত দিকনির্দেশনা

१. অ্যালগরিদম সম্প্রসারণ: স্ব-অভিযোজনশীল পরামিতি সমন্বয় সহ আরও প্রাকৃতিক অনুপ্রাণিত অ্যালগরিদম একীভূত করা २. পূর্ব-প্রক্রিয়াকরণ বৃদ্ধি: আরও উন্নত পূর্ব-প্রক্রিয়াকরণ কৌশল এবং ডোমেইন-নির্দিষ্ট মেট্রিক্স অন্তর্ভুক্ত করা ३. সমান্তরাল গণনা: গণনামূলক জটিলতা হ্রাস করতে সমান্তরাল এবং বিতরণকৃত গণনা কৌশল অন্বেষণ করা ४. বহু-উদ্দেশ্য অপ্টিমাইজেশন: ফ্রেমওয়ার্ক সম্প্রসারণ বহু-উদ্দেশ্য অপ্টিমাইজেশন সমর্থন করতে, বিরোধপূর্ণ মেট্রিক্সের মধ্যে বাণিজ্য-বন্ধ অন্বেষণ করা

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবার AutoML কে ARM ক্ষেত্রে প্রয়োগ করা, গুরুত্বপূর্ণ শূন্যতা পূরণ করা २. সম্পূর্ণ পদ্ধতি: পূর্ব-প্রক্রিয়াকরণ থেকে মূল্যায়ন পর্যন্ত সম্পূর্ণ পাইপলাইন অপ্টিমাইজেশন অন্তর্ভুক্ত করা ३. পর্যাপ্ত পরীক্ষা: একাধিক ডেটাসেটে ব্যাপক পরীক্ষামূলক যাচাইকরণ পরিচালিত হয়েছে ४. উচ্চ ব্যবহারিক মূল্য: সম্পূর্ণ Python বাস্তবায়ন প্রদান করা, ব্যবহারিক প্রয়োগের জন্য সুবিধাজনক ५. দৃঢ় তাত্ত্বিক ভিত্তি: পরিপক্ক মেটাহিউরিস্টিক অপ্টিমাইজেশন তত্ত্বের উপর ভিত্তি করে

অপূর্ণতা

१. গণনামূলক দক্ষতা: দ্বি-স্তরীয় অপ্টিমাইজেশন কাঠামো উচ্চ গণনামূলক খরচের দিকে পরিচালিত করে २. স্কেলেবিলিটি: বড় স্কেলের ডেটাসেটে কর্মক্ষমতা পর্যাপ্তভাবে যাচাই করা হয়নি ३. তুলনা সীমাবদ্ধতা: VARDE এর সাথে তুলনা পরোক্ষ, আরও বেশি ভিত্তি পদ্ধতির তুলনার অভাব ४. প্যারামিটার সংবেদনশীলতা: বাহ্যিক অ্যালগরিদম প্যারামিটার সেটিংসের সংবেদনশীলতা বিশ্লেষণ অপর্যাপ্ত

প্রভাব

१. একাডেমিক অবদান: AutoARM এর একটি নতুন গবেষণা দিক খোলা २. ব্যবহারিক মূল্য: ARM প্রয়োগের প্রযুক্তিগত বাধা হ্রাস করা, পদ্ধতি জনপ্রিয়করণ প্রচার করা ३. পুনরুৎপাদনযোগ্যতা: ওপেন সোর্স বাস্তবায়ন প্রদান করা, পরবর্তী গবেষণা সহজতর করা ४. সম্প্রসারণ সম্ভাবনা: সম্পর্কিত ক্ষেত্রের স্বয়ংক্রিয়করণ গবেষণার জন্য রেফারেন্স ফ্রেমওয়ার্ক প্রদান করা

প্রযোজ্য পরিস্থিতি

१. মধ্য এবং ছোট স্কেলের ডেটাসেট: বিশেষ করে বৈশিষ্ট্য সংখ্যা এবং উদাহরণ সংখ্যা মধ্যম ডেটাসেটের জন্য উপযুক্ত २. মিশ্র বৈশিষ্ট্য ডেটা: সংখ্যাসূচক এবং বিভাগীয় উভয় বৈশিষ্ট্য সম্পন্ন ডেটাসেট ३. অ-বিশেষজ্ঞ ব্যবহারকারী: ARM বিশেষজ্ঞ জ্ঞান নেই কিন্তু সংযোজন বিশ্লেষণ পরিচালনা করতে প্রয়োজনীয় ব্যবহারকারী ४. দ্রুত প্রোটোটাইপিং: ARM পাইপলাইন দ্রুত নির্মাণ এবং পরীক্ষার প্রয়োজনীয় গবেষণা পরিস্থিতি

রেফারেন্স

পেপারটি ২৫টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত করে:

• AutoML সম্পর্কিত কাজ (Yao et al., Hutter et al., He et al.)
• বিবর্তনীয় গণনা ভিত্তি (Eiben & Smith, Blum & Merkle)
• নির্দিষ্ট অ্যালগরিদম বাস্তবায়ন (Storn & Price for DE, Kennedy & Eberhart for PSO)
• সম্পর্কিত ফ্রেমওয়ার্ক (NiaPy, NiaARM, NiaAML সিরিজ)

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের গবেষণা পেপার, যা AutoML এবং ARM এর ক্রস-ডোমেইনে গুরুত্বপূর্ণ অবদান রেখেছে। যদিও গণনামূলক দক্ষতা এবং বড় স্কেলের ডেটা প্রক্রিয়াকরণে উন্নতির অবকাশ রয়েছে, তবে এর উদ্ভাবনী, সম্পূর্ণ এবং ব্যবহারিক মূল্য এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ মাইলফলক কাজ করে তোলে।