HPC Application Parameter Autotuning on Edge Devices: A Bandit Learning Approach
Hossain, Badawy, Islam et al.
The growing necessity for enhanced processing capabilities in edge devices with limited resources has led us to develop effective methods for improving high-performance computing (HPC) applications. In this paper, we introduce LASP (Lightweight Autotuning of Scientific Application Parameters), a novel strategy designed to address the parameter search space challenge in edge devices. Our strategy employs a multi-armed bandit (MAB) technique focused on online exploration and exploitation. Notably, LASP takes a dynamic approach, adapting seamlessly to changing environments. We tested LASP with four HPC applications: Lulesh, Kripke, Clomp, and Hypre. Its lightweight nature makes it particularly well-suited for resource-constrained edge devices. By employing the MAB framework to efficiently navigate the search space, we achieved significant performance improvements while adhering to the stringent computational limits of edge devices. Our experimental results demonstrate the effectiveness of LASP in optimizing parameter search on edge devices.
academic
এইচপিসি অ্যাপ্লিকেশন প্যারামিটার অটোটিউনিং এজ ডিভাইসে: একটি ব্যান্ডিট লার্নিং পদ্ধতি
এজ ডিভাইসের প্রক্রিয়াকরণ ক্ষমতা বৃদ্ধির ক্রমবর্ধমান চাহিদার সাথে, এই নিবন্ধটি উচ্চ-কর্মক্ষমতা কম্পিউটিং (এইচপিসি) অ্যাপ্লিকেশনগুলি উন্নত করার কার্যকর পদ্ধতি বিকাশ করেছে। নিবন্ধটি LASP (বৈজ্ঞানিক অ্যাপ্লিকেশন প্যারামিটারগুলির হালকা অটোটিউনিং) উপস্থাপন করে, যা এজ ডিভাইসে প্যারামিটার অনুসন্ধান স্থানের চ্যালেঞ্জগুলি সমাধানের জন্য ডিজাইন করা একটি উপন্যাস কৌশল। এই কৌশলটি মাল্টি-আর্মড ব্যান্ডিট (MAB) প্রযুক্তি ব্যবহার করে, অনলাইন অন্বেষণ এবং শোষণে ফোকাস করে। LASP একটি গতিশীল পদ্ধতি গ্রহণ করে যা পরিবর্তনশীল পরিবেশের সাথে নির্বিঘ্নে খাপ খাইয়ে নিতে পারে। লেখকরা চারটি এইচপিসি অ্যাপ্লিকেশন (Lulesh, Kripke, Clomp এবং Hypre) দিয়ে LASP পরীক্ষা করেছেন। এর হালকা বৈশিষ্ট্য এটিকে সম্পদ-সীমিত এজ ডিভাইসের জন্য বিশেষভাবে উপযুক্ত করে তোলে। MAB ফ্রেমওয়ার্ক গ্রহণ করে অনুসন্ধান স্থান দক্ষতার সাথে নেভিগেট করে, এজ ডিভাইসের কঠোর গণনামূলক সীমাবদ্ধতা মেনে চলার সময় উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করেছে।
এই গবেষণার মূল সমস্যা হল সম্পদ-সীমিত এজ ডিভাইসে এইচপিসি অ্যাপ্লিকেশন প্যারামিটার স্বয়ংক্রিয় সুর করা দক্ষতার সাথে সম্পাদন করা। ঐতিহ্যবাহী প্যারামিটার টিউনিং পদ্ধতিগুলি প্রধানত ঐতিহ্যবাহী এইচপিসি সিস্টেমের জন্য ডিজাইন করা হয়েছে, এই পদ্ধতিগুলি নিজেই প্রচুর গণনামূলক সম্পদ প্রয়োজন এবং এজ ডিভাইসের সীমাবদ্ধ পরিবেশে প্রযোজ্য নয়।
এজ কম্পিউটিং দ্রুত বৃদ্ধি: প্রতিবেদন অনুযায়ী, এজ প্রসেসিং অ্যাপ্লিকেশন ডেটা বাজার ২০২৬ সালের মধ্যে ৭৫% বৃদ্ধি পাবে বলে প্রত্যাশিত
এইচপিসি অ্যাপ্লিকেশন জটিলতা: এইচপিসি অ্যাপ্লিকেশনগুলি জটিল প্যারামিটার কনফিগারেশন জড়িত, যা কর্মক্ষমতা উল্লেখযোগ্যভাবে প্রভাবিত করে এবং এমনকি সম্পাদন ব্যর্থতার কারণ হতে পারে
সম্পদ সীমাবদ্ধতা চ্যালেঞ্জ: এজ ডিভাইসের সীমিত গণনামূলক ক্ষমতা এবং বিষমধর্মী বিতরণকৃত সম্পদ এইচপিসি সম্পাদনের জন্য অনন্য চ্যালেঞ্জ উপস্থাপন করে
ঐতিহ্যবাহী পদ্ধতি: বিশেষজ্ঞ জ্ঞানের উপর ভিত্তি করে ম্যানুয়াল টিউনিং সময়সাপেক্ষ এবং অস্কেলেবল; হিউরিস্টিক-ভিত্তিক পদ্ধতিগুলি নমনীয়তার অভাব রয়েছে এবং স্থানীয় সর্বোত্তমে আটকে যায়
মেশিন লার্নিং পদ্ধতি: কার্যকর হলেও, অতিরিক্ত ওভারহেড নিয়ে আসে, এজ ডিভাইসের জন্য উপযুক্ত নয়
বেয়েসিয়ান অপ্টিমাইজেশন: জটিল সম্পর্কে খারাপ পারফরম্যান্স, প্রচুর পুনরাবৃত্তি প্রয়োজন, ঐতিহ্যগত জ্ঞান ব্যবহারের অভাব
উদ্ভাবনী পদ্ধতি প্রস্তাব করা যা এজ ডিভাইসে নিম্ন-বিশ্বস্ততা (LF) অবস্থায় এইচপিসি অ্যাপ্লিকেশন চালানোর সুবিধা নেয় সর্বোত্তম অ্যাপ্লিকেশন-স্তরের প্যারামিটার নির্ধারণ করতে, তারপর এই প্যারামিটারগুলি উচ্চ-বিশ্বস্ততা (HF) সম্পাদনের জন্য ঐতিহ্যবাহী এইচপিসি প্ল্যাটফর্মে স্থানান্তর করা, ঐতিহ্যবাহী এইচপিসি সিস্টেমে প্যারামিটার টিউনিং সময় এবং শক্তি খরচ উল্লেখযোগ্যভাবে হ্রাস করা।
এইচপিসি অ্যাপ্লিকেশনের প্যারামিটার কনফিগারেশন স্থান χ = {1, ..., x} দেওয়া, T রাউন্ড পুনরাবৃত্তিতে সর্বোত্তম কনফিগারেশন নির্বাচন করা, ওজনযুক্ত পুরস্কার ফাংশন সর্বাধিক করা:
freward(x) = α × (1/μ(τx)) + β × (1/μ(ρx))
যেখানে τx হল স্বাভাবিকীকৃত সম্পাদন সময়, ρx হল স্বাভাবিকীকৃত শক্তি খরচ, α এবং β হল ব্যবহারকারী-সংজ্ঞায়িত ওজন প্যারামিটার।
LASP স্টোকাস্টিক মাল্টি-আর্মড ব্যান্ডিট মডেলের উপর ভিত্তি করে, K টি ক্রিয়া (কনফিগারেশন) T রাউন্ডে সম্পাদিত হয় অনুমান করে। প্রতিটি কনফিগারেশন x একটি পুরস্কার বিতরণ Dx এর সাথে সামঞ্জস্যপূর্ণ, প্রাথমিকভাবে অজানা।
5%, 10%, 15% সিন্থেটিক ত্রুটির অধীনে, LASP এখনও ভাল কর্মক্ষমতা বজায় রাখে, নেটওয়ার্ক ওঠানামা ইত্যাদি বাস্তব সমস্যার প্রতি এর অভিযোজন ক্ষমতা প্রমাণ করে।
সমস্ত অ্যাপ্লিকেশনের সংগৃহীত অনুশোচনা নির্দিষ্ট পুনরাবৃত্তির পরে স্যাচুরেশনের দিকে প্রবণ হয়, অ্যালগরিদমের কার্যকর সংগ্রহ প্রমাণ করে। সম্পাদন সময় অপ্টিমাইজেশনের প্রভাব শক্তি খরচ অপ্টিমাইজেশনের চেয়ে ভাল, এটি গণনা-নিবিড় এইচপিসি অ্যাপ্লিকেশনে শক্তি খরচের স্যাচুরেশন বৈশিষ্ট্যের কারণে।
ঐতিহ্যবাহী পদ্ধতিগুলির মধ্যে রয়েছে অনুসন্ধান-ভিত্তিক পদ্ধতি (যেমন বেয়েসিয়ান অপ্টিমাইজেশন) এবং মেশিন লার্নিং পদ্ধতি। এই নিবন্ধটি বিদ্যমান কাজের তুলনায় এজ ডিভাইসের জন্য বিশেষভাবে ডিজাইন করা হালকা ডিজাইন এবং অনলাইন অভিযোজন ক্ষমতায় সুবিধা রয়েছে।
সম্পর্কিত প্রকল্পগুলির মধ্যে রয়েছে Waggle সেন্সর প্ল্যাটফর্ম, Sage Continuum ইত্যাদি, এই নিবন্ধটি এজ ডিভাইসে এইচপিসি প্যারামিটার টিউনিংয়ের জন্য প্রথম বিশেষভাবে ডিজাইন করা কাজ।
নিবন্ধটি 48টি সম্পর্কিত সংদর্ভ উদ্ধৃত করেছে, এজ কম্পিউটিং, এইচপিসি টিউনিং, মাল্টি-আর্মড ব্যান্ডিট সহ একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি এজ কম্পিউটিং এবং এইচপিসি ক্রস-ডোমেইনে একটি উচ্চ-মানের গবেষণা নিবন্ধ যা উদ্ভাবনী সমাধান প্রস্তাব করেছে। LASP অ্যালগরিদম যুক্তিসঙ্গতভাবে ডিজাইন করা হয়েছে, পরীক্ষা পর্যাপ্তভাবে যাচাই করা হয়েছে, ভাল ব্যবহারিক মূল্য এবং প্রচার সম্ভাবনা রয়েছে। যদিও তাত্ত্বিক গভীরতা এবং তুলনা পরীক্ষায় উন্নতির জায়গা রয়েছে, সামগ্রিক অবদান উল্লেখযোগ্য এবং সম্পর্কিত ক্ষেত্র গবেষণার জন্য মূল্যবান রেফারেন্স প্রদান করে।