2025-11-11T10:10:09.268407

Detecting Anomalies in Machine Learning Infrastructure via Hardware Telemetry

Chen, Chien, Qian et al.
Modern machine learning (ML) has grown into a tightly coupled, full-stack ecosystem that combines hardware, software, network, and applications. Many users rely on cloud providers for elastic, isolated, and cost-efficient resources. Unfortunately, these platforms as a service use virtualization, which means operators have little insight into the users' workloads. This hinders resource optimizations by the operator, which is essential to ensure cost efficiency and minimize execution time. In this paper, we argue that workload knowledge is unnecessary for system-level optimization. We propose Reveal, which takes a hardware-centric approach, relying only on hardware signals - fully accessible by operators. Using low-level signals collected from the system, Reveal detects anomalies through an unsupervised learning pipeline. The pipeline is developed by analyzing over 30 popular ML models on various hardware platforms, ensuring adaptability to emerging workloads and unknown deployment patterns. Using Reveal, we successfully identified both network and system configuration issues, accelerating the DeepSeek model by 5.97%.
academic

মেশিন লার্নিং অবকাঠামোতে হার্ডওয়্যার টেলিমেট্রির মাধ্যমে অসামান্যতা সনাক্তকরণ

মৌলিক তথ্য

  • পেপার আইডি: 2510.26008
  • শিরোনাম: এআই সিস্টেমে হার্ডওয়্যার টেলিমেট্রি ব্যবহার করে অসামান্যতা সনাক্তকরণ
  • লেখক: জিজি চেন, স্টিভেন ডাব্লিউ. ডি. চিয়েন, পেং কিয়ান, নোয়া জিলবারম্যান (অক্সফোর্ড বিশ্ববিদ্যালয়)
  • শ্রেণীবিভাগ: cs.PF (কর্মক্ষমতা), cs.AR (কম্পিউটার আর্কিটেকচার), cs.DC (বিতরণকৃত কম্পিউটিং), cs.LG (মেশিন লার্নিং)
  • প্রকাশনার সময়: ২০২৫ সালের ৩১ অক্টোবর (arXiv v2)
  • পেপার লিঙ্ক: https://arxiv.org/abs/2510.26008v2

সারসংক্ষেপ

আধুনিক মেশিন লার্নিং একটি ঘনিষ্ঠভাবে সংযুক্ত সম্পূর্ণ স্ট্যাক ইকোসিস্টেমে বিকশিত হয়েছে যা হার্ডওয়্যার, সফটওয়্যার, নেটওয়ার্ক এবং অ্যাপ্লিকেশন একত্রিত করে। অনেক ব্যবহারকারী স্থিতিস্থাপক, বিচ্ছিন্ন এবং সাশ্রয়ী সম্পদের জন্য ক্লাউড প্রদানকারীর উপর নির্ভর করে। তবে, এই প্ল্যাটফর্ম-অ্যাজ-এ-সার্ভিস ভার্চুয়ালাইজেশন ব্যবহার করে, যার ফলে অপারেটররা ব্যবহারকারীর কর্মভার সম্পর্কে অন্তর্দৃষ্টি হারায়। এটি অপারেটরদের সম্পদ অপ্টিমাইজেশন করতে বাধা দেয়, যা খরচ দক্ষতা নিশ্চিত করতে এবং সম্পাদন সময় কমাতে অপরিহার্য। এই পত্রটি প্রস্তাব করে যে সিস্টেম-স্তরের অপ্টিমাইজেশন কর্মভার জ্ঞান ছাড়াই সম্ভব। আমরা রিভিল উপস্থাপন করি, যা একটি হার্ডওয়্যার-কেন্দ্রিক পদ্ধতি গ্রহণ করে এবং শুধুমাত্র অপারেটরদের সম্পূর্ণভাবে অ্যাক্সেসযোগ্য হার্ডওয়্যার সংকেতের উপর নির্ভর করে। বিভিন্ন হার্ডওয়্যার প্ল্যাটফর্মে ৩০টিরও বেশি জনপ্রিয় এমএল মডেলের কর্মক্ষমতা বিশ্লেষণ করে, আমরা অসামান্যতা সনাক্ত করার জন্য একটি অনিরীক্ষিত শিক্ষা পাইপলাইন বিকশিত করেছি। রিভিল ব্যবহার করে, আমরা সফলভাবে নেটওয়ার্ক এবং সিস্টেম কনফিগারেশন সমস্যা চিহ্নিত করেছি, ডিপসিক মডেলকে ৫.৯৭% ত্বরান্বিত করেছি।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

১. পর্যবেক্ষণযোগ্যতার অভাব: ক্লাউড প্ল্যাটফর্মের ভার্চুয়ালাইজেশন অন্তর্নিহিত হার্ডওয়্যার লুকিয়ে রাখে, অপারেটররা উচ্চ-স্তরের কর্মভার তথ্য পেতে পারে না, সিস্টেম-স্তরের অপ্টিমাইজেশন করা কঠিন ২. কর্মক্ষমতা বাধা সনাক্তকরণ কঠিন: এমএল কর্মভারে ঘনিষ্ঠ হার্ডওয়্যার-সফটওয়্যার সংযোগ রয়েছে, ছোট অদক্ষতা সিস্টেম-স্তরের কর্মক্ষমতা হ্রাসের দিকে পরিচালিত করতে পারে ३. বিদ্যমান সরঞ্জামের সীমাবদ্ধতা: অ্যাপ্লিকেশন-স্তরের একীকরণ প্রয়োজন, চালনা সময়ের ওভারহেড বেশি (৯০.২% পর্যন্ত), কভারেজ সীমিত

সমস্যার গুরুত্ব

  • জিপিইউ-এর মতো বিশেষায়িত ত্বরণকারীর খরচ বেশি (একক জিপিইউ দশ হাজার ডলার)
  • ক্লাউড এআই সম্পদের চাহিদা ২০৩০ সালের মধ্যে বার্ষিক ৩০% বৃদ্ধি পাওয়ার প্রত্যাশা করা হচ্ছে
  • এমনকি ছোট কনফিগারেশন ত্রুটিও ১.৫ গুণ কর্মক্ষমতা হ্রাস করতে পারে
  • বিতরণকৃত প্রশিক্ষণ সম্মিলিত যোগাযোগের উপর অত্যন্ত নির্ভরশীল, নেটওয়ার্ক সমস্যার জন্য সংবেদনশীল

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. উচ্চ-স্তরের পর্যবেক্ষণযোগ্যতা নির্ভরতা: বেশিরভাগ সরঞ্জাম অ্যাপ্লিকেশন-স্তরের তথ্য প্রয়োজন, ভার্চুয়ালাইজড পরিবেশে উপলব্ধ নয় २. উচ্চ ওভারহেড: প্লাম্বার ২১% ওভারহেড যোগ করে, আরএল-স্কোপ ৯০.२% জিপিইউ কার্নেল লঞ্চ সময় যোগ করে ३. নিয়ম-চালিত সনাক্তকরণ: কর্মভার-নির্দিষ্ট থ্রেশহোল্ড টিউনিং প্রয়োজন, দুর্বল পোর্টেবিলিটি ४. সীমিত কভারেজ: ফ্রেমওয়ার্ক বিশ্লেষক সাধারণত শুধুমাত্র অ্যাপ্লিকেশন এবং ফ্রেমওয়ার্ক রানটাইম কভার করে

মূল অবদান

१. রিভিল ফ্রেমওয়ার্ক প্রস্তাব: হার্ডওয়্যার-কেন্দ্রিক বিশ্লেষণ এবং অসামান্যতা সনাক্তকরণ ফ্রেমওয়ার্ক, উচ্চ পোর্টেবিলিটি, স্থাপনযোগ্যতা এবং বিশ্লেষণ নির্ভুলতা সহ २. মূল কর্মক্ষমতা সূচক চিহ্নিতকরণ: হার্ডওয়্যারে এমএল কর্মভারের আচরণ প্রতিনিধিত্ব করে এমন নিম্ন-স্তরের কর্মক্ষমতা সূচকগুলির একটি সেট নির্ধারণ করা হয়েছে এবং সমস্ত সংগৃহীত ডেটাসেট ওপেন-সোর্স করা হয়েছে ३. অনিরীক্ষিত সনাক্তকরণ পাইপলাইন বিকাশ: কন্টেইনারযুক্ত এমএল কর্মভারে কর্মক্ষমতা সমস্যা সফলভাবে সনাক্ত করা, সিস্টেম বাধা চিহ্নিত করা এবং ডিপসিক ৫.९७% ত্বরান্বিত করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট: হোস্ট-স্তরের হার্ডওয়্যার টেলিমেট্রি ডেটা (সিপিইউ, জিপিইউ, মেমরি, নেটওয়ার্ক, স্টোরেজ মেট্রিক্স) আউটপুট: অসামান্য উইন্ডো সনাক্তকরণ, সাব-সিস্টেম অ্যাট্রিবিউশন, মূল কারণ বিশ্লেষণ রিপোর্ট সীমাবদ্ধতা: শুধুমাত্র অপারেটরদের অ্যাক্সেসযোগ্য হার্ডওয়্যার-স্তরের সংকেত ব্যবহার করুন, উচ্চ-স্তরের কর্মভার জ্ঞান প্রয়োজন নেই

মডেল আর্কিটেকচার

१. টেলিমেট্রি সংগ্রাহক (Telemetry Collector)

  • perf, procfs, nvidia-smi, মান লিনাক্স সরঞ্জাম ব্যবহার করে প্রায় ১৫০ ধরনের অনন্য মেট্রিক্স সংগ্রহ করুন
  • সিপিইউ কোর এবং জিপিইউ জুড়ে প্রতিলিপি করার সময় ৭০০+ সময় সিরিজ চ্যানেলে প্রসারিত
  • সিপিইউ ওভারহেড ১.५% এর নিচে রাখুন

२. মেট্রিক্স পুনর্বিশ্লেষণ এবং বৈশিষ্ট্য নিষ্কাশন (Metric Reanalysis and Feature Extraction)

  • মেট্রিক্স ফিল্টারিং: সম্পর্ক-চালিত প্রুনিং, |r|=0.५ থ্রেশহোল্ডে প্রায় ६०% মেট্রিক্স ধরে রাখুন
  • উদ্ভূত মেট্রিক্স: আইপিসি (সম্পাদন থ্রুপুট), শাখা ভুল পূর্বাভাস হার, ক্যাশে মিস হার ইত্যাদি গণনা করুন
  • স্লাইডিং উইন্ডো: ३ সেকেন্ড উইন্ডো, १ সেকেন্ড ধাপ, পরিসংখ্যান এবং সময় বৈশিষ্ট্য নিষ্কাশন

३. অসামান্যতা সনাক্তকরণ ইঞ্জিন (Anomaly Detection Engine)

তিনটি পরিপূরক অনিরীক্ষিত পদ্ধতি গ্রহণ করুন:

  • জেড-স্কোর: স্ট্যান্ডার্ডাইজড বিচ্যুতি সনাক্তকরণ, ९९% শতাংশের উপরে উইন্ডো চিহ্নিত করুন
  • পিসিএ সাব-স্পেসে মহালানোবিস দূরত্ব: মেট্রিক্স মধ্যে সম্পর্ক এবং স্কেল পার্থক্য বিবেচনা করুন
  • বিচ্ছিন্ন বন (Isolation Forest): গাছ-ভিত্তিক সমন্বয় পদ্ধতি, দূষণ হার १%

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. হার্ডওয়্যার-কেন্দ্রিক পদ্ধতি: সম্পূর্ণভাবে হার্ডওয়্যার সংকেতের উপর ভিত্তি করে, উচ্চ-স্তরের পর্যবেক্ষণযোগ্যতার উপর নির্ভরতা এড়ান २. মাল্টি-ডিটেক্টর ফিউশন: ডিটেক্টরদের মধ্যে সামঞ্জস্যের মাধ্যমে মিথ্যা ইতিবাচক হ্রাস করুন, সনাক্তকরণ নির্ভুলতা উন্নত করুন ३. সাব-সিস্টেম অ্যাট্রিবিউশন: অসামান্যতা নির্দিষ্ট হার্ডওয়্যার সাব-সিস্টেমে ম্যাপ করুন (সিপিইউ, জিপিইউ, মেমরি, নেটওয়ার্ক, স্টোরেজ) ४. ক্রস-লেয়ার বিশ্লেষণ: একক অসামান্য উইন্ডো একাধিক সম্পর্কিত সংকেত জড়িত হতে পারে, শক্তিশালী অসামান্য প্রমাণ প্রদান করুন

পরীক্ষামূলক সেটআপ

ডেটাসেট

  • এমএল অ্যাপ্লিকেশন: ३०+ জনপ্রিয় মডেল, বার্ট, বার্ট, রেসনেট, ভিআইটি, ভিজিজি, ডিপসিক, লামা, মিস্ট্রাল সহ
  • কাজের ধরন: পাঠ্য শ্রেণীবিভাগ, টেবিল প্রশ্নোত্তর, চিত্র শ্রেণীবিভাগ, শব্দার্থ বিভাজন
  • ডেটাসেট: গ্লু/এসএসটি२, উইকিএসকিউএল, পাস্কাল ভিওসি, সিফার, এমএনআইএসটি
  • চালনার সংখ্যা: পরিসংখ্যানগত নির্ভরযোগ্যতা নিশ্চিত করতে প্রতিটি কর্মভার १० বার সম্পাদন করুন

পরীক্ষামূলক পরিবেশ

१. এইচপিসি ক্লাস্টার:

  • দ্বি-নোড, এনভিডিয়া টেসলা ভি१०० জিপিইউ (३२জিবি), ইন্টেল জিওন প্ল্যাটিনাম ८६२८ সিপিইউ
  • একক-নোড, চার এনভিডিয়া এইচ१०० জিপিইউ (९६জিবি এইচবিএম३), ইন্টেল স্যাফায়ার র্যাপিডস সিপিইউ २. স্থানীয় ক্লাস্টার:
  • ९ সার্ভার, এএমডি ইপিআইসি ७४४३पি সিপিইউ (२४ কোর), २५६জিবি মেমরি
  • ९९ কন্টেইনার বিতরণকৃত প্রশিক্ষণ সেটআপ

মূল্যায়ন মেট্রিক্স

  • সনাক্তকরণ নির্ভুলতা: অসামান্য উইন্ডো চিহ্নিতকরণের নির্ভুলতা
  • সাব-সিস্টেম অ্যাট্রিবিউশন: হার্ডওয়্যার সাব-সিস্টেমে সঠিক ম্যাপিং ক্ষমতা
  • কর্মক্ষমতা উন্নতি: শেষ থেকে শেষ চালনার সময় উন্নতি
  • ওভারহেড মূল্যায়ন: সিপিইউ ব্যবহার, স্টোরেজ প্রয়োজনীয়তা, ডিটেক্টর চালনার সময়

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

কর্মক্ষমতা ওভারহেড

  • সিপিইউ ওভারহেড: १००মিলিসেকেন্ড নমুনা ব্যবধানে १.२-१.४%, ६००মিলিসেকেন্ডে ०.६% এর নিচে হ্রাস
  • স্টোরেজ প্রয়োজনীয়তা: ফিল্টারিংয়ের আগে ४२-४३ কেবি/সেকেন্ড/হোস্ট, ফিল্টারিংয়ের পরে १४-२२ কেবি/সেকেন্ড
  • সনাক্তকরণ বিলম্ব: বৈশিষ্ট্য নিষ্কাশন १.४६±०.०२সেকেন্ড, শেষ থেকে শেষ २.२६±०.१७সেকেন্ড

অসামান্যতা সনাক্তকরণ প্রভাব

  • মেট্রিক্স স্থিতিশীলতা: ९९.७५% কর্মভার-মেট্রিক্স জোড়া পরিসংখ্যানগতভাবে উল্লেখযোগ্য সাদৃশ্য প্রদর্শন করে (পি<०.०५)
  • ক্রস-কনফিগারেশন সামঞ্জস্য: ডিফল্ট বনাম সূক্ষ্ম-দানাদার সেটিং আইওইউ মধ্যমা ०.५०, হিট রেট ०.९२

কেস বিশ্লেষণ

কেস १: নুমা অসামান্যতা (মেমরি সাব-সিস্টেম)

  • সনাক্তকরণ: উইন্ডো ११८-१२३ এ আইপিসি হ্রাস এবং এল३ মিস চক্র বৃদ্ধি
  • বিশ্লেষণ: সকেট জুড়ে মেমরি এবং পিসিআই এক্সপ্রেস ট্রাফিক বিলম্ব বৃদ্ধি করে
  • মেরামত: নুমা-সচেতন বাঁধাই, প্রক্রিয়া একক নুমা নোডে বাঁধাই
  • প্রভাব: ডিপসিক-७বি সূক্ষ্ম-সুর १८२३.४±४६.१সেকেন্ড থেকে १७१४.६±७०.०সেকেন্ডে উন্নত (५.९७% উন্নতি)

কেস २: এনসিসিএল-কিউপি কনফিগারেশন ত্রুটি (নেটওয়ার্ক সাব-সিস্টেম)

  • সনাক্তকরণ: সিপিইউ ব্যস্ততা% বৃদ্ধি, ib० টিএক্স/আরএক্স ট্রাফিক বিস্ফোরণ, জিপিইউ শক্তি খরচ হ্রাস
  • বিশ্লেষণ: একক কিউপি কনফিগারেশন সমাপ্তি প্রক্রিয়াকরণ বাধা সৃষ্টি করে
  • মেরামত: १কিউপি থেকে २কিউপি কনফিগারেশনে বৃদ্ধি
  • প্রভাব: চালনার সময় १८२५.४±४६.१সেকেন্ড থেকে १७६९.३±१६.७সেকেন্ডে উন্নত (३.१% উন্নতি)

কেস ३: আইআরকিউ ভারসাম্যহীনতা (সিপিইউ সাব-সিস্টেম)

  • সনাক্তকরণ: সিপিইউ ব্যস্ততা% ভেরিয়েন্স এবং আইআরকিউ কাউন্টার অসামান্যতা
  • মেরামত: আইআরকিউব্যালেন্স সেবা সক্ষম করুন স্বয়ংক্রিয়ভাবে বাধা লোড বিতরণ করতে
  • প্রভাব: টিসিপি পুনরায় সংক্রমণ অসামান্যতা ६.०७% থেকে ३.५१% এ হ্রাস

কেস ४: বিশাল পৃষ্ঠা কনফিগারেশন ত্রুটি (মেমরি সাব-সিস্টেম)

  • সনাক্তকরণ: নোড জুড়ে মেমরি ব্যবহার অসামান্যতা
  • বিশ্লেষণ: প্রাক-বরাদ্দকৃত १জিবি বিশাল পৃষ্ঠা "ব্যবহৃত" মেমরি হিসাবে রিপোর্ট করা হয়
  • মেরামত: ডিফল্ট २এমআইবি বিশাল পৃষ্ঠা বরাদ্দে কনফিগার করুন

কেস ५: প্যাকেট ড্রপ ইনজেকশন পরীক্ষা (নেটওয়ার্ক সাব-সিস্টেম)

  • সনাক্তকরণ ক্ষমতা: কর্মভার অন্তর্নিহিত পুনরায় সংক্রমণ এবং ব্যর্থতা-প্ররোচিত পুনরায় সংক্রমণ পার্থক্য করুন
  • বিশ্লেষণ গভীরতা: পরিবহন স্তর কাউন্টার থেকে সিপিইউ আইআরকিউ স্পাইক এবং জিপিইউ স্টল পর্যন্ত ক্রস-লেয়ার প্রসঙ্গ প্রদান করুন

অসামান্য প্যাটার্ন বিশ্লেষণ

  • এইচপিসি ক্লাস্টার: সিপিইউ-পাশ্ব সংকেত (Bzy_MHz, আইআরকিউ) প্রভাবশালী, ५०% এর বেশি অসামান্য বৈশিষ্ট্যে অবদান রাখে
  • স্থানীয় ক্লাস্টার: অসামান্যতা মেমরি এবং আই/ও সাব-সিস্টেমে কেন্দ্রীভূত, লেখনী-ফিরিয়ে আনা স্পাইক এবং নোংরা পৃষ্ঠা জমা হওয়া প্রদর্শন করে
  • পরিবেশ জুড়ে: টিসিপি পুনরায় সংক্রমণ উভয় পরিবেশে উপস্থিত, সাধারণত এনসিসিএল ভারসাম্যহীনতার সাথে সম্পর্কিত

সম্পর্কিত কাজ

বিদ্যমান পর্যবেক্ষণ পদ্ধতি তুলনা

পেপার টেবিল १ অনুযায়ী, বিদ্যমান পদ্ধতি তিনটি বিভাগে বিভক্ত: १. অ্যাপ্লিকেশন-স্তরের বিশ্লেষক: টেনসরফ্লো প্রোফাইলার, পাইটর্চ প্রোফাইলার - কোড ইন্সট্রুমেন্টেশন প্রয়োজন २. সিস্টেম সরঞ্জাম: এওয়েএস সেজমেকার, প্রমিথিউস - নিয়ম-ভিত্তিক সনাক্তকরণ ३. নিম্ন-স্তরের ট্রেসিং: বিসিসি/ইবিপিএফ সরঞ্জাম, আরএল-স্কোপ - উচ্চ ওভারহেড বা সীমিত কভারেজ

রিভিলের সুবিধা

  • কোন ইন্সট্রুমেন্টেশন প্রয়োজন নেই: সম্পূর্ণভাবে হোস্ট-স্তরের টেলিমেট্রির উপর ভিত্তি করে
  • সম্পূর্ণ সাব-সিস্টেম কভারেজ: সিপিইউ, জিপিইউ, মেমরি, নেটওয়ার্ক, স্টোরেজ
  • স্বয়ংক্রিয় অসামান্যতা সনাক্তকরণ: অনিরীক্ষিত এমএল পদ্ধতি
  • হার্ডওয়্যার অ্যাট্রিবিউশন: অসামান্যতা নির্দিষ্ট হার্ডওয়্যার উপাদানে ম্যাপ করুন

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. হার্ডওয়্যার-কেন্দ্রিক পদ্ধতি সম্ভব: শুধুমাত্র হার্ডওয়্যার সংকেত ব্যবহার করে এমএল কর্মভার অসামান্যতা কার্যকরভাবে সনাক্ত করা যায় २. অনিরীক্ষিত সনাক্তকরণ কার্যকর: তিনটি ডিটেক্টরের সমন্বয় বিভিন্ন ধরনের অসামান্যতা সঠিকভাবে চিহ্নিত করতে পারে ३. প্রকৃত কর্মক্ষমতা উন্নতি: কনফিগারেশন সমস্যা সফলভাবে চিহ্নিত এবং মেরামত করা, উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করা ४. উচ্চ পোর্টেবিলিটি: ९१% কোড প্ল্যাটফর্ম জুড়ে পুনরায় ব্যবহারযোগ্য

সীমাবদ্ধতা

१. স্ট্যাটিক কনফিগারেশন: বর্তমানে স্থির নমুনা হার এবং উইন্ডো আকার ব্যবহার করুন, কর্মভার গতিশীলতার সাথে খাপ খাইয়ে নিতে পারে না २. প্যাসিভ সনাক্তকরণ: শুধুমাত্র অসামান্যতা সনাক্ত করতে পারে, স্বয়ংক্রিয়ভাবে সমস্যা সমাধান করতে পারে না ३. ম্যানুয়াল মেরামত: সমস্যা মেরামতের জন্য অপারেটর ম্যানুয়াল হস্তক্ষেপ প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. অভিযোজিত নমুনা: হিউরিস্টিক পদ্ধতির উপর ভিত্তি করে নমুনা ফ্রিকোয়েন্সি সামঞ্জস্য করুন २. স্বয়ংক্রিয় মেরামত: হালকা ওজনের রানটাইম হস্তক্ষেপ অন্বেষণ করুন, যেমন আইআরকিউ পুনর্ভারসাম্য স্বয়ংক্রিয় ট্রিগার ३. বর্ধিত ডিটেক্টর: আরও অনিরীক্ষিত অসামান্যতা সনাক্তকরণ পদ্ধতি অন্বেষণ করুন

গভীর মূল্যায়ন

শক্তি

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো বিশুদ্ধ হার্ডওয়্যার সংকেতের এমএল অসামান্যতা সনাক্তকরণ পদ্ধতি প্রস্তাব করা, ক্লাউড পরিবেশে পর্যবেক্ষণযোগ্যতা সমস্যা সমাধান করা २. পর্যাপ্ত পরীক্ষা: একাধিক হার্ডওয়্যার প্ল্যাটফর্মে ३०+ মডেল পরীক্ষা করা, সমৃদ্ধ ডেটাসেট ३. উচ্চ ব্যবহারিক মূল্য: কম ওভারহেড (<२% সিপিইউ), উচ্চ পোর্টেবিলিটি (९१% কোড পুনরায় ব্যবহার) ४. শক্তিশালী ফলাফল বিশ্বাসযোগ্যতা: ५.९७% প্রকৃত কর্মক্ষমতা উন্নতি পদ্ধতির কার্যকারিতা প্রমাণ করে ५. ওপেন-সোর্স অবদান: সম্পূর্ণ ডেটাসেট এবং টুলকিট প্রদান করুন

অপূর্ণতা

१. সনাক্তকরণ বিলম্ব: २.२६ সেকেন্ডের শেষ থেকে শেষ বিলম্ব রিয়েল-টাইম অ্যাপ্লিকেশনের জন্য উপযুক্ত নাও হতে পারে २. বৈশিষ্ট্য প্রকৌশল: মেট্রিক্স নির্বাচন এবং বৈশিষ্ট্য নিষ্কাশন প্রক্রিয়া তুলনামূলকভাবে জটিল, বিশেষজ্ঞ জ্ঞান প্রয়োজন ३. মূল্যায়ন পরিসীমা: প্রধানত একাডেমিক পরিবেশে পরীক্ষা করা, উৎপাদন পরিবেশের জটিলতা নতুন চ্যালেঞ্জ নিয়ে আসতে পারে ४. মূল কারণ বিশ্লেষণ গভীরতা: যদিও সাব-সিস্টেমে অ্যাট্রিবিউট করতে পারে, নির্দিষ্ট মূল কারণ বিশ্লেষণ এখনও ম্যানুয়াল হস্তক্ষেপ প্রয়োজন

প্রভাব

१. একাডেমিক অবদান: এমএল সিস্টেম কর্মক্ষমতা পর্যবেক্ষণের জন্য নতুন গবেষণা দিকনির্দেশনা প্রদান করুন २. ব্যবহারিক মূল্য: ক্লাউড সেবা প্রদানকারীদের ব্যবহারকারীর পরিবেশে প্রবেশ ছাড়াই পর্যবেক্ষণ সমাধান প্রদান করুন ३. পুনরুৎপাদনযোগ্যতা: ওপেন-সোর্স কোড এবং ডেটাসেট গবেষণা পুনরুৎপাদন এবং সম্প্রসারণ সমর্থন করুন

প্রযোজ্য পরিস্থিতি

१. ক্লাউড সেবা প্রদানকারী: ব্যবহারকারীর কর্মভার অ্যাক্সেস ছাড়াই কর্মক্ষমতা অপ্টিমাইজেশন প্রয়োজন २. এইচপিসি কেন্দ্র: এমএল কর্মভার কর্মক্ষমতা সমস্যা পর্যবেক্ষণ এবং নির্ণয় প্রয়োজন ३. এজ কম্পিউটিং: সম্পদ-সীমিত পরিবেশে হালকা ওজনের পর্যবেক্ষণ ४. গবেষণা প্রতিষ্ঠান: এমএল সিস্টেম কর্মক্ষমতা বিশ্লেষণ এবং অপ্টিমাইজেশন গবেষণা

সংদর্ভ

পেপার ७७টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, যা অন্তর্ভুক্ত করে:

  • এমএল কর্মক্ষমতা বিশ্লেষণ সরঞ্জাম: হটলাইন, আরএল-স্কোপ, প্লাম্বার ইত্যাদি
  • অসামান্যতা সনাক্তকরণ পদ্ধতি: বিচ্ছিন্ন বন, পিসিএ, মহালানোবিস দূরত্ব ইত্যাদি
  • সিস্টেম পর্যবেক্ষণ: প্রমিথিউস, এওয়েএস ক্লাউডওয়াচ ইত্যাদি
  • এমএল ফ্রেমওয়ার্ক: পাইটর্চ, টেনসরফ্লো ইত্যাদি

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের সিস্টেম গবেষণা পত্র যা একটি উদ্ভাবনী হার্ডওয়্যার-কেন্দ্রিক অসামান্যতা সনাক্তকরণ পদ্ধতি প্রস্তাব করে, ক্লাউড পরিবেশে এমএল কর্মভার পর্যবেক্ষণের ব্যবহারিক সমস্যা সমাধান করে। পরীক্ষামূলক ডিজাইন পর্যাপ্ত, ফলাফল বিশ্বাসযোগ্য, একাডেমিক এবং শিল্প উভয় ক্ষেত্রেই উল্লেখযোগ্য মূল্য রয়েছে।