2025-11-16T01:07:11.788386

Should I Run My Cloud Benchmark on Black Friday?

Henning, Vogel, Perez-Wohlfeil et al.
Benchmarks and performance experiments are frequently conducted in cloud environments. However, their results are often treated with caution, as the presumed high variability of performance in the cloud raises concerns about reproducibility and credibility. In a recent study, we empirically quantified the impact of this variability on benchmarking results by repeatedly executing a stream processing application benchmark at different times of the day over several months. Our analysis confirms that performance variability is indeed observable at the application level, although it is less pronounced than often assumed. The larger scale of our study compared to related work allowed us to identify subtle daily and weekly performance patterns. We now extend this investigation by examining whether a major global event, such as Black Friday, affects the outcomes of performance benchmarks.
academic

क्या मुझे अपने क्लाउड बेंचमार्क को ब्लैक फ्राइडे पर चलाना चाहिए?

मूल जानकारी

  • पेपर ID: 2510.12397
  • शीर्षक: Should I Run My Cloud Benchmark on Black Friday?
  • लेखक: Sören Henning, Adriano Vogel, Esteban Perez-Wohlfeil, Otmar Ertl, Rick Rabiser
  • संस्थान: Dynatrace Research, Linz, Austria; LIT CPS Lab, Johannes Kepler University Linz, Austria
  • वर्गीकरण: cs.SE (सॉफ्टवेयर इंजीनियरिंग), cs.DC (वितरित कंप्यूटिंग), cs.PF (प्रदर्शन विश्लेषण)
  • प्रकाशन तिथि: 14 अक्टूबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.12397

सारांश

क्लाउड वातावरण में बेंचमार्किंग और प्रदर्शन प्रयोग तेजी से सामान्य हो गए हैं, लेकिन उनके परिणाम अक्सर क्लाउड प्रदर्शन की उच्च परिवर्तनशीलता के कारण संदेह में आते हैं, जो पुनरुत्पादनीयता और विश्वसनीयता को प्रभावित करता है। यह अनुसंधान कई महीनों में विभिन्न समय पर स्ट्रीम प्रोसेसिंग एप्लिकेशन बेंचमार्क को दोहराकर, इस परिवर्तनशीलता के बेंचमार्क परिणामों पर प्रभाव को अनुभवजन्य रूप से परिमाणित करता है। विश्लेषण पुष्टि करता है कि एप्लिकेशन स्तर पर वास्तव में प्रदर्शन परिवर्तनशीलता मौजूद है, लेकिन आमतौर पर माना जाने वाले स्तर से कम है। संबंधित कार्य की तुलना में, इस अनुसंधान का बड़ा पैमाना इसे सूक्ष्म दैनिक और आवधिक प्रदर्शन पैटर्न की पहचान करने में सक्षम बनाता है। अनुसंधान को आगे बढ़ाया गया, ब्लैक फ्राइडे जैसी वैश्विक प्रमुख घटनाओं के प्रदर्शन बेंचमार्क परिणामों पर प्रभाव की जांच की गई।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

संगठनों के क्लाउड तैनाती की ओर निरंतर परिवर्तन के साथ, क्लाउड वातावरण में बेंचमार्किंग और प्रदर्शन प्रयोग अनुसंधान और इंजीनियरिंग में एक सामान्य अभ्यास बन गया है। हालांकि, क्लाउड वातावरण में प्रदर्शन माप निम्नलिखित चुनौतियों का सामना करता है:

  1. बहु-किरायेदार संसाधन साझाकरण: क्लाउड कार्यभार अंतर्निहित बुनियादी ढांचे को अन्य किरायेदारों के साथ साझा करते हैं
  2. हार्डवेयर अमूर्तता: उच्च स्तर की हार्डवेयर अमूर्तता परिवर्तनशीलता का परिचय देती है
  3. पुनरुत्पादनीयता समस्याएं: प्रदर्शन माप में उतार-चढ़ाव हो सकता है, जो अनुसंधान भर में सार्थक तुलना को प्रभावित करता है

अनुसंधान का महत्व

  • क्लाउड बेंचमार्किंग की विश्वसनीयता प्रदर्शन मूल्यांकन की सटीकता को सीधे प्रभावित करती है
  • प्रदर्शन परिवर्तनशीलता पैटर्न को समझना क्लाउड संसाधन आवंटन को अनुकूलित करने के लिए व्यावहारिक महत्व रखता है
  • क्लाउड वातावरण में बेंचमार्किंग सर्वोत्तम प्रथाओं के लिए अनुभवजन्य साक्ष्य प्रदान करता है

मौजूदा विधियों की सीमाएं

  • बड़े पैमाने पर, दीर्घकालिक अनुभवजन्य अनुसंधान की कमी
  • एप्लिकेशन स्तर पर प्रदर्शन परिवर्तनशीलता के परिमाणात्मक विश्लेषण में अपर्याप्तता
  • वैश्विक घटनाओं के क्लाउड प्रदर्शन पर प्रभाव पर पर्याप्त विचार नहीं किया गया

मुख्य योगदान

  1. बड़े पैमाने पर अनुदैर्ध्य अनुसंधान: कई महीनों के दोहराए गए प्रयोगों के माध्यम से, 1000 से अधिक बेंचमार्क निष्पादन का डेटासेट एकत्र किया गया
  2. प्रदर्शन पैटर्न पहचान: क्लाउड वातावरण में सूक्ष्म लेकिन सांख्यिकीय रूप से महत्वपूर्ण दैनिक और आवधिक प्रदर्शन पैटर्न की खोज की गई
  3. वैश्विक घटना प्रभाव विश्लेषण: पहली बार ब्लैक फ्राइडे जैसी प्रमुख घटनाओं के क्लाउड बेंचमार्क प्रदर्शन पर प्रभाव का परिमाणात्मक विश्लेषण किया गया
  4. एप्लिकेशन स्तर परिवर्तनशीलता परिमाणीकरण: क्लाउड वातावरण में वितरित स्ट्रीम प्रोसेसिंग एप्लिकेशन की प्रदर्शन परिवर्तनशीलता का सटीक माप प्रदान किया गया

विधि विवरण

प्रायोगिक डिजाइन

परीक्षण वस्तु

  • एप्लिकेशन प्रकार: वितरित स्ट्रीम प्रोसेसिंग एप्लिकेशन (डेटा-गहन, प्रदर्शन-महत्वपूर्ण वितरित सिस्टम का प्रतिनिधित्व)
  • बेंचमार्किंग उपकरण: ओपन सोर्स क्लाउड-नेटिव स्ट्रीम प्रोसेसिंग बेंचमार्क ShuffleBench और इसका Kafka Streams कार्यान्वयन
  • प्रदर्शन मेट्रिक्स: थ्रूपुट (throughput), ShuffleBench की तत्काल माप विधि का उपयोग करके

निष्पादन वातावरण

  • क्लाउड प्लेटफॉर्म: Amazon Web Services (AWS)
  • सेवा: Elastic Kubernetes Service (EKS)
  • क्लस्टर कॉन्फ़िगरेशन: 10 नोड्स, विभिन्न आकार के m6i इंस्टेंस का उपयोग
  • भौगोलिक क्षेत्र: us-east-1 (मुख्य), eu-central-1 (सत्यापन)

स्वचालित बेंचमार्क निष्पादन

AWS Elastic Container Service (ECS) में शेड्यूल किए गए कार्यों का उपयोग करके स्वचालन:

  1. क्लस्टर प्रावधान: नया EKS क्लस्टर बनाएं
  2. बुनियादी ढांचा स्थापना: Apache Kafka, निगरानी उपकरण और Theodolite बेंचमार्क फ्रेमवर्क तैनात करें
  3. बेंचमार्क निष्पादन: Theodolite के माध्यम से स्ट्रीम प्रोसेसिंग एप्लिकेशन और लोड जेनरेटर शुरू करें, 15 मिनट चलाएं
  4. दोहराए गए परीक्षण: प्रत्येक निष्पादन को 3 बार दोहराया जाता है
  5. डेटा संग्रह: बेंचमार्क परिणाम संग्रहीत करें, बुनियादी ढांचे को अनलोड करें, क्लस्टर को बंद करें

समय अवधि डिजाइन

  • मुख्य प्रयोग अवधि: मई से जुलाई 2024, सितंबर 2024 का एक सप्ताह
  • निष्पादन आवृत्ति: हर 6 घंटे में एक बार (पूर्ण दैनिक चक्र को कवर करता है)
  • उच्च आवृत्ति अवधि: 3 सप्ताह में हर 3 घंटे में एक बार (अधिक सूक्ष्म दैनिक पैटर्न को पकड़ने के लिए)
  • ब्लैक फ्राइडे प्रयोग: 2024 ब्लैक फ्राइडे से पहले और बाद में एक सप्ताह के अतिरिक्त प्रयोग

प्रायोगिक सेटअप

प्रदर्शन माप विधि

  • वार्मअप अवधि: पहले 3 मिनट के माप डेटा को छोड़ दिया जाता है
  • माप विंडो: शेष समय में औसत थ्रूपुट की गणना करें
  • आउटपुट: प्रत्येक बेंचमार्क निष्पादन एक औसत थ्रूपुट मान उत्पन्न करता है

मूल्यांकन मेट्रिक्स

  • मुख्य मेट्रिक: थ्रूपुट (records/second)
  • परिवर्तनशीलता माप: भिन्नता का गुणांक (Coefficient of Variation, CV)
  • सांख्यिकीय विश्लेषण: विश्वास अंतराल (बूटस्ट्रैप विधि के माध्यम से प्राप्त), सांख्यिकीय महत्व परीक्षण

डेटा प्रसंस्करण

  • समय समूहीकरण: घंटे, सप्ताह के दिन, सप्ताह के अनुसार समूहीकरण विश्लेषण
  • संदर्भ पैटर्न: आधारभूत दैनिक और आवधिक पैटर्न स्थापित करें
  • विसंगति पहचान: ब्लैक फ्राइडे अवधि के दौरान प्रदर्शन विचलन की पहचान करें

प्रायोगिक परिणाम

समग्र प्रदर्शन परिवर्तनशीलता

  • डेटा पैमाना: 1000 से अधिक बेंचमार्क निष्पादन
  • वितरण विशेषताएं: थ्रूपुट वितरण स्पष्ट केंद्रीय प्रवृत्ति दिखाता है, चतुर्थांश श्रेणी के भीतर लगभग सममित, लेकिन कम थ्रूपुट परिणामों की ओर हल्के पूर्वाग्रह के कारण गैर-सामान्य वितरण
  • भिन्नता गुणांक: 3.69%, साहित्य द्वारा रिपोर्ट की गई सूक्ष्म और प्रणालीगत स्तर की बेंचमार्क परिवर्तनशीलता की निचली सीमा में
  • चतुर्थांश श्रेणी: 50% माप माध्यिका के -2.4% से +2.3% की सीमा में हैं

दैनिक प्रदर्शन पैटर्न

निष्पादन समय के घंटे के अनुसार समूहीकरण विश्लेषण के माध्यम से खोज:

  • दोपहर की गिरावट: दोपहर के समय निष्पादित बेंचमार्क परीक्षण कम प्रदर्शन दिखाते हैं
  • रात की चोटी: गहरी रात और सुबह के समय सर्वोच्च प्रदर्शन प्राप्त होता है
  • प्रदर्शन अंतर: औसत मान अंतर 2.15%
  • सांख्यिकीय महत्व: पैटर्न सांख्यिकीय रूप से महत्वपूर्ण है

आवधिक प्रदर्शन पैटर्न

सप्ताह के दिन के अनुसार समूहीकरण विश्लेषण परिणाम:

  • सप्ताहांत लाभ: सप्ताहांत में निष्पादित बेंचमार्क परीक्षण कार्य दिवसों की तुलना में थोड़ा अधिक प्रदर्शन दिखाते हैं
  • बुधवार न्यूनतम: बुधवार सबसे कम प्रदर्शन दिखाता है
  • अधिकतम परिवर्तन: शनिवार से बुधवार तक औसत थ्रूपुट अंतर 2.52%
  • सांख्यिकीय महत्व: पैटर्न सांख्यिकीय रूप से महत्वपूर्ण है

दीर्घकालीन पैटर्न

  • साप्ताहिक भिन्नता: निष्पादन सप्ताह के अनुसार विघटन छोटे प्रदर्शन उतार-चढ़ाव दिखाता है
  • प्रवृत्ति विश्लेषण: कोई स्पष्ट दीर्घकालीन पैटर्न या प्रवृत्ति नहीं देखी गई
  • मौसमीता सीमा: चूंकि प्रयोग केवल वर्ष के एक हिस्से में फैले हैं, अन्य अवधियों में अंतर की संभावना को बाहर नहीं किया जा सकता

ब्लैक फ्राइडे प्रभाव विश्लेषण

देखी गई घटनाएं

  1. प्रदर्शन गिरावट: ब्लैक फ्राइडे सुबह में स्पष्ट प्रदर्शन गिरावट
  2. तीव्र पुनरुद्धार: शनिवार सुबह प्रदर्शन में सुधार
  3. पूर्व-अवधि वृद्धि: ब्लैक फ्राइडे से तीन दिन पहले सांख्यिकीय रूप से महत्वपूर्ण थ्रूपुट वृद्धि (2.3% से 3.3%)
  4. वर्तमान दिन प्रदर्शन: ब्लैक फ्राइडे के दिन का प्रदर्शन विशिष्ट शुक्रवार प्रदर्शन से कोई महत्वपूर्ण अंतर नहीं

संभावित व्याख्याएं

  1. मौसमी परिवर्तन: 2024 नवंबर गर्मी के महीनों की तुलना में समग्र प्रदर्शन में सुधार, ब्लैक फ्राइडे में अस्थायी गिरावट
  2. सक्रिय संसाधन प्रावधान: क्लाउड प्रदाता ब्लैक फ्राइडी का सामना करने के लिए सक्रिय रूप से अतिरिक्त कंप्यूटिंग संसाधन प्रदान कर सकते हैं, पिछले कुछ दिनों का प्रदर्शन बढ़ाते हैं

संबंधित कार्य

क्लाउड प्रदर्शन परिवर्तनशीलता अनुसंधान

  • मूल अनुसंधान: Leitner और Cito (2016) सार्वजनिक IaaS क्लाउड प्रदर्शन परिवर्तनशीलता और पूर्वानुमेयता पैटर्न पर
  • प्रायोगिक पद्धति: Abedi और Brecht (2017) उच्च परिवर्तनशीलता क्लाउड वातावरण में पुनरुत्पादनीय प्रयोग करने की विधि पर
  • पद्धति सिद्धांत: Papadopoulos आदि (2021) क्लाउड कंप्यूटिंग में पुनरुत्पादनीय प्रदर्शन मूल्यांकन के पद्धति सिद्धांत

इस पेपर का योगदान तुलना

  • पैमाना लाभ: संबंधित कार्य की तुलना में, इस अनुसंधान का बड़ा पैमाना इसे अधिक सूक्ष्म प्रदर्शन पैटर्न की पहचान करने में सक्षम बनाता है
  • एप्लिकेशन स्तर: एप्लिकेशन स्तर के प्रदर्शन विश्लेषण पर ध्यान केंद्रित करता है, केवल प्रणाली या सूक्ष्म स्तर तक सीमित नहीं
  • समय अवधि: अधिक लंबी समय अवधि का अधिक अद्यतन लक्षण वर्णन प्रदान करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. परिवर्तनशीलता की पुष्टि: क्लाउड वातावरण में एप्लिकेशन स्तर की बेंचमार्क प्रदर्शन वास्तव में स्पष्ट परिवर्तनशीलता दिखाता है
  2. उचित स्तर: परिवर्तनशीलता का स्तर अपेक्षाकृत छोटा है, केवल तब प्रासंगिक होता है जब लक्ष्य प्रदर्शन अंतर 5% से कम हो
  3. पैटर्न का अस्तित्व: समय, सप्ताह के दिन और वैश्विक घटनाओं के स्पष्ट प्रभाव की पहचान की गई
  4. व्यावहारिक प्रभाव: ब्लैक फ्राइडे क्लाउड प्रदर्शन परिवर्तनशीलता का एक छोटा लेकिन स्पष्ट स्रोत पेश करता है

सीमाएं

  1. भौगोलिक सीमा: मुख्य प्रयोग us-east-1 क्षेत्र में केंद्रित
  2. एप्लिकेशन प्रकार: स्ट्रीम प्रोसेसिंग एप्लिकेशन पर ध्यान केंद्रित, अन्य प्रकार के एप्लिकेशन पर लागू नहीं हो सकता
  3. समय सीमा: प्रयोग केवल वर्ष के एक हिस्से में फैले हैं, मौसमी परिवर्तन को याद कर सकते हैं
  4. सांख्यिकीय शक्ति: कुछ प्रभाव विश्वास अंतराल के ओवरलैप के कारण सांख्यिकीय महत्व तक नहीं पहुंचे

भविष्य की दिशाएं

  1. एप्लिकेशन प्रकार का विस्तार: अन्य प्रकार के क्लाउड-नेटिव एप्लिकेशन की प्रदर्शन परिवर्तनशीलता का अध्ययन करें
  2. बहु-क्षेत्र विश्लेषण: अधिक भौगोलिक क्षेत्रों में समान अनुसंधान करें
  3. दीर्घकालीन प्रवृत्ति: वर्ष भर के दीर्घकालीन प्रदर्शन प्रवृत्ति विश्लेषण करें
  4. घटना प्रभाव: अन्य प्रमुख वैश्विक घटनाओं के क्लाउड प्रदर्शन पर प्रभाव का अध्ययन करें

गहन मूल्यांकन

शक्तियां

  1. विधि कठोरता: बड़े पैमाने पर, दीर्घकालीन अनुभवजन्य अनुसंधान विधि अपनाता है, व्यापक डेटा संग्रह
  2. व्यावहारिक महत्व: अनुसंधान परिणाम क्लाउड वातावरण बेंचमार्किंग अभ्यास के लिए सीधे मार्गदर्शन मूल्य रखते हैं
  3. तकनीकी नवाचार: पहली बार वैश्विक घटनाओं के क्लाउड बेंचमार्किंग पर प्रभाव का परिमाणात्मक विश्लेषण
  4. सांख्यिकीय कठोरता: उपयुक्त सांख्यिकीय विधियों का उपयोग, बूटस्ट्रैप और विश्वास अंतराल विश्लेषण सहित
  5. पुनरुत्पादनीयता: प्रायोगिक सेटअप और स्वचालन प्रक्रिया का विस्तृत विवरण

कमियां

  1. एप्लिकेशन सीमा: केवल स्ट्रीम प्रोसेसिंग एप्लिकेशन पर ध्यान केंद्रित, सामान्यीकरण क्षमता सीमित
  2. कारण संबंध: देखे गए प्रदर्शन पैटर्न के कारण विश्लेषण में गहराई की कमी
  3. लागत विचार: बड़े पैमाने पर प्रयोग के लागत-लाभ विश्लेषण पर चर्चा नहीं की गई
  4. व्यावहारिक सुझाव: व्यवहारकर्ताओं के लिए विशिष्ट परिचालन सुझावों की कमी

प्रभाव

  1. शैक्षणिक योगदान: क्लाउड प्रदर्शन अनुसंधान के लिए महत्वपूर्ण अनुभवजन्य डेटा और पद्धति संदर्भ प्रदान करता है
  2. इंजीनियरिंग अभ्यास: क्लाउड वातावरण बेंचमार्किंग के समय चयन के लिए वैज्ञानिक साक्ष्य प्रदान करता है
  3. मानक निर्धारण: क्लाउड प्रदर्शन बेंचमार्किंग मानकों और सर्वोत्तम प्रथाओं के निर्धारण को प्रभावित कर सकता है

लागू परिदृश्य

  1. प्रदर्शन इंजीनियरिंग: क्लाउड वातावरण प्रदर्शन अनुकूलन और क्षमता योजना
  2. बेंचमार्किंग: क्लाउड-नेटिव एप्लिकेशन प्रदर्शन मूल्यांकन के समय चयन
  3. संसाधन प्रबंधन: क्लाउड संसाधन शेड्यूलिंग और लोड संतुलन रणनीति निर्धारण
  4. शैक्षणिक अनुसंधान: क्लाउड कंप्यूटिंग प्रदर्शन विश्लेषण और मॉडलिंग अनुसंधान

संदर्भ

यह पेपर 8 महत्वपूर्ण संदर्भों को उद्धृत करता है, जो क्लाउड प्रदर्शन परिवर्तनशीलता, प्रायोगिक पद्धति, बेंचमार्किंग उपकरण आदि मुख्य क्षेत्रों को कवर करते हैं:

  1. Leitner & Cito (2016) - सार्वजनिक IaaS क्लाउड प्रदर्शन परिवर्तनशीलता पैटर्न अनुसंधान
  2. Abedi & Brecht (2017) - क्लाउड वातावरण पुनरुत्पादनीय प्रयोग विधि
  3. Papadopoulos et al. (2021) - क्लाउड कंप्यूटिंग प्रदर्शन मूल्यांकन पद्धति
  4. Henning & Hasselbring (2022) - क्लाउड-नेटिव एप्लिकेशन स्केलेबिलिटी बेंचमार्किंग विधि
  5. Horwitz (2022) - ब्लैक फ्राइडे ट्रैफिक का अवलोकनीयता रणनीति पर प्रभाव
  6. Vogel et al. (2023) - वितरित स्ट्रीम प्रोसेसिंग सिस्टम प्रदर्शन व्यवस्थित मानचित्रण
  7. Henning et al. (2024) - ShuffleBench बेंचमार्किंग उपकरण
  8. Henning et al. (2025) - स्ट्रीम प्रोसेसिंग एप्लिकेशन क्लाउड प्रदर्शन परिवर्तनशीलता अनुसंधान

सारांश: यह एक उच्च गुणवत्ता का अनुभवजन्य अनुसंधान पेपर है जो बड़े पैमाने पर प्रयोगों के माध्यम से क्लाउड वातावरण बेंचमार्किंग के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है। अनुसंधान विधि कठोर है, परिणाम व्यावहारिक मार्गदर्शन मूल्य रखते हैं, और यह क्लाउड प्रदर्शन इंजीनियरिंग और बेंचमार्किंग क्षेत्र में एक महत्वपूर्ण योगदान है।