2025-11-15T01:49:17.958429

Optimising Virtual Resource Mapping in Multi-Level NUMA Disaggregated Systems

Lakew, Svärd, Elmroth et al.
Disaggregated systems have a novel architecture motivated by the requirements of resource intensive applications such as social networking, search, and in-memory databases. The total amount of resources such as memory and CPU cores is very large in such systems. However, the distributed topology of disaggregated server systems result in non-uniform access latency and performance, with both NUMA aspects inside each box, as well as additional access latency for remote resources. In this work, we study the effects complex NUMA topologies on application performance and propose a method for improved, NUMA-aware, mapping for virtualized environments running on disaggregated systems. Our mapping algorithm is based on pinning of virtual cores and/or migration of memory across a disaggregated system and takes into account application performance, resource contention, and utilization. The proposed method is evaluated on a 288 cores and around 1TB memory system, composed of six disaggregated commodity servers, through a combination of benchmarks and real applications such as memory intensive graph databases. Our evaluation demonstrates significant improvement over the vanilla resource mapping methods. Overall, the mapping algorithm is able to improve performance by significant magnitude compared the default Linux scheduler used in system.
academic

बहु-स्तरीय NUMA विघटित प्रणालियों में आभासी संसाधन मानचित्रण का अनुकूलन

मूल जानकारी

  • पेपर ID: 2501.01356
  • शीर्षक: बहु-स्तरीय NUMA विघटित प्रणालियों में आभासी संसाधन मानचित्रण का अनुकूलन
  • लेखक: Ewnetu Bayuh Lakew, Petter Svärd, Erik Elmroth, Johan Tordsson (उमिया विश्वविद्यालय, स्वीडन)
  • वर्गीकरण: cs.DC (वितरित, समानांतर और क्लस्टर कंप्यूटिंग)
  • प्रकाशन समय: 2 जनवरी 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2501.01356

सारांश

यह पेपर विघटित प्रणालियों में जटिल NUMA टोपोलॉजी के अनुप्रयोग प्रदर्शन पर प्रभाव का अध्ययन करता है और एक सुधारित NUMA-जागरूक मानचित्रण विधि प्रस्तावित करता है। यह विधि आभासी कोर बाइंडिंग और मेमोरी माइग्रेशन पर आधारित है, जो अनुप्रयोग प्रदर्शन, संसाधन प्रतिद्वंद्विता और उपयोग को एकीकृत रूप से विचार करती है। 6 वाणिज्यिक सर्वरों से बनी 288-कोर, लगभग 1TB मेमोरी वाली विघटित प्रणाली पर मूल्यांकन से डिफ़ॉल्ट Linux शेड्यूलर की तुलना में महत्वपूर्ण प्रदर्शन सुधार दिखाई देता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. विघटित प्रणाली आर्किटेक्चर चुनौतियाँ: विघटित प्रणालियाँ कई भौतिक सर्वरों के संसाधनों को एकत्रित करके संसाधन-गहन अनुप्रयोगों (जैसे सामाजिक नेटवर्क, खोज, मेमोरी डेटाबेस) का समर्थन करती हैं, लेकिन वितरित टोपोलॉजी असमान पहुंच विलंबता और प्रदर्शन समस्याओं का कारण बनती है
  2. बहु-स्तरीय NUMA जटिलता: प्रणाली में एकल मशीन के भीतर NUMA विशेषताएं और क्रॉस-मशीन दूरस्थ संसाधन पहुंच विलंबता दोनों मौजूद हैं, जो जटिल बहु-स्तरीय NUMA टोपोलॉजी बनाती हैं
  3. आभासीकरण वातावरण अनुकूलन: मौजूदा Linux शेड्यूलर इस जटिल संसाधन मानचित्रण परिदृश्य को प्रभावी ढंग से संभाल नहीं सकते

अनुसंधान महत्व

  • आधुनिक अनुप्रयोगों की कंप्यूटिंग संसाधनों की मांग एकल मशीन की क्षमता से अधिक है, विघटित प्रणालियाँ महत्वपूर्ण विकास दिशा बन गई हैं
  • संसाधन मानचित्रण रणनीति सीधे अनुप्रयोग प्रदर्शन को प्रभावित करती है, अनुचित मानचित्रण गंभीर प्रदर्शन गिरावट का कारण बन सकता है
  • संसाधन प्रतिद्वंद्विता, स्थानीयता और हस्तक्षेप की डिग्री के एकीकृत अनुकूलन पर विचार करने की आवश्यकता है

मौजूदा विधियों की सीमाएं

  • पारंपरिक NUMA अनुकूलन कार्य मुख्य रूप से छोटे पैमाने की प्रणालियों या सिमुलेशन मूल्यांकन पर केंद्रित हैं
  • बड़े पैमाने की विघटित प्रणालियों पर वास्तविक हार्डवेयर माप अनुसंधान की कमी है
  • संसाधन प्रतिद्वंद्विता, स्थानीयता और हस्तक्षेप की डिग्री के एकीकृत प्रभाव पर पर्याप्त विचार नहीं किया गया है

मुख्य योगदान

  1. विघटित प्रणालियों का पहला गहन वास्तविक माप अनुसंधान: वास्तविक विघटित हार्डवेयर पर गहन माप, संसाधन प्रतिद्वंद्विता, स्थानीयता और हस्तक्षेप की डिग्री पर विचार
  2. अनुप्रयोग वर्गीकरण और प्रदर्शन मेट्रिक्स प्रणाली: अनुप्रयोगों को वर्गीकृत करने के लिए Animal Classes वर्गीकरण विधि का उपयोग, IPC और MPI को प्रदर्शन संकेतक के रूप में उपयोग
  3. NUMA-जागरूक मानचित्रण एल्गोरिदम: अनुप्रयोग वर्गीकरण, संसाधन निकटता और रन-टाइम हार्डवेयर प्रदर्शन काउंटर पर विचार करने वाला ऑनलाइन मानचित्रण एल्गोरिदम प्रस्तावित करता है
  4. महत्वपूर्ण प्रदर्शन सुधार: वास्तविक प्रणाली पर औसत 50 गुना प्रदर्शन सुधार प्राप्त करता है

विधि विवरण

कार्य परिभाषा

इनपुट: आभासी मशीन अनुरोध (CPU कोर संख्या, मेमोरी आवश्यकता सहित), अनुप्रयोग वर्गीकरण, प्रणाली संसाधन स्थिति आउटपुट: आभासी CPU से भौतिक CPU का इष्टतम मानचित्रण योजना बाधाएं: संसाधन ओवरसबस्क्रिप्शन से बचें, NUMA दूरी को कम करें, अनुप्रयोगों के बीच हस्तक्षेप को कम करें

अनुप्रयोग वर्गीकरण प्रणाली

Animal Classes वर्गीकरण विधि के आधार पर अनुप्रयोगों को तीन श्रेणियों में विभाजित किया गया है:

  • Sheep (सौम्य प्रकार): कैश साझाकरण से प्रभावित न होने वाले अनुप्रयोग
  • Rabbit (संवेदनशील प्रकार): तेजी से प्रदर्शन करने वाले लेकिन कैश आवंटन अपर्याप्त या साझाकरण से प्रभावित होने वाले अनुप्रयोग
  • Devil (विनाशकारी प्रकार): कैश को बार-बार एक्सेस करने वाले और उच्च मिस दर वाले, अन्य अनुप्रयोगों के प्रदर्शन को प्रभावित करने वाले अनुप्रयोग

साथ ही दूरस्थ मेमोरी संवेदनशीलता के आधार पर संवेदनशील/असंवेदनशील दो श्रेणियों में आगे वर्गीकृत किया गया है।

मानचित्रण एल्गोरिदम आर्किटेक्चर

दो-चरणीय मानचित्रण रणनीति

चरण 1: दूरस्थता प्रबंधन (अनुप्रयोग आगमन पर)

if VMi is a new arrival then
    if Free slot is suitable for VMi given ci, ai then
        Map VMi directly
    else
        Reshuffle existing VMs to create suitable slot
        Map VMi to new slot

चरण 2: हस्तक्षेप न्यूनीकरण (रन-टाइम अनुकूलन)

for each VMi do
    if (expected_perf - measured_perf)/expected_perf ≥ Threshold then
        Add VMi to affected list
        
for each affected VM do
    Build potential neighbor list based on class compatibility
    Compute new configuration with minimal reshuffle
    Remap if beneficial

अनुप्रयोग संगतता मैट्रिक्स

अनुप्रयोग प्रकारSheepRabbitDevil
Sheep✓✓✓
Rabbit✓✗✗
Devil✓✗✓

लाभ मूल्यांकन मैट्रिक्स

अनुप्रयोग प्रकारSocket स्तरNUMA नोड स्तरसर्वर स्तर
Sheep158
Rabbit479
Devil169

प्रदर्शन निगरानी तंत्र

  • IPC (प्रति चक्र निर्देश): अनुप्रयोग के सापेक्ष प्रदर्शन को इंगित करता है, मान जितना अधिक होगा प्रदर्शन उतना बेहतर होगा
  • MPI (प्रति निर्देश मिस): कैश मिस दर को मापता है, मान जितना कम होगा प्रदर्शन उतना बेहतर होगा
  • Linux Perf उपकरण का उपयोग करके वास्तविक समय में हार्डवेयर प्रदर्शन काउंटर एकत्र करता है

प्रायोगिक सेटअप

हार्डवेयर प्लेटफॉर्म

  • प्रणाली कॉन्फ़िगरेशन: 6 IBM x3755 M3 सर्वर
  • प्रोसेसर: प्रत्येक 2×AMD 6380 (48 कोर)
  • मेमोरी: प्रत्येक 192GB RAM, कुल 1176GB
  • नेटवर्क: NumaConnect N323 एडेप्टर, 2D रिंग टोपोलॉजी
  • कुल संसाधन: 288 कोर, लगभग 1TB मेमोरी

NumaConnect तकनीकी विशेषताएं

  • कैश सुसंगतता साझा मेमोरी प्रणाली
  • एकीकृत प्रोग्रामिंग मॉडल, अनुप्रयोगों के लिए पारदर्शी
  • NUMA दूरी: स्थानीय 10, पड़ोसी 16/22, दूरस्थ 160/200

प्रायोगिक कार्यभार

अनुप्रयोगप्रकारवर्गीकरणविशेषताएं
Neo4jग्राफ डेटाबेसSheepCPU और मेमोरी गहन
Sockshopमाइक्रोसर्विसेजSheepक्लाउड अनुप्रयोग प्रतिनिधि
Derbyबेंचमार्कSheepडेटाबेस बेंचमार्क
SPECjvm2008बेंचमार्कRabbit/DevilJava रनटाइम प्रदर्शन
Streamमेमोरी बैंडविड्थ-मेमोरी बैंडविड्थ परीक्षण

VM प्रकार कॉन्फ़िगरेशन

VM प्रकारCPU कोर संख्यामेमोरी (GB)संख्या
Small41612
Medium8324
Large16642
Huge722882

प्रायोगिक परिणाम

मुख्य प्रदर्शन सुधार

डिफ़ॉल्ट Linux शेड्यूलर (Vanilla) की तुलना में, प्रस्तावित एल्गोरिदम महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है:

अनुप्रयोगSM-IPC सुधारSM-MPI सुधार
Derby215×241×
FFT33×37×
Sockshop25×23×
Sunflow34×34×
Mpegaudio5×5×
SOR17×23×
Neo4j8×8×
Stream105×105×

प्रदर्शन स्थिरता विश्लेषण

  • Vanilla एल्गोरिदम: मानक विचलन से औसत प्रदर्शन का अनुपात >0.4, अप्रत्याशित प्रदर्शन
  • SM-IPC/SM-MPI: यह अनुपात <0.04, स्थिर और पूर्वानुमानित प्रदर्शन

VM आकार प्रभाव विश्लेषण

Stream अनुप्रयोग के उदाहरण में, विभिन्न VM आकारों के तहत प्रदर्शन सुधार:

VM प्रकारSM-IPC सुधारSM-MPI सुधार
Small48×47×
Medium105×105×
Large41×39×
Huge2×2×

मुख्य निष्कर्ष:

  • Huge VM प्रदर्शन सुधार अपेक्षाकृत छोटा है, क्योंकि बड़े VM में स्वाभाविक रूप से बेहतर स्थानीयता होती है
  • छोटे से मध्यम आकार के VM को सबसे अधिक लाभ मिलता है, क्योंकि वे अनुचित मानचित्रण से अधिक प्रभावित होते हैं

NUMA दूरी प्रभाव

Mpegaudio अनुप्रयोग विभिन्न NUMA दूरियों के तहत प्रदर्शन:

  • स्थानीय पहुंच: आधार प्रदर्शन (1.0)
  • पड़ोसी पहुंच (दूरी 16/22): प्रदर्शन में लगभग 5-10% की गिरावट
  • दूरस्थ पहुंच (दूरी 160/200): अधिकतम 17% प्रदर्शन गिरावट

संबंधित कार्य

पारंपरिक NUMA अनुकूलन अनुसंधान

  • Panagouirgious: NUMA प्रणालियों के प्रदर्शन पर मेमोरी स्थान के प्रभाव को सिद्ध करता है
  • Lepers आदि: x86 प्रणालियों पर असमान इंटरकनेक्ट के प्रभाव का अध्ययन करता है
  • Mayo और Gross: डेटा स्थानीयता को कम करने के लिए थ्रेड प्लेसमेंट एल्गोरिदम प्रस्तावित करता है

आभासीकरण वातावरण अनुकूलन

  • Rao आदि: पक्षपाती यादृच्छिक vCPU माइग्रेशन एल्गोरिदम प्रस्तावित करता है
  • Tang आदि: Google के बड़े पैमाने की उत्पादन वातावरण में NUMA प्रभाव का अध्ययन करता है

इस पेपर की नवीनता

  • विघटित प्रणालियों पर वास्तविक हार्डवेयर का पहला गहन अनुसंधान
  • संसाधन प्रतिद्वंद्विता, स्थानीयता और हस्तक्षेप की डिग्री को एकीकृत रूप से विचार करता है
  • अनुप्रयोग वर्गीकरण और मानचित्रण एल्गोरिदम की पूर्ण ढांचा प्रदान करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. महत्वपूर्ण प्रदर्शन सुधार: प्रस्तावित NUMA-जागरूक मानचित्रण एल्गोरिदम डिफ़ॉल्ट शेड्यूलर की तुलना में औसत 50 गुना प्रदर्शन सुधार प्राप्त करता है
  2. स्थिरता में सुधार: प्रदर्शन परिवर्तनशीलता में भारी कमी, पूर्वानुमानित प्रदर्शन प्रदान करता है
  3. अनुप्रयोग वर्गीकरण की प्रभावशीलता: Animal Classes पर आधारित वर्गीकरण विधि संसाधन मानचित्रण निर्णयों को प्रभावी ढंग से निर्देशित कर सकती है

सीमाएं

  1. स्थिर वर्गीकरण धारणा: वर्तमान अनुप्रयोग वर्गीकरण स्थिर है, अनुप्रयोग व्यवहार के गतिशील परिवर्तन पर विचार नहीं करता है
  2. सीमित कार्यभार प्रकार: मूल्यांकन मुख्य रूप से विशिष्ट प्रकार के अनुप्रयोगों पर केंद्रित है
  3. विशिष्ट हार्डवेयर प्लेटफॉर्म: प्रयोग केवल NumaConnect प्लेटफॉर्म पर किए गए हैं

भविष्य की दिशाएं

  1. Linux शेड्यूलर ट्यूनिंग: Linux शेड्यूलर को ट्यून करके यादृच्छिकता को कम करने के प्रभाव का अनुसंधान
  2. मेमोरी माइग्रेशन तकनीक: libvirt में "memory follows cores" मेमोरी माइग्रेशन तकनीक का उपयोग
  3. गतिशील अनुप्रयोग वर्गीकरण: रन-टाइम अनुप्रयोग व्यवहार विश्लेषण और गतिशील पुनः वर्गीकरण तंत्र विकसित करना

गहन मूल्यांकन

शक्तियां

  1. उच्च व्यावहारिक मूल्य: वास्तविक हार्डवेयर पर मूल्यांकन, परिणामों में मजबूत व्यावहारिकता है
  2. पूर्ण पद्धति: समस्या विश्लेषण से समाधान डिजाइन तक प्रायोगिक सत्यापन तक एक पूर्ण प्रणाली बनाता है
  3. महत्वपूर्ण प्रदर्शन सुधार: प्रायोगिक परिणाम विशाल प्रदर्शन सुधार की गुंजाइश दिखाते हैं
  4. व्यवस्थित अनुसंधान: कई प्रभावशाली कारकों पर विचार करता है, व्यापक समाधान प्रदान करता है

कमियां

  1. प्लेटफॉर्म निर्भरता: अनुसंधान मुख्य रूप से NumaConnect प्लेटफॉर्म पर आधारित है, अन्य विघटित प्रणालियों पर प्रयोज्यता को सत्यापित करने की आवश्यकता है
  2. कार्यभार कवरेज: मूल्यांकन किए गए अनुप्रयोग प्रकार अपेक्षाकृत सीमित हैं, अधिक विविध कार्यभार सत्यापन की आवश्यकता है
  3. गतिशीलता की कमी: एल्गोरिदम की प्रणाली भार गतिशील परिवर्तन के अनुकूलन क्षमता को आगे के अनुसंधान की आवश्यकता है
  4. सैद्धांतिक विश्लेषण की कमी: एल्गोरिदम जटिलता और अभिसरण के सैद्धांतिक विश्लेषण की कमी है

प्रभाव

  1. क्षेत्र योगदान: विघटित प्रणालियों के संसाधन प्रबंधन के लिए महत्वपूर्ण सैद्धांतिक आधार और व्यावहारिक मार्गदर्शन प्रदान करता है
  2. व्यावहारिक मूल्य: एल्गोरिदम को क्लाउड कंप्यूटिंग और उच्च-प्रदर्शन कंप्यूटिंग वातावरण में सीधे लागू किया जा सकता है
  3. पुनरुत्पादनीयता: लेखक स्रोत कोड प्रदान करने का वादा करते हैं, अनुसंधान परिणामों के प्रचार और सत्यापन में सहायता करता है

प्रयोज्य परिदृश्य

  1. बड़े पैमाने की क्लाउड कंप्यूटिंग वातावरण: विशेष रूप से संसाधन पूलिंग वाली क्लाउड अवसंरचना के लिए उपयुक्त
  2. उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर: HPC अनुप्रयोगों के संसाधन आवंटन को अनुकूलित करने के लिए उपयोग किया जा सकता है
  3. मेमोरी-गहन अनुप्रयोग: ग्राफ डेटाबेस, इन-मेमोरी कंप्यूटिंग जैसे अनुप्रयोगों के लिए उल्लेखनीय प्रभाव
  4. आभासीकृत डेटा केंद्र: मौजूदा आभासीकरण प्रबंधन प्रणालियों में एकीकृत किया जा सकता है

संदर्भ

यह पेपर 26 संबंधित संदर्भों का हवाला देता है, जो विघटित प्रणालियों, NUMA अनुकूलन, आभासीकरण तकनीक और अन्य कई क्षेत्रों के महत्वपूर्ण अनुसंधान परिणामों को कवर करते हैं, जो अनुसंधान कार्य के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह विघटित प्रणाली संसाधन प्रबंधन क्षेत्र में महत्वपूर्ण योगदान वाला एक पेपर है, जो कठोर प्रायोगिक डिजाइन और पर्याप्त प्रदर्शन मूल्यांकन के माध्यम से NUMA-जागरूक मानचित्रण एल्गोरिदम की प्रभावशीलता को सिद्ध करता है। हालांकि कुछ सीमाएं हैं, लेकिन इसका व्यावहारिक मूल्य और शैक्षणिक योगदान दोनों बहुत महत्वपूर्ण हैं, जो इस क्षेत्र के आगे विकास के लिए आधार तैयार करते हैं।