2025-11-24T10:40:17.913420

Efficiently Executing High-throughput Lightweight LLM Inference Applications on Heterogeneous Opportunistic GPU Clusters with Pervasive Context Management

Phung, Thain
The rise of Generative AI introduces a new class of HPC workloads that integrates lightweight LLMs with traditional high-throughput applications to accelerate scientific discovery. The current design of HPC clusters is inadequate to support this new class however, either incurring long wait times on static batch queues or repeatedly paying expensive LLM startup costs upon resource preemption. To circumvent both the long queues and high startup costs, we propose to "decouple" the LLM initialization context from the actual LLM inferences, and retain the context in GPUs until it is no longer needed, a technique we term "Pervasive Context Management". We transform a fact verification application to enable this technique, allowing it to reduce its execution time by 72.1% (from 3 hours to 48 minutes) using the same amount of GPUs, and scale opportunistically on 32.8% of all GPUs in the cluster and further reduce the execution time to 13 minutes.
academic

विषमजातीय अवसरवादी GPU क्लस्टर पर व्यापक संदर्भ प्रबंधन के साथ उच्च-थ्रूपुट हल्के LLM अनुमान अनुप्रयोगों को कुशलतापूर्वक निष्पादित करना

मूल जानकारी

  • पेपर ID: 2510.14024
  • शीर्षक: विषमजातीय अवसरवादी GPU क्लस्टर पर व्यापक संदर्भ प्रबंधन के साथ उच्च-थ्रूपुट हल्के LLM अनुमान अनुप्रयोगों को कुशलतापूर्वक निष्पादित करना
  • लेखक: थान्ह सन फुंग, डगलस थेन (नोट्रे डेम विश्वविद्यालय)
  • वर्गीकरण: cs.DC (वितरित कंप्यूटिंग)
  • प्रकाशन समय: 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.14024

सारांश

जनरेटिव AI के उदय ने HPC कार्यभार का एक नया वर्ग प्रस्तुत किया है, जो वैज्ञानिक खोज को त्वरित करने के लिए हल्के LLM को पारंपरिक उच्च-थ्रूपुट अनुप्रयोगों के साथ एकीकृत करता है। हालांकि, वर्तमान HPC क्लस्टर डिजाइन इस प्रकार के नए कार्यभार को पर्याप्त रूप से समर्थन नहीं कर सकते हैं, या तो स्थिर बैच प्रसंस्करण कतारों में लंबे प्रतीक्षा समय का कारण बनते हैं या संसाधन पुनः प्राप्ति के समय महंगे LLM स्टार्टअप लागत को बार-बार सहन करते हैं। लंबी कतारों और उच्च स्टार्टअप लागत से बचने के लिए, यह पेपर LLM प्रारंभिकीकरण संदर्भ को वास्तविक LLM अनुमान से "अलग" करने का प्रस्ताव देता है और GPU में संदर्भ को तब तक बनाए रखता है जब तक इसकी आवश्यकता न हो, इस तकनीक को "व्यापक संदर्भ प्रबंधन" (Pervasive Context Management) कहा जाता है। तथ्य सत्यापन अनुप्रयोग के पुनर्निर्माण के माध्यम से, यह तकनीक निष्पादन समय को 72.1% तक कम करती है (3 घंटे से 48 मिनट तक), और क्लस्टर के 32.8% GPU पर अवसरवादी रूप से विस्तारित हो सकती है, निष्पादन समय को और भी 13 मिनट तक कम करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

बड़ी भाषा मॉडल (LLM) तकनीक के तीव्र विकास के साथ, HPC कार्यभार का एक नया वर्ग उभर रहा है, जो हल्के LLM अनुमान (आमतौर पर अरबों पैरामीटर वाले) को पारंपरिक उच्च-थ्रूपुट अनुप्रयोगों में एकीकृत करता है। ये अनुप्रयोग प्रोटीन फोल्डिंग, वितरित AI-संचालित वैज्ञानिक कंप्यूटिंग और अन्य क्षेत्रों में विशाल संभावनाएं प्रदर्शित करते हैं।

मुख्य चुनौतियाँ

  1. स्थिर आवंटन मॉडल की सीमाएं: पारंपरिक स्थिर GPU आवंटन मॉडल को GPU के निश्चित आकार के बैच के एकमात्र स्वामित्व की आवश्यकता होती है, जिससे गंभीर कतार प्रतीक्षा समय और क्लस्टर संसाधन उपयोग में कमी होती है
  2. अवसरवादी आवंटन की स्टार्टअप लागत: हालांकि अवसरवादी संसाधन आवंटन गतिशील रूप से उपलब्ध GPU संसाधनों का उपयोग कर सकता है, लेकिन LLM की स्टार्टअप प्रक्रिया (अरबों पैरामीटर मॉडल को वितरित फाइल सिस्टम से स्थानीय डिस्क, होस्ट मेमोरी में लोड करना, अंततः GPU मेमोरी में) I/O-गहन है और कई मिनट का समय ले सकता है
  3. संसाधन पुनः प्राप्ति की लागत: जब कार्य को पुनः प्राप्त किया जाता है, तो पूरी महंगी स्टार्टअप प्रक्रिया को नए संसाधनों पर फिर से निष्पादित किया जाना चाहिए, जिससे अक्सर स्टार्टअप लागत वास्तविक कंप्यूटिंग समय से अधिक हो जाती है

मौजूदा विधियों की कमियाँ

  • स्वचालित स्केलिंग फ्रेमवर्क: सक्रिय सिद्धांत के आधार पर डिजाइन किए गए हैं, निष्क्रिय अवसरवादी HPC वातावरण के लिए अनुपयुक्त हैं
  • पारंपरिक दोष सहिष्णुता तकनीकें: जैसे चेकपॉइंटिंग तंत्र केवल कंप्यूटिंग प्रगति की रक्षा कर सकते हैं, मॉडल लोडिंग लागत समस्या को हल नहीं कर सकते हैं

मुख्य योगदान

  1. व्यापक संदर्भ प्रबंधन तकनीक का प्रस्ताव: LLM प्रारंभिकीकरण संदर्भ को क्लस्टर में एक प्रथम श्रेणी के स्थायी इकाई के रूप में उन्नत करता है, कई कार्यों में पुनः उपयोग को सक्षम करता है
  2. Parsl-TaskVine फ्रेमवर्क के आधार पर उच्च-थ्रूपुट तथ्य सत्यापन अनुप्रयोग का कार्यान्वयन: वितरित डेटा-गहन फ्रेमवर्क में हल्के LLM के अनुप्रयोग को प्रदर्शित करता है
  3. तीव्र अनुप्रयोग रूपांतरण विधि का डिजाइन: सरल कोड पुनर्निर्माण के माध्यम से अनुप्रयोगों को संदर्भ-जागरूक बनाता है
  4. महत्वपूर्ण प्रदर्शन सुधार का सत्यापन: समान GPU संख्या पर निष्पादन समय में 72.1% की कमी, और क्लस्टर के 32.8% GPU पर अवसरवादी विस्तार

विधि विवरण

कार्य परिभाषा

यह अनुसंधान उच्च-थ्रूपुट हल्के LLM अनुमान अनुप्रयोगों को लक्षित करता है, विशेष रूप से विषमजातीय अवसरवादी GPU क्लस्टर पर बड़ी संख्या में स्वतंत्र अनुमान कार्यों को निष्पादित करने की आवश्यकता वाले परिदृश्य। इनपुट बड़ी संख्या में अनुमान अनुरोध हैं, आउटपुट अनुमान परिणाम हैं, बाधाएं GPU संसाधनों की गतिशील उपलब्धता और अप्रत्याशित पुनः प्राप्ति को शामिल करती हैं।

मुख्य आर्किटेक्चर: व्यापक संदर्भ प्रबंधन

1. समग्र डिजाइन दर्शन

व्यापक संदर्भ प्रबंधन का मुख्य विचार महंगे LLM संदर्भ प्रारंभिकीकरण को वास्तविक अनुमान निष्पादन से अलग करना है, जिससे संदर्भ क्लस्टर नोड्स के बीच स्थायी और पुनः उपयोग योग्य एक प्रथम श्रेणी की इकाई बन जाती है।

2. तकनीकी कार्यान्वयन फ्रेमवर्क

Parsl-TaskVine एकीकरण फ्रेमवर्क के आधार पर:

  • Parsl: Python मूल समानांतर पुस्तकालय प्रदान करता है, जो उपयोगकर्ताओं को सामान्य Python फ़ंक्शन के माध्यम से कंप्यूटिंग आवश्यकताओं को व्यक्त करने की अनुमति देता है
  • TaskVine: निम्न-स्तरीय डेटा-गहन कार्यप्रवाह निष्पादन इंजन, कार्यों के बीच संबंधों और शेड्यूलिंग अनुकूलन को संभालता है

3. संदर्भ प्रबंधन तंत्र

# पारंपरिक विधि (संदर्भ-अज्ञेय)
@python_app
def infer(model_path, claims):
    model = AutoModel.from_pretrained(model_path).to('gpu')
    verdicts = [model.generate(claim) for claim in claims]
    return verdicts

# सुधारी गई विधि (संदर्भ-जागरूक)
def load_model(model_path):
    model = AutoModel.from_pretrained(model_path).to('gpu')
    return {'model': model}

@python_app
def infer_model(claims, parsl_spec):
    model = load_variable_from_serverless('model')
    verdicts = [model.generate(claim) for claim in claims]
    return verdicts

4. कार्यप्रवाह प्रक्रिया

  1. संदर्भ विश्लेषण: शेड्यूलर फ़ंक्शन F की संदर्भ आवश्यकताओं का विश्लेषण करता है
  2. संदर्भ निर्माण: कार्य नोड पर Library प्रक्रिया बनाता है, जो संदर्भ के भौतिकीकरण और होस्टिंग के लिए जिम्मेदार है
  3. संदर्भ पुनः उपयोग: बाद के कार्य सीधे पहले से प्रारंभिक संदर्भ का उपयोग करके अनुमान निष्पादित करते हैं
  4. संदर्भ स्थानांतरण: नोड्स के बीच संदर्भ टेम्पलेट साझा करने के लिए बिंदु-से-बिंदु स्थानांतरण के माध्यम से

तकनीकी नवाचार बिंदु

  1. संदर्भ और कंप्यूटिंग का अलगाव: मॉडल लोडिंग और अनुमान निष्पादन को अलग करता है, जिससे संदर्भ कार्यों में पुनः उपयोग योग्य हो सकता है
  2. वितरित संदर्भ कैश: GPU नोड्स पर LLM संदर्भ को स्थायी करता है, दोहराए गए प्रारंभिकीकरण से बचता है
  3. बुद्धिमान शेड्यूलिंग रणनीति: कार्यों को पहले से ही संबंधित संदर्भ वाले नोड्स पर प्राथमिकता देता है
  4. बिंदु-से-बिंदु संदर्भ स्थानांतरण: नए जोड़े गए GPU अन्य नोड्स से सीधे संदर्भ टेम्पलेट प्राप्त कर सकते हैं

प्रयोगात्मक सेटअप

अनुप्रयोग परिदृश्य

तथ्य सत्यापन अनुप्रयोग (Prompt for Fact, PfF):

  • उद्देश्य: दिए गए LLM के लिए सर्वोत्तम प्रॉम्प्ट टेम्पलेट खोजना, जिसका उपयोग तथ्य सत्यापनकर्ता के रूप में किसी भी दावे की सत्यता की जांच करने के लिए किया जाता है
  • डेटासेट: FEVER प्रशिक्षण डेटा, जिसमें 145,449 दावे हैं, जिन्हें SUPPORTED, REFUTED या NOT ENOUGH INFO के रूप में लेबल किया गया है
  • मॉडल: SmolLM2 (1.7 बिलियन पैरामीटर)

प्रयोगात्मक वातावरण

स्थानीय क्लस्टर कॉन्फ़िगरेशन:

  • कुल 567 GPU, 18 विभिन्न मॉडल
  • संसाधन प्रबंधक: Altair Grid Engine (AGE) + HTCondor
  • भंडारण: Panasas ActiveStor 16 साझा फाइल सिस्टम
  • नेटवर्क: 84 Gbs/s पढ़ने की बैंडविड्थ और 94k पढ़ने IOPS का समर्थन करता है

फ्रेमवर्क कॉन्फ़िगरेशन:

  • प्रत्येक कार्य: 2 कोर, 10GB मेमोरी, 20GB डिस्क, 1 GPU
  • प्रत्येक कार्य नोड: 2 कोर, 10GB मेमोरी, 70GB डिस्क, 1 GPU
  • मॉडल आकार: 3.7GB डिस्क स्पेस, 7.4GB मेमोरी
  • सॉफ्टवेयर निर्भरताएं: 308 पैकेज, कुल 10.5GB

प्रयोगात्मक संस्करण डिजाइन

  1. Context-agnostic: प्रत्येक कार्य साझा फाइल सिस्टम से सभी डेटा और मॉडल को फिर से लोड करता है
  2. Partial-context: इनपुट डेटा को स्थानीय डिस्क में कैश करता है, लेकिन अभी भी GPU मॉडल स्थिति को फिर से बनाने की आवश्यकता है
  3. Full-context: व्यापक संदर्भ प्रबंधन को पूरी तरह सक्षम करता है, GPU में मॉडल स्थिति को कैश करता है

प्रयोगात्मक परिणाम

मुख्य प्रदर्शन सुधार

RQ1: स्थिर संसाधनों पर अनुप्रयोग प्रदर्शन

20 GPU (10 NVIDIA A10 + 10 NVIDIA TITAN X Pascal) पर प्रयोग के परिणाम:

  • Context-agnostic: 10,400 सेकंड
  • Partial-context: 5,300 सेकंड (49.1% सुधार)
  • Full-context: 2,900 सेकंड (72.1% सुधार)

RQ2: अनुमान बैच आकार संवेदनशीलता विश्लेषण

Full-context संस्करण विभिन्न बैच आकारों के तहत निष्पादन समय में केवल 13.6% की भिन्नता दिखाता है, जबकि Partial-context संस्करण बैच आकार 1 पर निष्पादन समय 141,100 सेकंड तक बढ़ जाता है, अत्यधिक संवेदनशीलता दिखाता है।

RQ3: आक्रामक संसाधन पुनः प्राप्ति परिदृश्य

प्रति मिनट 1 GPU पुनः प्राप्ति के आक्रामक परिदृश्य में:

  • Partial-context: 46,000 अनुमान पूर्ण करता है
  • Full-context: 62,900 अनुमान पूर्ण करता है (16,900 अधिक, 36.7% सुधार)

RQ4: अवसरवादी संसाधन विस्तार

  • कम क्षमता परिदृश्य: 4 GPU से 20 GPU तक विस्तार, 5000 सेकंड में पूर्ण
  • उच्च क्षमता परिदृश्य: 186 GPU तक विस्तार (क्लस्टर का 32.8%), 783 सेकंड में पूर्ण (13 मिनट के बराबर)

मुख्य निष्कर्ष

  1. स्टार्टअप लागत का महत्वपूर्ण प्रभाव: पारंपरिक विधियों में मॉडल लोडिंग समय अक्सर वास्तविक कंप्यूटिंग समय से अधिक होता है
  2. संदर्भ पुनः उपयोग का मूल्य: एक बार प्रारंभिकीकरण कई अनुमान कार्यों को सेवा दे सकता है, दक्षता में बड़ी वृद्धि करता है
  3. विषमजातीय वातावरण की अनुकूलता: यह विधि 8 प्रमुख GPU मॉडल वाले विषमजातीय क्लस्टर में अच्छी तरह काम करती है
  4. विस्तारशीलता सत्यापन: 186 GPU पर सफलतापूर्वक समवर्ती निष्पादन, उत्कृष्ट स्केलेबिलिटी प्रदर्शित करता है

संबंधित कार्य

Spot इंस्टेंस अनुसंधान

क्लाउड कंप्यूटिंग में Spot इंस्टेंस समान अवसरवादी कंप्यूटिंग मोड प्रदान करते हैं, लेकिन आमतौर पर 30-120 सेकंड की पुनः प्राप्ति पूर्वचेतावनी समय प्रदान करते हैं, जबकि HPC वातावरण में पुनः प्राप्ति अक्सर तात्कालिक होती है, पारंपरिक स्थिति सहेजने तंत्र अप्रभावी हैं।

LLM अनुमान अनुकूलन

मौजूदा अनुसंधान मुख्य रूप से केंद्रित है:

  • अनुमानित डिकोडिंग: बड़े मॉडल अनुमान को त्वरित करने के लिए छोटे मॉडल का उपयोग करके tokens की भविष्यवाणी करता है
  • KV कैश प्रबंधन: ध्यान तंत्र की मेमोरी उपयोग को अनुकूलित करता है
  • क्लाउड तैनाती: मॉडल चेकपॉइंट को कैश करने के लिए स्थानीय भंडारण का उपयोग करता है

कार्यप्रवाह प्रणाली

पारंपरिक संसाधन प्रबंधकों से आधुनिक Python मूल कार्यप्रवाह प्रणालियों तक विकास, यह पेपर का Parsl-TaskVine एकीकरण कंप्यूटिंग संदर्भ साझाकरण का समर्थन करने की नई दिशा का प्रतिनिधित्व करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. व्यापक संदर्भ प्रबंधन तकनीक अवसरवादी GPU क्लस्टर पर हल्के LLM अनुप्रयोगों की दक्षता समस्या को सफलतापूर्वक हल करती है
  2. संदर्भ और कंप्यूटिंग के अलगाव के माध्यम से, 72.1% निष्पादन समय में कमी प्राप्त की जाती है
  3. यह विधि बैच आकार चयन की जटिलता को महत्वपूर्ण रूप से कम करती है, सिस्टम की मजबूती में सुधार करती है

सीमाएं

  1. मॉडल आकार सीमा: केवल एकल-नोड संसाधन सीमा के भीतर हल्के LLM के लिए उपयुक्त है
  2. प्रबंधन ओवरहेड: संदर्भ प्रतिलिपि और कैशिंग अतिरिक्त प्रबंधन लागत का परिचय देते हैं
  3. निर्भरता आवश्यकताएं: प्रभाव प्रबंधन ओवरहेड पर निर्भर करता है जो ठंडे स्टार्टअप लागत से महत्वपूर्ण रूप से कम हो

भविष्य की दिशाएं

  1. बड़े पैमाने पर बहु-नोड LLM तैनाती का समर्थन करना
  2. संदर्भ स्थानांतरण और कैशिंग रणनीतियों को अनुकूलित करना
  3. अन्य प्रकार के गहन शिक्षण अनुप्रयोगों तक विस्तार करना

गहन मूल्यांकन

शक्तियां

  1. समस्या पहचान सटीक: HPC वातावरण में LLM अनुप्रयोगों की मुख्य बाधा को सटीक रूप से पहचानता है
  2. समाधान नवाचार: संदर्भ प्रबंधन की अवधारणा नई और व्यावहारिक है
  3. व्यापक प्रयोगात्मक डिजाइन: स्थिर संसाधनों से गतिशील पुनः प्राप्ति तक, कई वास्तविक परिदृश्यों को कवर करता है
  4. महत्वपूर्ण प्रदर्शन सुधार: 72.1% निष्पादन समय में कमी और क्लस्टर GPU के 32.8% का अवसरवादी उपयोग

कमियां

  1. सीमित अनुप्रयोग सीमा: केवल हल्के LLM के लिए उपयुक्त, बड़े पैमाने के मॉडल के लिए सीमित समर्थन
  2. अपर्याप्त सैद्धांतिक विश्लेषण: इष्टतम बैच आकार और संदर्भ प्रबंधन रणनीतियों के सैद्धांतिक विश्लेषण की कमी
  3. सीमित सामान्यता सत्यापन: केवल तथ्य सत्यापन अनुप्रयोग पर सत्यापित, अन्य अनुप्रयोगों की प्रयोज्यता को आगे सत्यापन की आवश्यकता है

प्रभाव

  1. शैक्षणिक मूल्य: HPC वातावरण में AI कार्यभार प्रबंधन के लिए नई सोच प्रदान करता है
  2. व्यावहारिक मूल्य: वर्तमान वैज्ञानिक कंप्यूटिंग परिदृश्यों पर सीधे लागू होता है
  3. पुनरुत्पादनीयता: खुले स्रोत फ्रेमवर्क पर आधारित, पुनरुत्पादन और विस्तार में आसान

प्रयोज्य परिदृश्य

  1. बड़ी संख्या में स्वतंत्र LLM अनुमान की आवश्यकता वाले वैज्ञानिक अनुप्रयोग
  2. गतिशील संसाधन परिवर्तन वाले HPC वातावरण
  3. स्टार्टअप विलंबता के प्रति संवेदनशील उच्च-थ्रूपुट अनुप्रयोग

संदर्भ

पेपर ने 61 संबंधित संदर्भों का हवाला दिया है, जिसमें LLM तकनीक, HPC शेड्यूलिंग, कार्यप्रवाह प्रणाली और अन्य क्षेत्रों के महत्वपूर्ण कार्य शामिल हैं, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह HPC वातावरण में उभरते AI कार्यभार के लिए एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है। लेखकों ने वास्तविक समस्या को सटीक रूप से पहचाना है, एक नवीन समाधान प्रस्तावित किया है, और व्यापक प्रयोगों के माध्यम से विधि की प्रभावशीलता को सत्यापित किया है। हालांकि प्रयोज्य सीमा और सैद्धांतिक विश्लेषण के संदर्भ में कुछ सीमाएं हैं, लेकिन यह संबंधित क्षेत्रों के अनुसंधान और व्यवहार के लिए मूल्यवान योगदान प्रदान करता है।