2025-11-15T16:58:11.980929

Prompt engineering and its implications on the energy consumption of Large Language Models

Rubei, Moussaid, di Sipio et al.
Reducing the environmental impact of AI-based software systems has become critical. The intensive use of large language models (LLMs) in software engineering poses severe challenges regarding computational resources, data centers, and carbon emissions. In this paper, we investigate how prompt engineering techniques (PETs) can impact the carbon emission of the Llama 3 model for the code generation task. We experimented with the CodeXGLUE benchmark to evaluate both energy consumption and the accuracy of the generated code using an isolated testing environment. Our initial results show that the energy consumption of LLMs can be reduced by using specific tags that distinguish different prompt parts. Even though a more in-depth evaluation is needed to confirm our findings, this work suggests that prompt engineering can reduce LLMs' energy consumption during the inference phase without compromising performance, paving the way for further investigations.
academic

प्रॉम्प्ट इंजीनियरिंग और बड़े भाषा मॉडल की ऊर्जा खपत पर इसके प्रभाव

मूल जानकारी

  • पेपर ID: 2501.05899
  • शीर्षक: प्रॉम्प्ट इंजीनियरिंग और बड़े भाषा मॉडल की ऊर्जा खपत पर इसके प्रभाव
  • लेखक: रिकार्डो रुबेई, आइशा मौसैद, क्लाउडियो डी सिपियो, डेविड डी रुस्किओ (यूनिवर्सिटी ऑफ एल'एक्विला)
  • वर्गीकरण: cs.SE (सॉफ्टवेयर इंजीनियरिंग)
  • प्रकाशन तिथि: 10 जनवरी 2025
  • पेपर लिंक: https://arxiv.org/abs/2501.05899

सारांश

कृत्रिम बुद्धिमत्ता प्रणालियों के पर्यावरणीय प्रभाव के बारे में चिंता बढ़ने के साथ, बड़े भाषा मॉडल (LLMs) का सॉफ्टवेयर इंजीनियरिंग में गहन उपयोग कम्प्यूटेशनल संसाधनों, डेटा सेंटर और कार्बन उत्सर्जन में गंभीर चुनौतियाँ लाता है। यह पेपर अध्ययन करता है कि प्रॉम्प्ट इंजीनियरिंग तकनीकें (PETs) कोड जनरेशन कार्यों में Llama 3 मॉडल के कार्बन उत्सर्जन को कैसे प्रभावित करती हैं। अनुसंधान CodeXGLUE बेंचमार्क का उपयोग करता है, अलग-थलग परीक्षण वातावरण में ऊर्जा खपत और जनरेट किए गए कोड की सटीकता का मूल्यांकन करता है। प्रारंभिक परिणाम दर्शाते हैं कि विभिन्न प्रॉम्प्ट भागों को अलग करने के लिए विशिष्ट लेबल का उपयोग LLMs की ऊर्जा खपत को कम कर सकता है। हालांकि अनुसंधान निष्कर्षों की पुष्टि के लिए गहन मूल्यांकन की आवश्यकता है, यह कार्य दर्शाता है कि प्रॉम्प्ट इंजीनियरिंग प्रदर्शन को प्रभावित किए बिना LLMs के अनुमान चरण में ऊर्जा खपत को कम कर सकती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान को हल करने वाली मूल समस्या है: प्रॉम्प्ट इंजीनियरिंग तकनीकों के माध्यम से बड़े भाषा मॉडल के अनुमान चरण में ऊर्जा खपत को कैसे कम किया जाए, जबकि कोड जनरेशन कार्यों के प्रदर्शन को बनाए रखा जाए।

महत्व विश्लेषण

  1. पर्यावरणीय प्रभाव: LLMs के प्रशिक्षण और अनुमान प्रक्रिया बड़ी मात्रा में कम्प्यूटेशनल संसाधन का उपभोग करती है, जिससे महत्वपूर्ण कार्बन पदचिह्न उत्पन्न होता है। उदाहरण के लिए, कुछ मॉडल का कार्बन उत्सर्जन 5 कारों के आजीवन उत्सर्जन के बराबर है
  2. संसाधन चुनौतियाँ: LLMs को उच्च-प्रदर्शन कम्प्यूटिंग क्लस्टर की आवश्यकता होती है, प्रशिक्षण प्रक्रिया सप्ताह या महीनों तक चल सकती है
  3. मूल्यांकन कठिनाई: समानांतर कार्यों और गैर-एकाधिकार क्लस्टर उपयोग जैसे कारकों के कारण, HPC वातावरण में ऊर्जा खपत को मापना विशेष रूप से चुनौतीपूर्ण है
  4. मानक की कमी: यहाँ तक कि अच्छी तरह से बनाए गए LLMs लीडरबोर्ड बेंचमार्क भी ऊर्जा खपत की रिपोर्ट नहीं करते, केवल सटीकता मेट्रिक्स पर ध्यान केंद्रित करते हैं

मौजूदा विधियों की सीमाएँ

  1. मौजूदा अनुसंधान मुख्य रूप से हार्डवेयर स्तर पर प्रभाव माप पर केंद्रित है, प्रॉम्प्ट इंजीनियरिंग तकनीकों की ऊर्जा-बचत प्रभावों का व्यवस्थित अध्ययन नहीं है
  2. कार्बन उत्सर्जन माप के लिए मानकीकृत दिशानिर्देश और जानकारी की कमी है
  3. LLMs की खपत का मूल्यांकन करना चुनौतीपूर्ण है क्योंकि जनरेट किए गए कोड की परिवर्तनशीलता अधिक है

अनुसंधान प्रेरणा

हरित सॉफ्टवेयर इंजीनियरिंग (GSE) के विकास की आवश्यकता के आधार पर, यह पेपर अनुमान चरण में LLMs की ऊर्जा खपत को कम करने के लिए प्रॉम्प्ट इंजीनियरिंग तकनीकों का उपयोग करने पर केंद्रित है, AI प्रणालियों के टिकाऊ विकास के लिए नए समाधान प्रदान करता है।

मूल योगदान

  1. पहला व्यवस्थित अध्ययन: कई प्रॉम्प्ट इंजीनियरिंग तकनीकों और कस्टम लेबल के कोड पूर्णता कार्य निष्पादित करते समय LLMs की ऊर्जा खपत पर प्रभाव की जाँच की
  2. ट्रेड-ऑफ विश्लेषण: कार्बन उत्सर्जन, निष्पादन समय और जनरेट किए गए कोड की सटीकता के बीच ट्रेड-ऑफ संबंधों का अध्ययन किया, ऊर्जा दक्षता और मॉडल सटीकता के बीच संतुलन की खोज की
  3. प्रायोगिक निष्कर्ष: साबित किया कि कस्टम लेबल का उपयोग ऊर्जा खपत को महत्वपूर्ण रूप से कम कर सकता है (one-shot में 99% कमी, few-shots में 83% कमी)
  4. ओपन सोर्स योगदान: पूर्ण पुनरुत्पादन पैकेज प्रदान किया, इस क्षेत्र में आगे के अनुसंधान को बढ़ावा दिया

विधि विवरण

कार्य परिभाषा

कार्य: कोड पूर्णता (Code Completion)

  • इनपुट: अधूरा Java कोड स्निपेट
  • आउटपुट: कोड स्निपेट को पूरा करने वाली एक पंक्ति
  • बाधा: सटीकता बनाए रखते हुए ऊर्जा खपत को कम करना

प्रायोगिक आर्किटेक्चर

अनुसंधान ने एक पूर्ण प्रायोगिक वर्कफ़्लो डिज़ाइन किया:

  1. डेटा स्रोत: CodeXGLUE डेटासेट
  2. प्रॉम्प्ट निर्माता: इनपुट को Llama 3 के समझने योग्य प्रारूप में परिवर्तित करता है
  3. प्रॉम्प्ट एनहांसर: कस्टम लेबल का उपयोग करके प्रॉम्प्ट को बढ़ाता है
  4. स्थानीय रूप से तैनात Llama 3: कोड पूर्णता कार्य निष्पादित करता है
  5. ऊर्जा खपत निगरानी: CodeCarbon उपकरण का उपयोग करके प्रत्येक निष्पादन की निगरानी करता है
  6. परिणाम भंडारण: समस्याओं, उत्तरों और माप परिणामों को सहेजता है

प्रॉम्प्ट कॉन्फ़िगरेशन डिज़ाइन

अनुसंधान ने 5 विभिन्न प्रॉम्प्ट कॉन्फ़िगरेशन परिभाषित किए:

C0 - डिफ़ॉल्ट कॉन्फ़िगरेशन:

  • मॉडल भूमिका परिभाषित करता है, अधूरा कोड स्निपेट प्रदान करता है, कोई कस्टमाइज़ेशन नहीं
  • Zero-shot कोई उदाहरण नहीं, one-shot एक उदाहरण, few-shots पाँच उदाहरण

C1 - व्याख्या के बिना कस्टम लेबल:

{
  "role": "user",
  "content": "<code>package com.lmax.disruptor.support;</code><incomplete>public final</incomplete>"
}

C2 - व्याख्या के साथ कस्टम लेबल: प्रॉम्प्ट में कस्टम लेबल के अर्थ की व्याख्या एम्बेड करता है

C3 - सिस्टम भूमिका में कस्टम प्रॉम्प्ट: लेबल व्याख्या को सिस्टम भूमिका भाग में रखता है

C4 - कोई सिस्टम परिभाषा नहीं: सिस्टम भूमिका परिभाषा का बिल्कुल उपयोग नहीं करता, सीधे उपयोगकर्ता प्रॉम्प्ट में कार्य निर्देश शामिल करता है

तकनीकी नवाचार बिंदु

  1. कस्टम लेबल सिस्टम: इनपुट कोड और पूरा करने के लिए आवश्यक भाग को स्पष्ट करने के लिए <code> और <incomplete> लेबल पेश करता है
  2. बहु-आयामी मूल्यांकन: ऊर्जा खपत, निष्पादन समय और सटीकता मेट्रिक्स को एक साथ विचार करता है
  3. परिमाणीकरण तकनीक संयोजन: डिफ़ॉल्ट 32-बिट के बजाय 16-बिट फ्लोटिंग पॉइंट का उपयोग करके कम्प्यूटेशनल लागत कम करता है
  4. अलग-थलग परीक्षण वातावरण: माप की सटीकता और पुनरुत्पादनशीलता सुनिश्चित करता है

प्रायोगिक सेटअप

डेटासेट

  • डेटासेट: CodeXGLUE कोड पूर्णता कार्य
  • स्केल: 1000 यादृच्छिक रूप से चुने गए अधूरे Java कोड स्निपेट
  • चयन कारण: LLMs कोड-संबंधित कार्यों के लिए विशेष रूप से डिज़ाइन किया गया, ground truth के साथ सीधी तुलना का समर्थन करता है

मूल्यांकन मेट्रिक्स

ऊर्जा दक्षता मेट्रिक्स:

  • ऊर्जा खपत: GPU ऊर्जा खपत (kWh), CodeCarbon द्वारा गणना की गई
  • निष्पादन समय: अनुमान चरण की अवधि (सेकंड), मॉडल लोडिंग समय को छोड़कर

सटीकता मेट्रिक्स:

  • संपादन दूरी: Levenshtein Distance का उपयोग करके ground truth के साथ समानता की गणना करता है
  • सटीक मिलान: संपादन दूरी ≤2 के मामलों को सटीक मिलान माना जाता है (LLM आउटपुट की यादृच्छिकता को ध्यान में रखते हुए)

तुलना विधियाँ

  • बेसलाइन विधि: तीन मानक प्रॉम्प्ट इंजीनियरिंग तकनीकें (zero-shot, one-shot, few-shots)
  • वर्धित विधि: पाँच कस्टम लेबल कॉन्फ़िगरेशन

कार्यान्वयन विवरण

  • मॉडल: Llama 3 8B-Instruct (परिमाणीकृत संस्करण)
  • हार्डवेयर: AMD Ryzen 7 5800X CPU + Nvidia RTX 4060 TI (8GB)
  • ऑपरेटिंग सिस्टम: Xubuntu 23.04
  • पुनरावृत्ति संख्या: प्रत्येक परीक्षण 5 बार दोहराया गया, परीक्षणों के बीच 10 सेकंड का अंतराल
  • कुल निष्पादन समय: 250 घंटे से अधिक

प्रायोगिक परिणाम

मुख्य परिणाम

RQ1: कस्टम लेबल का ऊर्जा दक्षता पर प्रभाव

ऊर्जा खपत के परिणाम महत्वपूर्ण सुधार दिखाते हैं:

  • Zero-shot: C2 कॉन्फ़िगरेशन में 0.0000157 kWh से 0.0000146 kWh तक कमी (-7%)
  • One-shot: C2 कॉन्फ़िगरेशन में 0.0000347 kWh से 0.0000174 kWh तक कमी (-99%)
  • Few-shots: C2 कॉन्फ़िगरेशन में 0.0000537 kWh से 0.0000293 kWh तक कमी (-83%)

निष्पादन समय में सुधार:

  • One-shot: 1.54 सेकंड से 0.74 सेकंड तक कमी (-52%)
  • Few-shots: 2.1 सेकंड से 1.09 सेकंड तक कमी (-48%)
  • Zero-shot: C1 कॉन्फ़िगरेशन में 0.74 सेकंड से 0.63 सेकंड तक कमी (-14.8%)

RQ2: कस्टम लेबल का सटीकता पर प्रभाव

सटीक मिलान में सुधार:

  • Zero-shot: C1 कॉन्फ़िगरेशन में 63 से 82 तक वृद्धि (+23%)
  • One-shot और Few-shots: C3 कॉन्फ़िगरेशन में लगभग 44% सुधार

संपादन दूरी में कमी:

  • Zero-shot: C2 कॉन्फ़िगरेशन में 24% सुधार
  • One-shot: C2 कॉन्फ़िगरेशन में 64% कमी
  • Few-shots: C2 कॉन्फ़िगरेशन में 70% सुधार

मुख्य निष्कर्ष

  1. C2 कॉन्फ़िगरेशन सर्वोत्तम: प्रॉम्प्ट में लेबल व्याख्या शामिल करने वाला कॉन्फ़िगरेशन अधिकांश मामलों में सर्वश्रेष्ठ प्रदर्शन करता है
  2. C4 कॉन्फ़िगरेशन समस्या: सिस्टम भूमिका परिभाषा का बिल्कुल उपयोग न करने से मॉडल अनियंत्रित प्रतिक्रिया उत्पन्न करता है
  3. Few-shots स्थिरता: स्पष्ट भूमिका परिभाषा की कमी में, few-shots तकनीक सबसे कम प्रभावित होती है
  4. ऊर्जा खपत और सटीकता सकारात्मक संबंध: कस्टम लेबल ने ऊर्जा दक्षता और सटीकता दोनों में सुधार किया

सांख्यिकीय महत्व

5 बार पुनरावृत्ति प्रयोग और 10 सेकंड के अंतराल सेटिंग के माध्यम से, परिणामों की सांख्यिकीय विश्वसनीयता सुनिश्चित की गई, माप पूर्वाग्रह और विसंगतियों के प्रभाव को कम किया।

संबंधित कार्य

LLMs ऊर्जा खपत मूल्यांकन अनुसंधान

  1. समय स्थानांतरण तकनीकें: Jagannadharao आदि ने प्रशिक्षण को रोकने और फिर से शुरू करके कार्बन उत्सर्जन को कम करने का अध्ययन किया
  2. मॉडल तुलना: Liu और Yin ने BERT, DistilBERT और T5 मॉडल के कार्बन उत्सर्जन की तुलना की
  3. हार्डवेयर प्रभाव: Samsi आदि ने विभिन्न Llama मॉडल आकार और GPU कॉन्फ़िगरेशन की ऊर्जा खपत की तुलना की
  4. कोड जनरेशन दक्षता: Cursaro आदि ने CodeLlama द्वारा जनरेट किए गए कोड और मानव कोड की ऊर्जा दक्षता की तुलना का अध्ययन किया

प्रॉम्प्ट अनुकूलन अनुसंधान

  1. विशेषता प्रभाव: Fagadau आदि ने Copilot कोड आउटपुट पर 8 प्रॉम्प्ट विशेषताओं के प्रभाव का विश्लेषण किया
  2. संरचना अनुकूलन: Reynolds और McDonell ने बिना उदाहरण की रणनीति के प्रॉम्प्ट इंजीनियरिंग की खोज की
  3. रूपांतरण परीक्षण: Li आदि ने प्रॉम्प्ट संशोधन का अध्ययन करने के लिए रूपांतरण परीक्षण का उपयोग किया
  4. सॉफ्ट प्रॉम्प्ट: Wang आदि ने आभासी टोकन का उपयोग करके प्रॉम्प्ट ट्यूनिंग तकनीक प्रस्तावित की

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. ऊर्जा दक्षता सुधार: कस्टम लेबल कोड पूर्णता कार्यों में LLMs की ऊर्जा खपत को महत्वपूर्ण रूप से कम कर सकते हैं
  2. प्रदर्शन संरक्षण: ऊर्जा खपत में कमी के साथ, मॉडल सटीकता में सुधार होता है
  3. कॉन्फ़िगरेशन निर्भरता: LLMs की ऊर्जा खपत उपयोग की जाने वाली प्रॉम्प्ट इंजीनियरिंग तकनीक पर अत्यधिक निर्भर है
  4. दोहरा अनुकूलन: प्रॉम्प्ट इंजीनियरिंग ऊर्जा दक्षता और प्रदर्शन दोनों को एक साथ अनुकूलित कर सकती है

सीमाएँ

  1. डेटासेट सीमा: केवल 1000 कोड स्निपेट का परीक्षण किया गया, समय लागत सीमा के कारण (प्रत्येक स्निपेट के लिए लगभग 900 सेकंड)
  2. एकल कार्य: केवल कोड पूर्णता कार्य पर ध्यान केंद्रित, अन्य कार्यों को विभिन्न ऊर्जा संसाधनों की आवश्यकता हो सकती है
  3. एकल मॉडल: केवल Llama 3 का परीक्षण किया गया, परिणामों की सामान्यीकरण क्षमता को सत्यापन की आवश्यकता है
  4. हार्डवेयर निर्भरता: प्रयोग विशिष्ट हार्डवेयर कॉन्फ़िगरेशन पर किए गए, विभिन्न वातावरण अलग परिणाम दे सकते हैं

भविष्य की दिशाएँ

  1. विस्तारित अनुसंधान: अनुसंधान को अधिक LLMs और कोड-संबंधित कार्यों तक विस्तारित करना
  2. उन्नत तकनीकें: RAG या सूक्ष्म-ट्यूनिंग जैसी उन्नत तकनीकों के कार्बन उत्सर्जन पर प्रभाव का अध्ययन करना
  3. बहु-कार्य मूल्यांकन: विभिन्न सॉफ्टवेयर इंजीनियरिंग कार्यों में कस्टम प्रॉम्प्ट की प्रभावशीलता की जाँच करना
  4. मानकीकरण: LLM ऊर्जा खपत माप के लिए मानकीकृत पद्धति स्थापित करना

गहन मूल्यांकन

शक्तियाँ

विधि नवाचार:

  1. प्रॉम्प्ट इंजीनियरिंग के LLM ऊर्जा खपत पर प्रभाव का पहला व्यवस्थित अध्ययन
  2. बहु-आयामी कस्टम लेबल कॉन्फ़िगरेशन योजना डिज़ाइन की
  3. ऊर्जा दक्षता और सटीकता के ट्रेड-ऑफ विश्लेषण के लिए ढांचा स्थापित किया

प्रायोगिक पूर्णता:

  1. मानकीकृत CodeXGLUE बेंचमार्क का उपयोग किया
  2. अलग-थलग परीक्षण वातावरण अपनाया, माप सटीकता सुनिश्चित की
  3. कई बार प्रयोग दोहराए, परिणाम विश्वसनीयता बढ़ाई
  4. पूर्ण पुनरुत्पादन पैकेज प्रदान किया

परिणाम प्रेरक:

  1. महत्वपूर्ण ऊर्जा खपत में कमी (अधिकतम 99%)
  2. सटीकता में समवर्ती सुधार
  3. विस्तृत विलोपन प्रयोग विश्लेषण

कमियाँ

विधि सीमाएँ:

  1. परिमाणीकरण तकनीक का उपयोग परिणामों की सार्वभौमिकता को प्रभावित कर सकता है
  2. कस्टम लेबल डिज़ाइन अपेक्षाकृत सरल है, अधिक जटिल शब्दार्थ संरचना की कमी है
  3. केवल GPU ऊर्जा खपत पर विचार किया गया, CPU और मेमोरी के योगदान को नज़रअंदाज़ किया

प्रायोगिक सेटअप दोष:

  1. नमूना आकार सीमित (1000 स्निपेट)
  2. एकल प्रोग्रामिंग भाषा (Java)
  3. निश्चित few-shots उदाहरण संख्या (5)
  4. अन्य ऊर्जा-बचत तकनीकों के साथ तुलना की कमी

विश्लेषण अपर्याप्तता:

  1. विभिन्न कोड जटिलता के विश्लेषण की कमी
  2. लेबल तंत्र के सैद्धांतिक आधार की गहन खोज नहीं
  3. विसंगत परिणामों (जैसे C4 कॉन्फ़िगरेशन) का विश्लेषण अपर्याप्त है

प्रभाव

शैक्षणिक योगदान:

  1. LLM हरित कम्प्यूटिंग के नए अनुसंधान दिशा की स्थापना की
  2. प्रॉम्प्ट इंजीनियरिंग और ऊर्जा दक्षता अनुकूलन के बीच संबंध स्थापित किया
  3. टिकाऊ AI विकास के लिए व्यावहारिक विधि प्रदान की

व्यावहारिक मूल्य:

  1. मौजूदा कोड जनरेशन प्रणालियों में सीधे लागू किया जा सकता है
  2. कार्यान्वयन लागत कम, तैनाती में आसान
  3. प्रदर्शन बनाए रखते हुए ऊर्जा खपत में महत्वपूर्ण कमी

पुनरुत्पादनशीलता: विस्तृत प्रायोगिक सेटअप और ओपन सोर्स पुनरुत्पादन पैकेज प्रदान किया, अनुसंधान परिणामों के सत्यापन और विस्तार का समर्थन करता है।

लागू परिदृश्य

  1. कोड जनरेशन सेवाएँ: ऑनलाइन कोड पूर्णता और जनरेशन प्लेटफॉर्म
  2. विकास वातावरण एकीकरण: IDE में बुद्धिमान कोड सहायक
  3. बड़े पैमाने पर तैनाती: बड़ी संख्या में कोड जनरेशन अनुरोधों को संभालने वाली एंटरप्राइज़ प्रणालियाँ
  4. संसाधन-सीमित वातावरण: किनारे कम्प्यूटिंग या मोबाइल डिवाइस पर कोड जनरेशन अनुप्रयोग
  5. हरित कम्प्यूटिंग पहल: पर्यावरणीय प्रभाव पर ध्यान केंद्रित करने वाली AI प्रणाली विकास

संदर्भ

यह पेपर 42 संबंधित संदर्भों का हवाला देता है, जो हरित सॉफ्टवेयर इंजीनियरिंग, LLM ऊर्जा खपत मूल्यांकन, प्रॉम्प्ट इंजीनियरिंग आदि कई अनुसंधान क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करता है, अनुसंधान के लिए ठोस सैद्धांतिक आधार और तुलना संदर्भ प्रदान करता है।

समग्र मूल्यांकन: यह महत्वपूर्ण व्यावहारिक मूल्य वाला एक अनुसंधान है, जो पहली बार प्रॉम्प्ट इंजीनियरिंग के LLM ऊर्जा खपत पर प्रभाव की व्यवस्थित रूप से खोज करता है। कुछ सीमाओं के बावजूद, अनुसंधान परिणाम प्रोत्साहक हैं, टिकाऊ AI विकास के लिए नए विचार और विधियाँ प्रदान करते हैं। यह कार्य हरित AI और ऊर्जा-बचत अनुकूलन पर अधिक अनुसंधान को बढ़ावा देने की संभावना रखता है।