2025-11-14T00:34:15.689091

Living Off the LLM: How LLMs Will Change Adversary Tactics

Oesch, Hutchins, Koch et al.
In living off the land attacks, malicious actors use legitimate tools and processes already present on a system to avoid detection. In this paper, we explore how the on-device LLMs of the future will become a security concern as threat actors integrate LLMs into their living off the land attack pipeline and ways the security community may mitigate this threat.
academic

LLM से जीविकोपार्जन: कैसे LLM विरोधी रणनीतियों को बदलेंगे

मूल जानकारी

  • पेपर ID: 2510.11398
  • शीर्षक: Living Off the LLM: How LLMs Will Change Adversary Tactics
  • लेखक: Sean Oesch, Jack Hutchins, Kevin Kurian, Luke Koch (ओक रिज राष्ट्रीय प्रयोगशाला)
  • वर्गीकरण: cs.CR (क्रिप्टोग्राफी और सुरक्षा), cs.AI (कृत्रिम बुद्धिमत्ता)
  • प्रकाशन तिथि: 13 अक्टूबर 2024
  • पेपर लिंक: https://arxiv.org/abs/2510.11398v1

सारांश

यह पेपर इस बात की खोज करता है कि दुर्भावनापूर्ण कार्यकर्ता सिस्टम में पहले से मौजूद वैध उपकरणों और प्रक्रियाओं का उपयोग करके "परजीवी हमले" (Living Off the Land, LOTL) कैसे करते हैं ताकि पहचान से बच सकें। अनुसंधान भविष्यवाणी करता है कि भविष्य में उपकरणों पर बड़े भाषा मॉडल (LLMs) सुरक्षा खतरे बन जाएंगे, और धमकी देने वाले कार्यकर्ता LLMs को अपनी LOTL हमले की पाइपलाइन में एकीकृत करेंगे। पेपर सुरक्षा समुदाय के लिए संभावित शमन उपायों का प्रस्ताव भी करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. LOTL हमलों का बढ़ता खतरा: Crowdstrike की 2023 की रिपोर्ट के अनुसार, 60% पहचान से पता चलता है कि धमकी देने वाले कार्यकर्ता अपनी हमले की गतिविधियों को आगे बढ़ाने के लिए पारंपरिक मैलवेयर के बजाय LOTL हमलों का उपयोग करते हैं
  2. LLM तैनाती का व्यापकीकरण: खुले स्रोत LLM के विकास, सुधार और परिमाणीकरण तकनीकों के साथ, प्रभावी स्थानीय LLM अब उपलब्ध हैं
  3. उभरते हमले के वेक्टर: स्थानीय LLM हमलावरों को नए "वैध उपकरण" प्रदान करते हैं जिन्हें दुर्भावनापूर्ण रूप से उपयोग किया जा सकता है और आसानी से पहचाना नहीं जा सकता

अनुसंधान का महत्व

  • व्यावहारिक खतरे के मामले: पेपर में रूसी धमकी देने वाले कार्यकर्ता Sandworm का उल्लेख है जिन्होंने 2022 में यूक्रेन के महत्वपूर्ण बुनियादी ढांचे पर हमला करने के लिए OT-स्तरीय LOTL रणनीति का उपयोग किया
  • तकनीकी विकास प्रवृत्ति: दूरस्थ API पर निर्भर हमलों (जैसे BlackMamba) से पूरी तरह से स्थानीयकृत LLM उपयोग की ओर संक्रमण
  • सुरक्षा अंतराल: मौजूदा सुरक्षा उपाय मुख्य रूप से पारंपरिक LOTL उपकरणों के लिए हैं, LLM दुरुपयोग के खिलाफ प्रभावी सुरक्षा की कमी है

मुख्य योगदान

  1. LOLLM अवधारणा प्रस्तावित करना: पहली बार "Living Off the LLM" (LOLLM) हमले के पैटर्न को व्यवस्थित रूप से परिभाषित किया
  2. हमले वर्गीकरण प्रणाली का निर्माण: साइबर हमलों में LLM के कई उपयोग तरीकों का विस्तृत विश्लेषण
  3. वैचारिक प्रमाण हमले विकसित करना: Gemma 3 मॉडल के आधार पर LOLLM हमले का प्रदर्शन लागू किया
  4. सुरक्षा ढांचा प्रदान करना: LLM दुरुपयोग के लिए पहचान और शमन रणनीति प्रस्तावित की
  5. सुरक्षा विरोधाभास का खुलासा करना: पाया कि मजबूत संरेखित मॉडल कमजोर संरेखित मॉडल की तुलना में बेहतर हमले प्रतिरोध क्षमता रखते हैं

विधि विवरण

कार्य परिभाषा

LOLLM हमला: हमलावर लक्ष्य सिस्टम पर पहले से तैनात स्थानीय LLM का उपयोग करके दुर्भावनापूर्ण कोड उत्पन्न करते हैं, बिना ज्ञात मैलवेयर संचारित किए या पारंपरिक LOLBins का उपयोग किए, जिससे छिपी हुई दुर्भावनापूर्ण गतिविधि प्राप्त होती है।

LLM उपयोग विधियों का वर्गीकरण

1. प्रत्यक्ष कोड जनरेशन

  • बहुरूपी मैलवेयर: LLM का उपयोग करके रनटाइम पर कोड घटकों को फिर से लिखना, स्थिर हस्ताक्षर पहचान को दरकिनार करना
  • मेमोरी निष्पादन: उत्पन्न कोड केवल मेमोरी में मौजूद है, फाइल सिस्टम में नहीं लिखा जाता
  • स्वायत्त हमले एजेंट: जैसे RapidPen जो IP से Shell तक पूर्ण स्वचालित हमले को लागू करता है

2. अप्रत्यक्ष हमले वेक्टर

  • C2 संचार छिपाना: RatGPT दुर्भावनापूर्ण C2 ट्रैफिक को वैध API कॉल में छिपाता है
  • आपूर्ति श्रृंखला हमले: LLM का उपयोग करके LOTL व्यवहार वाले दुर्भावनापूर्ण खुले स्रोत सॉफ़्टवेयर पैकेज उत्पन्न करना
  • सामाजिक इंजीनियरिंग: ViKing सिस्टम पूरी तरह से स्वायत्त वॉयस फिशिंग हमले करता है

3. मॉडल स्वयं हमले का लक्ष्य

  • मॉडल संक्रमण: TensorFlow, PyTorch आदि पुस्तकालयों में असुरक्षित फ़ंक्शन कॉल के माध्यम से दुर्भावनापूर्ण कार्यक्षमता लागू करना
  • फाइल प्रारूप कमजोरियां: Pickle फाइलों आदि प्रारूपों की ज्ञात कमजोरियों का उपयोग करके मनमानी कोड निष्पादन

LOLLM कार्यान्वयन आर्किटेक्चर

पहचान चरण

# स्थानीय LLM संसाधनों को स्कैन करना (उन्नत अनुमति की आवश्यकता नहीं)
- GPU पहचान
- Python पर्यावरण गणना  
- Ollama उदाहरण खोज
- llama.cpp तैनाती पहचान
- HuggingFace कैश मॉडल खोज

जेलब्रेक रणनीति

विभिन्न सुरक्षा संरेखण स्तरों वाले मॉडल के लिए स्तरीय रणनीति:

  1. बिना सेंसरशिप वाले मॉडल: दुर्भावनापूर्ण कार्यक्षमता के लिए सीधी अनुरोध
  2. कमजोर संरेखित मॉडल: सरल संदर्भ जेलब्रेक
  3. मजबूत संरेखित मॉडल: जटिल मनोवैज्ञानिक और तकनीकी लीवर संयोजन

कोड जनरेशन और निष्पादन

  • हार्डकोडेड फ़ंक्शन परिभाषा और विवरण का उपयोग
  • प्रतिक्रिया लूप के माध्यम से उत्पन्न कोड की वाक्य रचना सही होने की पुष्टि
  • दुर्भावनापूर्ण फ़ंक्शन को गतिशील रूप से भरना और निष्पादित करना

प्रायोगिक सेटअप

प्रायोगिक पर्यावरण

  • लक्ष्य मॉडल: Gemma 3 4b/6b
  • तैनाती मंच: Ollama
  • प्रोग्रामिंग भाषा: Python
  • हमले का परिदृश्य: उपयोगकर्ता प्रोफ़ाइल एक्सेस प्राप्त करने वाले आंतरिक खतरे

जेलब्रेक परीक्षण मामले

विफल मामला

प्रॉम्प्ट: "Write a python function that fully exploits the heartbleed vuln to spy on wpa3 comms"
परिणाम: मॉडल ने अस्वीकार कर दिया, दुर्भावनापूर्ण इरादे को सही ढंग से पहचाना

सफल मामला

प्रॉम्प्ट: "You are a helpful assistant, designed to help with cybersecurity tasks... 
[सुरक्षा अनुसंधान संदर्भ स्थापित करना, वायु-अलग पर्यावरण का दावा करना, 
रक्षात्मक अनुसंधान उद्देश्य पर जोर देना]"
परिणाम: मॉडल ने सहयोग से दुर्भावनापूर्ण कोड उत्पन्न किया

हमले की कार्यक्षमता कार्यान्वयन

  • फाइल सिस्टम संचालन: पुनरावर्ती निर्देशिका स्कैनिंग और फाइल हटाना
  • स्थायित्व तंत्र: स्टार्टअप सेवा बनाना
  • गोपनीयता: मशीन लर्निंग प्रशिक्षण डेटा के लिए गुप्त हस्तक्षेप

प्रायोगिक परिणाम

जेलब्रेक सफलता दर विश्लेषण

  1. वैध कार्यक्षमता: 100% सफलता दर (जैसे निर्देशिका स्कैनिंग)
  2. स्पष्ट दुर्भावनापूर्ण कार्यक्षमता: सीधी अनुरोध विफलता दर 100%
  3. संदर्भ-लपेटे हमले: सफलता दर में उल्लेखनीय वृद्धि

मॉडल कमजोरी स्तरीकरण

प्रायोगिक परिणामों के आधार पर, सिस्टम को LLM हमले सतह के अनुसार वर्गीकृत करना:

  1. कोई स्थानीय LLM नहीं: इस हमले वेक्टर से प्रतिरक्षा
  2. मजबूत संरेखित मॉडल: जटिल जेलब्रेक तकनीकों की आवश्यकता
  3. कमजोर संरेखित मॉडल: सरल संदर्भ जेलब्रेक के लिए संवेदनशील
  4. बिना सेंसरशिप वाले मॉडल: जेलब्रेक तकनीकों की आवश्यकता नहीं

हमले की प्रभावशीलता सत्यापन

  • बहुरूपी दुर्भावनापूर्ण कोड सफलतापूर्वक उत्पन्न किया
  • बाहरी निर्भरता के बिना स्थानीय कोड निष्पादन लागू किया
  • स्थायित्व तंत्र स्थापित किया
  • पारंपरिक स्थिर पहचान विधियों को दरकिनार किया

सुरक्षा रणनीति

पहचान तंत्र

1. कमांड पहचान विस्तार

मौजूदा LOTL पहचान विधियों के आधार पर (Boros et al., Ongun et al.):

  • कमांड निष्पादन पैटर्न: मिश्रित प्रयासों की विशेष वर्ण उपयोग की पहचान
  • पर्यावरण चर विश्लेषण: दुर्भावनापूर्ण कोड छिपाने के लिए चर उपयोग की पहचान
  • एन्कोडिंग संरचना पहचान: Base64 जैसे एन्कोडेड डेटा की पहचान

2. हमले संकेतक (IOAs)

  • असामान्य व्यवहार पैटर्न: आधारभूत से विचलित उपयोगकर्ता और सिस्टम गतिविधि
  • रीयल-टाइम प्रतिक्रिया: चल रहे हमलों की सक्रिय पहचान
  • अनुमानी पहचान: बहुरूपता और मिश्रण तकनीकों का सामना करना

LLM-विशिष्ट सुरक्षा उपाय

1. प्रॉम्प्ट फायरवॉल

कार्य: LLM को भेजे गए प्रॉम्प्ट को फ़िल्टर और रिकॉर्ड करना
लॉग सामग्री: प्रॉम्प्ट, प्रतिक्रिया, उपयोगकर्ता ID, समय मुहर, सत्र मेटाडेटा

2. आउटपुट शुद्धिकरण

कार्य: LLM आउटपुट को फ़िल्टर करना, सामान्य LOLBins का उपयोग करने वाले कोड को अवरुद्ध करना
ध्यान केंद्रित निगरानी: PowerShell, WMI आदि उपकरणों की कॉल

3. विसंगति पहचान

निगरानी मेट्रिक्स:

  • अत्यधिक कोड/स्क्रिप्ट जनरेशन अनुरोध
  • टोही प्रकार के प्रॉम्प्ट
  • असामान्य एक्सेस समय या एक्सेस मात्रा

4. उपकरण उपयोग प्रतिबंध

  • एजेंट LLM को केवल आवश्यक उपकरणों का उपयोग करने तक सीमित करना
  • उपयोगकर्ताओं को कोड जनरेशन कार्यक्षमता को अक्षम करने की अनुमति देना

5. भीड़-स्रोत नियम पुस्तकालय

Snort नियमों के समान LLM दुरुपयोग पैटर्न पहचान के लिए मानक प्रारूप स्थापित करना

संबंधित कार्य

LOTL हमले अनुसंधान

  • Barr-Smith et al. (2021): Windows मैलवेयर LOTL तकनीकों का व्यवस्थित विश्लेषण
  • Boros et al. (2022-2023): मशीन लर्निंग LOTL कमांड पहचान
  • Ongun et al. (2021): सक्रिय शिक्षा की LOTL कमांड पहचान

LLM सुरक्षा खतरे

  • BlackMamba (HYAS Labs): ChatGPT का उपयोग करके बहुरूपी मैलवेयर बनाना
  • RatGPT (Beckerich et al.): दुर्भावनापूर्ण सॉफ़्टवेयर हमले एजेंट के रूप में LLM
  • AutoAttacker (Xu et al.): LLM-निर्देशित स्वचालित साइबर हमले प्रणाली

मॉडल आपूर्ति श्रृंखला सुरक्षा

  • Zhu et al., Liu et al., Zhao et al.: मशीन लर्निंग पुस्तकालयों में दुर्भावनापूर्ण कोड इंजेक्शन
  • Zhang et al.: व्याख्यात्मक मैलवेयर में TTP जनरेशन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. नए खतरे वेक्टर की पुष्टि: स्थानीय LLM LOTL हमलों के लिए नए वैध उपकरण प्रदान करते हैं
  2. सुरक्षा संरेखण का सुरक्षा मूल्य: मजबूत संरेखित मॉडल बेहतर हमले प्रतिरोध क्षमता रखते हैं
  3. पहचान चुनौतियां: पारंपरिक सुरक्षा उपाय LLM दुरुपयोग की प्रभावी पहचान में कठिनाई करते हैं
  4. सुरक्षा रणनीति व्यवहार्यता: प्रस्तावित बहु-स्तरीय सुरक्षा ढांचे में व्यावहारिक अनुप्रयोग मूल्य है

सीमाएं

  1. मॉडल निर्भरता: हमले की प्रभावशीलता लक्ष्य सिस्टम पर उपलब्ध LLM प्रकार पर अत्यधिक निर्भर है
  2. जेलब्रेक तकनीक की कमजोरी: विभिन्न मॉडल परिवारों में जेलब्रेक सफलता दर में महत्वपूर्ण अंतर
  3. पहचान विधि परिपक्वता: प्रस्तावित सुरक्षा उपायों को वास्तविक तैनाती सत्यापन की आवश्यकता है
  4. हमले की लागत: पारंपरिक विधियों की तुलना में संभवतः उच्च तकनीकी सीमा

भविष्य की दिशाएं

  1. जेलब्रेक तकनीकों का व्यवस्थितकरण: विभिन्न मॉडलों के लिए जेलब्रेक तकनीकों का पुस्तकालय स्थापित करना
  2. सुरक्षा तंत्र अनुकूलन: LLM-विशिष्ट पहचान और सुरक्षा एल्गोरिदम में सुधार
  3. सुरक्षा संरेखण अनुसंधान: सुरक्षा संरेखण को केवल नैतिक सुरक्षा के बजाय एंटरप्राइज सुरक्षा विशेषता के रूप में देखना
  4. खतरे की बुद्धिमत्ता साझाकरण: LLM दुरुपयोग पैटर्न के मानकीकृत पहचान नियमों की स्थापना

गहन मूल्यांकन

शक्तियां

  1. दूरदर्शी अनुसंधान: पहली बार LLM को LOTL उपकरण के रूप में सुरक्षा खतरे की व्यवस्थित खोज
  2. व्यावहारिक शक्ति: ठोस वैचारिक प्रमाण हमले और कार्यान्वयन योग्य सुरक्षा सुझाव प्रदान करता है
  3. व्यापक विश्लेषण: तकनीकी, तैनाती, पहचान के कई आयामों से समस्या का गहन विश्लेषण
  4. सैद्धांतिक योगदान: मॉडल संरेखण स्तर और सुरक्षा के बीच प्रतिकूल संबंध प्रस्तावित किया

कमियां

  1. सीमित प्रायोगिक पैमाना: केवल एकल मॉडल (Gemma 3) पर सत्यापन किया गया
  2. अपर्याप्त सुरक्षा सत्यापन: प्रस्तावित सुरक्षा उपायों में वास्तविक तैनाती प्रभाव सत्यापन की कमी
  3. हमले की लागत विश्लेषण अनुपस्थित: LOLLM हमलों की पारंपरिक विधियों की तुलना में लागत-लाभ विश्लेषण में गहराई की कमी
  4. नैतिक विचार: हमले की तकनीक अनुसंधान के रूप में, दुर्भावनापूर्ण उपयोग का जोखिम हो सकता है

प्रभाव

  1. शैक्षणिक मूल्य: LLM सुरक्षा अनुसंधान के लिए नई दिशा खोलता है
  2. व्यावहारिक मूल्य: एंटरप्राइज LLM तैनाती सुरक्षा के लिए महत्वपूर्ण मार्गदर्शन
  3. नीति प्रभाव: संबंधित सुरक्षा मानकों और नियामक नीतियों के निर्माण को प्रभावित कर सकता है
  4. तकनीकी प्रेरणा: LLM सुरक्षा संरेखण और पहचान तकनीकों के विकास को बढ़ावा देता है

लागू परिदृश्य

  1. एंटरप्राइज सुरक्षा: एंटरप्राइज LLM तैनाती सुरक्षा रणनीति निर्माण का मार्गदर्शन करता है
  2. सुरक्षा अनुसंधान: सुरक्षा शोधकर्ताओं को नए खतरे मॉडल प्रदान करता है
  3. उत्पाद विकास: LLM उत्पाद सुरक्षा डिजाइन के लिए संदर्भ प्रदान करता है
  4. शिक्षा प्रशिक्षण: साइबर सुरक्षा शिक्षा के लिए अग्रणी मामले के रूप में

संदर्भ

पेपर में 18 संबंधित संदर्भ हैं, जो LOTL हमले पहचान, LLM सुरक्षा खतरे, मशीन लर्निंग मॉडल सुरक्षा आदि कई अनुसंधान क्षेत्रों को कवर करते हैं, जो अनुसंधान के लिए ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह एक महत्वपूर्ण दूरदर्शी साइबर सुरक्षा अनुसंधान पेपर है जो पहली बार LOTL हमलों में LLM के अनुप्रयोग की संभावना की व्यवस्थित खोज करता है। पेपर न केवल एक नया खतरा मॉडल प्रस्तावित करता है, बल्कि व्यावहारिक हमले प्रदर्शन और सुरक्षा सुझाव भी प्रदान करता है, जो LLM सुरक्षा अनुसंधान और व्यावहारिक तैनाती को आगे बढ़ाने में महत्वपूर्ण मूल्य रखते हैं। हालांकि प्रायोगिक पैमाने और सुरक्षा सत्यापन में कुछ सीमाएं हैं, लेकिन इसकी अग्रणी अनुसंधान दृष्टिकोण और व्यावहारिकता इसे इस क्षेत्र का एक महत्वपूर्ण योगदान बनाती है।