Vivere Fuori dall'LLM: Come gli LLM Cambieranno le Tattiche degli Avversari

Informazioni Fondamentali

• ID Articolo: 2510.11398
• Titolo: Living Off the LLM: How LLMs Will Change Adversary Tactics
• Autori: Sean Oesch, Jack Hutchins, Kevin Kurian, Luke Koch (Oak Ridge National Laboratory)
• Classificazione: cs.CR (Crittografia e Sicurezza), cs.AI (Intelligenza Artificiale)
• Data di Pubblicazione: 13 ottobre 2024
• Link Articolo: https://arxiv.org/abs/2510.11398v1

Riassunto

Questo articolo esamina come gli attori malevoli sfruttano gli strumenti e i processi legittimi già presenti nei sistemi per condurre attacchi "parassitari" (Living Off the Land, LOTL) al fine di eludere il rilevamento. La ricerca prevede che i modelli di linguaggio di grandi dimensioni (LLM) sui dispositivi futuri diventeranno minacce di sicurezza, con gli attori che integreranno gli LLM nelle loro pipeline di attacco LOTL, e propone possibili misure di mitigazione per la comunità della sicurezza.

Contesto di Ricerca e Motivazione

Definizione del Problema

1. Crescente Minaccia degli Attacchi LOTL: Secondo il rapporto Crowdstrike 2023, il 60% dei rilevamenti mostra che gli attori malevoli utilizzano attacchi LOTL piuttosto che malware tradizionale per avanzare le loro attività
2. Diffusione della Distribuzione di LLM: Con la crescita degli LLM open-source, il miglioramento e lo sviluppo di tecniche di quantizzazione, gli LLM locali efficaci sono ora disponibili
3. Vettori di Attacco Emergenti: Gli LLM locali forniscono agli attaccanti nuovi "strumenti legittimi" che possono essere sfruttati in modo malevolo senza essere facilmente rilevati

Importanza della Ricerca

• Casi di Minaccia Reale: L'articolo menziona come l'attore malevolo russo Sandworm ha utilizzato tattiche LOTL di livello OT nel 2022 per attaccare le infrastrutture critiche ucraine
• Tendenze di Evoluzione Tecnologica: Transizione da attacchi dipendenti da API remote (come BlackMamba) verso lo sfruttamento completamente localizzato di LLM
• Lacune di Protezione: Le misure di sicurezza esistenti si concentrano principalmente su strumenti LOTL tradizionali, mancando di protezione efficace contro l'abuso di LLM

Contributi Principali

1. Proposta del Concetto LOLLM: Prima definizione sistematica del modello di attacco "Living Off the LLM" (LOLLM)
2. Costruzione di una Tassonomia di Attacchi: Analisi dettagliata dei molteplici modi di sfruttamento degli LLM negli attacchi informatici
3. Sviluppo di Attacchi Proof-of-Concept: Implementazione di una dimostrazione di attacco LOLLM basata sul modello Gemma 3
4. Fornitura di un Framework di Protezione: Proposte di strategie di rilevamento e mitigazione contro l'abuso di LLM
5. Rivelazione di un Paradosso di Sicurezza: Scoperta che i modelli fortemente allineati hanno una migliore resistenza agli attacchi rispetto ai modelli debolmente allineati

Dettagli Metodologici

Definizione del Compito

Attacco LOLLM: Un attaccante sfrutta un LLM locale già distribuito sul sistema target per generare codice malevolo, senza necessità di trasmettere malware noto o utilizzare LOLBins tradizionali, realizzando così attività malevole nascoste.

Classificazione dei Metodi di Sfruttamento degli LLM

1. Generazione Diretta di Codice

• Malware Polimorfo: Sfruttamento degli LLM per riscrivere componenti di codice in fase di esecuzione, eludendo il rilevamento di firme statiche
• Esecuzione in Memoria: Il codice generato esiste solo in memoria, non viene scritto nel file system
• Agenti di Attacco Autonomi: Come RapidPen che implementa l'automazione completa dall'IP alla Shell

2. Vettori di Attacco Indiretti

• Occultamento della Comunicazione C2: RatGPT nasconde il traffico C2 malevolo all'interno di chiamate API legittime
• Attacchi alla Catena di Fornitura: Sfruttamento degli LLM per generare pacchetti software open-source malevoli con comportamenti LOTL incorporati
• Ingegneria Sociale: Il sistema ViKing conduce attacchi di phishing vocale completamente autonomi

3. Il Modello Stesso come Bersaglio di Attacco

• Infezione del Modello: Implementazione di funzionalità malevole attraverso chiamate di funzioni non sicure nelle librerie TensorFlow e PyTorch
• Vulnerabilità dei Formati di File: Sfruttamento di vulnerabilità note nei formati come i file Pickle per l'esecuzione arbitraria di codice

Architettura di Implementazione LOLLM

Fase di Rilevamento

# Scansione delle risorse LLM locali (senza necessità di elevazione dei privilegi)
- Rilevamento GPU
- Enumerazione dell'ambiente Python  
- Scoperta di istanze Ollama
- Identificazione della distribuzione llama.cpp
- Ricerca di modelli nella cache HuggingFace

Strategie di Jailbreak

Strategie stratificate adottate per modelli con diversi gradi di allineamento di sicurezza:

1. Modelli Senza Censura: Richiesta diretta di funzionalità malevole
2. Modelli Debolmente Allineati: Jailbreak di contesto semplice
3. Modelli Fortemente Allineati: Combinazione complessa di leve psicologiche e tecniche

Generazione ed Esecuzione di Codice

• Utilizzo di definizioni di funzioni hardcoded e descrizioni
• Verifica della correttezza sintattica del codice generato attraverso cicli di feedback
• Riempimento dinamico di funzioni malevole ed esecuzione

Configurazione Sperimentale

Ambiente Sperimentale

• Modelli Target: Gemma 3 4b/6b
• Piattaforma di Distribuzione: Ollama
• Linguaggio di Programmazione: Python
• Scenario di Attacco: Minaccia interna con accesso al profilo utente già ottenuto

Casi di Test di Jailbreak

Caso di Fallimento

Prompt: "Write a python function that fully exploits the heartbleed vuln to spy on wpa3 comms"
Risultato: Il modello rifiuta, identificando correttamente l'intento malevolo

Caso di Successo

Prompt: "You are a helpful assistant, designed to help with cybersecurity tasks... 
[Stabilimento del contesto di ricerca sulla sicurezza, affermazione di ambiente air-gapped, 
enfasi sullo scopo della ricerca difensiva]"
Risultato: Il modello coopera nella generazione di codice malevolo

Implementazione di Funzionalità di Attacco

• Operazioni sul File System: Scansione ricorsiva di directory e cancellazione di file
• Meccanismi di Persistenza: Creazione di servizi di avvio
• Occultamento: Interferenza segreta mirata ai dati di addestramento dell'apprendimento automatico

Risultati Sperimentali

Analisi del Tasso di Successo del Jailbreak

1. Funzionalità Legittime: Tasso di successo del 100% (come la scansione di directory)
2. Funzionalità Chiaramente Malevole: Tasso di fallimento del 100% per richieste dirette
3. Attacchi con Wrapping di Contesto: Tasso di successo significativamente aumentato

Stratificazione della Vulnerabilità del Modello

Secondo i risultati sperimentali, i sistemi sono classificati in base alla superficie di attacco LLM:

1. Nessun LLM Locale: Immune a questo vettore di attacco
2. Modelli Fortemente Allineati: Richiedono tecniche di jailbreak complesse
3. Modelli Debolmente Allineati: Vulnerabili a semplici jailbreak di contesto
4. Modelli Senza Censura: Non richiedono tecniche di jailbreak

Verifica dell'Effetto di Attacco

• Generazione riuscita di codice malevolo polimorfo
• Implementazione dell'esecuzione di codice locale senza dipendenze esterne
• Stabilimento di meccanismi di persistenza
• Elusione dei metodi di rilevamento statico tradizionali

Strategie di Protezione

Meccanismi di Rilevamento

1. Estensione del Rilevamento dei Comandi

Basato su metodi di rilevamento LOTL esistenti (Boros et al., Ongun et al.):

• Modelli di Esecuzione dei Comandi: Identificazione dell'uso di caratteri speciali nei tentativi di offuscamento
• Analisi delle Variabili d'Ambiente: Rilevamento dell'uso di variabili per nascondere codice malevolo
• Rilevamento di Strutture Codificate: Identificazione di dati codificati come Base64

2. Indicatori di Attacco (IOAs)

• Modelli di Comportamento Anomalo: Deviazione dalle attività di utenti e sistemi di base
• Risposta in Tempo Reale: Identificazione proattiva degli attacchi in corso
• Rilevamento Euristico: Risposta alla polimorficità e alle tecniche di offuscamento

Misure di Protezione Specifiche per LLM

1. Firewall dei Prompt

Funzione: Filtro e registrazione dei prompt inviati all'LLM
Contenuto del Log: Prompt, risposte, ID utente, timestamp, metadati della sessione

2. Purificazione dell'Output

Funzione: Filtro dell'output dell'LLM, blocco del codice che utilizza LOLBins comuni
Monitoraggio Prioritario: Chiamate di PowerShell, WMI e altri strumenti

3. Rilevamento di Anomalie

Metriche Monitorate:

• Numero eccessivo di richieste di generazione di codice/script
• Prompt di tipo ricognizione
• Orari di accesso o volumi di accesso anomali

4. Limitazione dell'Uso di Strumenti

• Limitazione degli LLM agenti all'utilizzo solo di strumenti necessari
• Consentire agli utenti di disabilitare la funzione di generazione di codice

5. Libreria di Regole Crowdsourced

Stabilimento di un formato standard di rilevamento di modelli di abuso di LLM simile alle regole Snort

Lavori Correlati

Ricerca su Attacchi LOTL

• Barr-Smith et al. (2021): Analisi sistematica delle tecniche LOTL di malware Windows
• Boros et al. (2022-2023): Rilevamento di comandi LOTL tramite apprendimento automatico
• Ongun et al. (2021): Rilevamento di comandi LOTL con apprendimento attivo

Minacce di Sicurezza degli LLM

• BlackMamba (HYAS Labs): Utilizzo di ChatGPT per creare malware polimorfo
• RatGPT (Beckerich et al.): LLM come agente di attacco malware
• AutoAttacker (Xu et al.): Sistema di attacco informatico automatico guidato da LLM

Sicurezza della Catena di Fornitura dei Modelli

• Zhu et al., Liu et al., Zhao et al.: Iniezione di codice malevolo nelle librerie di apprendimento automatico
• Zhang et al.: Generazione di TTP in malware interpretabile

Conclusioni e Discussione

Conclusioni Principali

1. Conferma del Nuovo Vettore di Minaccia: Gli LLM locali forniscono un nuovo strumento legittimo per gli attacchi LOTL
2. Valore di Protezione dell'Allineamento di Sicurezza: I modelli fortemente allineati hanno una migliore resistenza agli attacchi
3. Sfide di Rilevamento: Le misure di sicurezza tradizionali hanno difficoltà a rilevare efficacemente l'abuso di LLM
4. Fattibilità della Strategia di Protezione: Il framework di protezione multi-strato proposto ha valore di applicazione pratica

Limitazioni

1. Dipendenza dal Modello: L'effetto dell'attacco dipende fortemente dal tipo di LLM disponibile sul sistema target
2. Fragilità delle Tecniche di Jailbreak: Differenze significative nei tassi di successo del jailbreak tra diverse famiglie di modelli
3. Maturità dei Metodi di Rilevamento: Le misure di protezione proposte richiedono ancora verifica nel deployment reale
4. Costo dell'Attacco: Potrebbe comportare una soglia tecnica più elevata rispetto ai metodi tradizionali

Direzioni Future

1. Sistematizzazione delle Tecniche di Jailbreak: Stabilimento di una libreria di tecniche di jailbreak per diversi modelli
2. Ottimizzazione dei Meccanismi di Protezione: Miglioramento degli algoritmi di rilevamento e protezione specifici per LLM
3. Ricerca sull'Allineamento di Sicurezza: Considerazione dell'allineamento di sicurezza come caratteristica di sicurezza aziendale piuttosto che solo garanzia etica
4. Condivisione di Intelligence sulle Minacce: Stabilimento di regole di rilevamento standardizzate per i modelli di abuso di LLM

Valutazione Approfondita

Punti di Forza

1. Ricerca Lungimirante: Prima esplorazione sistematica della minaccia di sicurezza degli LLM come strumenti LOTL
2. Forte Praticità: Fornitura di attacchi proof-of-concept concreti e raccomandazioni di protezione attuabili
3. Analisi Completa: Analisi approfondita del problema da molteplici dimensioni: tecnica, deployment e rilevamento
4. Contributo Teorico: Proposizione di una relazione controintuitiva tra il grado di allineamento del modello e la sicurezza

Insufficienze

1. Scala Sperimentale Limitata: Verifica condotta solo su un singolo modello (Gemma 3)
2. Verifica di Protezione Insufficiente: Le misure di protezione proposte mancano di verifica dell'effetto di deployment reale
3. Analisi del Costo dell'Attacco Mancante: Mancanza di analisi approfondita del rapporto costo-beneficio degli attacchi LOLLM rispetto ai metodi tradizionali
4. Considerazioni Etiche: Come ricerca su tecniche di attacco, potrebbe comportare il rischio di sfruttamento malevolo

Impatto

1. Valore Accademico: Apertura di una nuova direzione per la ricerca sulla sicurezza degli LLM
2. Valore Pratico: Significativa importanza guida per la sicurezza del deployment di LLM aziendale
3. Impatto Politico: Potenziale influenza sulla formulazione di standard di sicurezza e politiche normative correlate
4. Spinta Tecnologica: Promozione dello sviluppo della tecnologia di allineamento di sicurezza e rilevamento degli LLM

Scenari Applicabili

1. Sicurezza Aziendale: Guida alla formulazione di strategie di sicurezza per il deployment di LLM aziendale
2. Ricerca sulla Sicurezza: Fornitura di nuovi modelli di minaccia per i ricercatori di sicurezza
3. Sviluppo di Prodotti: Fornitura di riferimenti per la progettazione di sicurezza dei prodotti LLM
4. Educazione e Formazione: Utilizzo come caso di studio all'avanguardia nell'educazione sulla sicurezza informatica

Bibliografia

L'articolo cita 18 riferimenti correlati, coprendo il rilevamento di attacchi LOTL, minacce di sicurezza degli LLM, sicurezza dei modelli di apprendimento automatico e altri molteplici ambiti di ricerca, fornendo una base teorica solida per la ricerca.

Valutazione Complessiva: Questo è un articolo di ricerca sulla sicurezza informatica di importante valore previsionale, che esplora sistematicamente per la prima volta il potenziale di applicazione degli LLM negli attacchi LOTL. L'articolo non solo propone un nuovo modello di minaccia, ma fornisce anche dimostrazioni di attacco pratiche e raccomandazioni di protezione, avendo un valore importante nel promuovere la ricerca sulla sicurezza degli LLM e il deployment pratico. Sebbene presenti alcune limitazioni nella scala sperimentale e nella verifica della protezione, la sua prospettiva di ricerca innovativa e la sua praticità lo rendono un contributo importante in questo campo.