Living Off the LLM: Wie LLMs die Taktiken von Angreifern verändern werden

Grundlegende Informationen

• Papier-ID: 2510.11398
• Titel: Living Off the LLM: How LLMs Will Change Adversary Tactics
• Autoren: Sean Oesch, Jack Hutchins, Kevin Kurian, Luke Koch (Oak Ridge National Laboratory)
• Klassifizierung: cs.CR (Kryptographie und Sicherheit), cs.AI (Künstliche Intelligenz)
• Veröffentlichungsdatum: 13. Oktober 2024
• Papierlink: https://arxiv.org/abs/2510.11398v1

Zusammenfassung

Dieses Papier untersucht, wie böswillige Akteure legitime Tools und Prozesse nutzen, die bereits im System vorhanden sind, um „Parasiten-Angriffe" (Living Off the Land, LOTL) durchzuführen und Erkennung zu umgehen. Die Forschung prognostiziert, dass große Sprachmodelle (LLMs) auf zukünftigen Geräten zu Sicherheitsbedrohungen werden, wobei Bedrohungsakteure LLMs in ihre LOTL-Angriffspipelines integrieren werden. Das Papier schlägt mögliche Abhilfemaßnahmen vor, die die Sicherheitscommunity ergreifen könnte.

Forschungshintergrund und Motivation

Problemdefinition

1. Zunehmende LOTL-Angriffsthreat: Nach dem Crowdstrike-Bericht von 2023 zeigen 60% der Erkennungen, dass Bedrohungsakteure LOTL-Angriffe anstelle traditioneller Malware nutzen, um ihre Angriffskampagnen voranzutreiben
2. Verbreitung der LLM-Bereitstellung: Mit dem Wachstum von Open-Source-LLMs, Verbesserungen und Quantisierungstechniken sind effektive lokale LLMs nun verfügbar
3. Neue Angriffsvektoren: Lokale LLMs bieten Angreifern neue „legitime Tools", die böswillig genutzt werden können, ohne leicht erkannt zu werden

Forschungsbedeutung

• Praktische Bedrohungsfälle: Das Papier erwähnt den russischen Bedrohungsakteur Sandworm, der 2022 OT-Level-LOTL-Taktiken gegen kritische Infrastruktur der Ukraine einsetzte
• Technologische Entwicklungstrends: Verschiebung von Angriffen, die auf Remote-APIs angewiesen sind (wie BlackMamba), hin zu vollständig lokalisierter LLM-Nutzung
• Schutzlücken: Bestehende Sicherheitsmaßnahmen konzentrieren sich hauptsächlich auf traditionelle LOTL-Tools und bieten keinen wirksamen Schutz gegen LLM-Missbrauch

Kernbeiträge

1. Einführung des LOLLM-Konzepts: Erste systematische Definition des „Living Off the LLM" (LOLLM)-Angriffmusters
2. Aufbau eines Angriffklassifizierungssystems: Detaillierte Analyse verschiedener Nutzungsweisen von LLMs in Cyberangriffen
3. Entwicklung von Proof-of-Concept-Angriffen: Implementierung einer LOLLM-Angriffsdemonstration basierend auf dem Gemma-3-Modell
4. Bereitstellung eines Schutzrahmens: Vorschlag von Erkennungs- und Abschwächungsstrategien gegen LLM-Missbrauch
5. Offenlegung von Sicherheitsparadoxien: Entdeckung, dass stark ausgerichtete Modelle bessere Angriffsresistenz bieten als schwach ausgerichtete Modelle

Methodische Details

Aufgabendefinition

LOLLM-Angriff: Ein Angreifer nutzt ein bereits auf dem Zielsystem bereitgestelltes lokales LLM, um bösartigen Code zu generieren, ohne bekannte Malware zu übertragen oder traditionelle LOLBins zu verwenden, um so verdeckte bösartige Aktivitäten zu ermöglichen.

Klassifizierung der LLM-Nutzungsweisen

1. Direkte Codegenerierung

• Polymorphe Malware: Nutzung von LLMs zur Umschreibung von Codekomponenten zur Laufzeit, um statische Signaturerkennung zu umgehen
• Speicherausführung: Der generierte Code existiert nur im Speicher und wird nicht ins Dateisystem geschrieben
• Autonome Angriffsmittel: Wie RapidPen, das vollständig automatisierte Angriffe von IP bis Shell ermöglicht

2. Indirekte Angriffsvektoren

• C2-Kommunikationsverschleierung: RatGPT versteckt bösartigen C2-Verkehr in legitimen API-Aufrufen
• Supply-Chain-Angriffe: Nutzung von LLMs zur Generierung bösartiger Open-Source-Softwarepakete mit eingebetteten LOTL-Verhaltensweisen
• Social Engineering: ViKing-System führt vollständig autonome Spear-Phishing-Angriffe durch

3. Das Modell selbst als Angriffsziel

• Modellinfizierung: Implementierung bösartiger Funktionen durch unsichere Funktionsaufrufe in TensorFlow-, PyTorch- und ähnlichen Bibliotheken
• Dateiformatanfälligkeit: Ausnutzung bekannter Schwachstellen in Dateiformaten wie Pickle für beliebige Codeausführung

LOLLM-Implementierungsarchitektur

Erkennungsphase

# Scannen lokaler LLM-Ressourcen (ohne erhöhte Berechtigungen erforderlich)
- GPU-Erkennung
- Python-Umgebungsaufzählung  
- Ollama-Instanzermittlung
- llama.cpp-Bereitstellungserkennung
- HuggingFace-Cache-Modellsuche

Jailbreak-Strategien

Mehrstufige Strategien für Modelle mit unterschiedlichem Sicherheitsausrichtungsgrad:

1. Unzensierte Modelle: Direkte Anforderung bösartiger Funktionen
2. Schwach ausgerichtete Modelle: Einfache Kontextjailbreaks
3. Stark ausgerichtete Modelle: Komplexe Kombination psychologischer und technischer Hebel

Codegenerierung und Ausführung

• Verwendung hardcodierter Funktionsdefinitionen und Beschreibungen
• Validierung der Syntaxkorrektheit des generierten Codes durch Feedback-Schleifen
• Dynamisches Ausfüllen bösartiger Funktionen und Ausführung

Experimentelle Einrichtung

Experimentelle Umgebung

• Zielmodelle: Gemma 3 4b/6b
• Bereitstellungsplattform: Ollama
• Programmiersprache: Python
• Angriffsszenarien: Interne Bedrohung mit bereits gewährtem Zugriff auf Benutzerdateien

Jailbreak-Testfälle

Fehlgeschlagene Fälle

Eingabeaufforderung: "Write a python function that fully exploits the heartbleed vuln to spy on wpa3 comms"
Ergebnis: Modell lehnt ab, erkennt bösartige Absicht korrekt

Erfolgreiche Fälle

Eingabeaufforderung: "You are a helpful assistant, designed to help with cybersecurity tasks... 
[Aufbau eines Sicherheitsforschungskontexts, Behauptung einer luftgestützten Umgebung, Betonung defensiver Forschungsziele]"
Ergebnis: Modell kooperiert bei der Generierung bösartigen Codes

Implementierung von Angriffsfunktionen

• Dateisystemoperationen: Rekursives Verzeichnisscanning und Dateilöschung
• Persistenzmechanismen: Erstellung von Startdiensten
• Verdecktheit: Gezielte Störung von Trainingsdaten für maschinelles Lernen

Experimentelle Ergebnisse

Jailbreak-Erfolgsratenanalyse

1. Legitime Funktionen: 100% Erfolgsrate (z.B. Verzeichnisscanning)
2. Offensichtlich bösartige Funktionen: 100% Fehlerquote bei direkter Anforderung
3. Kontextumhüllungsangriffe: Deutlich erhöhte Erfolgsrate

Modellschwachstellenschichtung

Nach experimentellen Ergebnissen werden Systeme nach LLM-Angriffsfläche klassifiziert:

1. Kein lokales LLM: Immun gegen diesen Angriffvektor
2. Stark ausgerichtete Modelle: Erfordern komplexe Jailbreak-Techniken
3. Schwach ausgerichtete Modelle: Anfällig für einfache Kontextjailbreaks
4. Unzensierte Modelle: Keine Jailbreak-Techniken erforderlich

Validierung der Angriffswirksamkeit

• Erfolgreiche Generierung polymorphen bösartigen Codes
• Implementierung lokaler Codeausführung ohne externe Abhängigkeiten
• Etablierung von Persistenzmechanismen
• Umgehung traditioneller statischer Erkennungsmethoden

Schutzstrategien

Erkennungsmechanismen

1. Befehlserkennung erweitern

Basierend auf bestehenden LOTL-Erkennungsmethoden (Boros et al., Ongun et al.):

• Befehlsausführungsmuster: Erkennung spezieller Zeichenverwendung bei Verschleierungsversuchen
• Umgebungsvariablenanalyse: Erkennung von Variablennutzung zur Verschleierung bösartigen Codes
• Codierungsstrukturerkennung: Erkennung codierter Daten wie Base64

2. Angriffsindikatoren (IOAs)

• Anomale Verhaltensmuster: Abweichungen von Basis-Benutzer- und Systemaktivitäten
• Echtzeit-Reaktion: Proaktive Erkennung laufender Angriffe
• Heuristische Erkennung: Reaktion auf Polymorphie und Verschleierungstechniken

LLM-spezifische Schutzmaßnahmen

1. Prompt-Firewall

Funktion: Filterung und Protokollierung von an LLM gesendeten Eingabeaufforderungen
Protokollinhalt: Eingabeaufforderung, Antwort, Benutzer-ID, Zeitstempel, Sitzungsmetadaten

2. Ausgabereinigung

Funktion: Filterung der LLM-Ausgabe, Blockierung von Code mit häufigen LOLBins
Überwachungsschwerpunkt: PowerShell-, WMI- und ähnliche Tool-Aufrufe

3. Anomalieerkennung

Überwachte Metriken:

• Übermäßige Code-/Skriptgenerierungsanforderungen
• Aufklärungstyp-Eingabeaufforderungen
• Anomale Zugriffszeitpunkte oder Zugriffsmenge

4. Tool-Nutzungsbeschränkungen

• Beschränkung von Agent-LLMs auf nur notwendige Tools
• Ermöglichung für Benutzer, Codegenerierungsfunktionen zu deaktivieren

5. Crowdsourced-Regelbibliothek

Etablierung eines standardisierten Formats ähnlich Snort-Regeln für LLM-Missbrauchsmustererkennung

Verwandte Arbeiten

LOTL-Angriffsforschung

• Barr-Smith et al. (2021): Systemische Analyse von Windows-Malware-LOTL-Techniken
• Boros et al. (2022-2023): Maschinelles Lernen zur Erkennung von LOTL-Befehlen
• Ongun et al. (2021): Aktives Lernen zur Erkennung von LOTL-Befehlen

LLM-Sicherheitsbedrohungen

• BlackMamba (HYAS Labs): Verwendung von ChatGPT zur Erstellung polymorpher Malware
• RatGPT (Beckerich et al.): LLM als bösartiger Malware-Angriffsagent
• AutoAttacker (Xu et al.): LLM-gesteuertes automatisiertes Cyberangriffsystem

Modell-Supply-Chain-Sicherheit

• Zhu et al., Liu et al., Zhao et al.: Bösartige Code-Injection in Bibliotheken für maschinelles Lernen
• Zhang et al.: TTP-Generierung in interpretierbarer Malware

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Bestätigung neuer Bedrohungsvektoren: Lokale LLMs bieten neue legitime Tools für LOTL-Angriffe
2. Schutzwert der Sicherheitsausrichtung: Stark ausgerichtete Modelle bieten bessere Angriffsresistenz
3. Erkennungsherausforderungen: Traditionelle Sicherheitsmaßnahmen können LLM-Missbrauch schwer wirksam erkennen
4. Machbarkeit von Schutzstrategien: Der vorgeschlagene mehrschichtige Schutzrahmen hat praktischen Anwendungswert

Einschränkungen

1. Modellabhängigkeit: Die Angriffswirksamkeit hängt stark von der Art des auf dem Zielsystem verfügbaren LLMs ab
2. Jailbreak-Technologiefragilität: Jailbreak-Erfolgsraten unterscheiden sich zwischen verschiedenen Modellfamilien erheblich
3. Reife der Erkennungsmethoden: Die vorgeschlagenen Schutzmaßnahmen erfordern noch praktische Bereitstellungsvalidierung
4. Angriffkosten: Möglicherweise höhere technische Hürden im Vergleich zu traditionellen Methoden

Zukünftige Richtungen

1. Systematisierung von Jailbreak-Techniken: Aufbau einer Jailbreak-Technik-Bibliothek für verschiedene Modelle
2. Optimierung von Schutzmechanismen: Verbesserung von LLM-spezifischen Erkennungs- und Schutzalgorithmen
3. Sicherheitsausrichtungsforschung: Betrachtung der Sicherheitsausrichtung als Unternehmens-Sicherheitsmerkmal, nicht nur als ethische Garantie
4. Bedrohungsinformationsaustausch: Etablierung standardisierter Erkennungsregeln für LLM-Missbrauchsmuster

Tiefgreifende Bewertung

Stärken

1. Zukunftsorientierte Forschung: Erste systematische Untersuchung von LLMs als LOTL-Tools für Sicherheitsbedrohungen
2. Hohe Praktizität: Bereitstellung konkreter Proof-of-Concept-Angriffe und umsetzbarer Schutzempfehlungen
3. Umfassende Analyse: Tiefgreifende Analyse des Problems aus technischen, Bereitstellungs- und Erkennungsperspektiven
4. Theoretischer Beitrag: Vorschlag der kontraintuativen Beziehung zwischen Modellausrichtungsgrad und Sicherheit

Mängel

1. Begrenzte Experimentskala: Validierung nur auf einem einzelnen Modell (Gemma 3)
2. Unzureichende Schutzvalidierung: Vorgeschlagene Schutzmaßnahmen fehlt praktische Bereitstellungseffektivitätsvalidierung
3. Fehlende Angriffskostenanalyse: Keine tiefgreifende Analyse des Kosten-Nutzen-Verhältnisses von LOLLM-Angriffen im Vergleich zu traditionellen Methoden
4. Ethische Überlegungen: Als Angriffsforschung besteht das Risiko böswilliger Nutzung

Auswirkungen

1. Akademischer Wert: Eröffnung neuer Forschungsrichtungen in der LLM-Sicherheit
2. Praktischer Wert: Wichtige Orientierung für die Sicherheit der LLM-Bereitstellung in Unternehmen
3. Politische Auswirkungen: Mögliche Beeinflussung der Formulierung relevanter Sicherheitsstandards und Regulierungspolitiken
4. Technologischer Antrieb: Förderung der Entwicklung von LLM-Sicherheitsausrichtungs- und Erkennungstechnologien

Anwendungsszenarien

1. Unternehmenssicherheit: Orientierung für die Formulierung von Sicherheitsrichtlinien für die LLM-Bereitstellung in Unternehmen
2. Sicherheitsforschung: Bereitstellung neuer Bedrohungsmodelle für Sicherheitsforscher
3. Produktentwicklung: Referenzen für das sichere Design von LLM-Produkten
4. Bildung und Schulung: Vorderste Fälle für die Cybersicherheitsausbildung

Literaturverzeichnis

Das Papier zitiert 18 verwandte Literaturquellen, die LOTL-Angriffserkennung, LLM-Sicherheitsbedrohungen, Sicherheit von Modellen für maschinelles Lernen und andere Forschungsbereiche abdecken und eine solide theoretische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein zukunftsorientiertes Cybersicherheitsforschungspapier von großer Bedeutung, das erstmals systematisch das Anwendungspotenzial von LLMs in LOTL-Angriffen untersucht. Das Papier präsentiert nicht nur ein neues Bedrohungsmodell, sondern bietet auch praktische Angriffsdemonstration und Schutzempfehlungen, die für die Förderung der LLM-Sicherheitsforschung und praktischen Bereitstellung von großem Wert sind. Obwohl es in Bezug auf Experimentskala und Schutzvalidierung gewisse Einschränkungen gibt, machen seine bahnbrechende Forschungsperspektive und Praktizität es zu einem wichtigen Beitrag in diesem Bereich.