Direkt zum Inhalt wechseln

In den letzten Jahren haben große Sprachmodelle (Large Language Models, LLMs) bedeutende Fortschritte in ihrer Leistung erzielt und erreichen in vielen Bereichen mittlerweile Fähigkeiten, die weiter über die des menschlichen Gehirns gehen. Diese Modelle, darunter GPT-4, haben das Potenzial, sowohl in mehrwertstiftenden als auch in böswilligen Kontexten eingesetzt zu werden. Die wissenschaftliche Forschung und die Praxis haben begonnen, das Potenzial von LLM-Agenten zur Ausnutzung von Cybersicherheitslücken zu untersuchen. Frühere Studien beschränkten sich jedoch auf einfache Schwachstellen. Die aktuelle Arbeit „LLM Agents can Autonomously Exploit One-Day Vulnerabilities“ der Autoren Richard Fang, Rohan Bindu, Akul Gupta und Daniel Kang untersucht, ob LLM-Agenten reale, komplexe Sicherheitslücken autonom ausnutzen können, insbesondere sogenannte One-Day-Vulnerabilities, also Schwachstellen, die bekannt, aber noch nicht gepatcht sind.

Computersicherheit und LLM-Agenten

Computersicherheit ist ein umfangreiches Forschungsgebiet, das den Schutz von Computersystemen vor unerwünschten Aktivitäten durch Angreifer umfasst. Zu diesen unerwünschten Aktionen gehören unter anderem das Erlangen eines Root-Zugriffa auf Server, das Ausführen beliebigen Remote-Codes und das Exfiltrieren privater Daten. Angreifer nutzen verschiedene Methoden, von einfachen SQL-Injektionen bis hin zu hochkomplexen Angriffen, die mehrere Schwachstellen ausnutzen. So stellen beispielsweise die Statistik-Berichte des Bundesamtes für Sicherheit in der Informationstechnik regelmäßig Kennzahlen und grundlegende quantitative Informationen zur Lage der Cyber-Sicherheit in Deutschland zur Verfügung.

LLM-Agenten sind darauf spezialisiert, Werkzeuge zu verwenden und auf deren Ausgaben zu reagieren. Diese Agenten können nicht nur Werkzeuge nutzen, sondern auch komplexe Aufgaben wie das Planen von Aktionen, das Erstellen von Subagenten und das Lesen von Dokumenten durchführen. In der Studie wird gezeigt, dass LLM-Agenten, insbesondere GPT-4, erheblich leistungsfähiger sind als frühere Modelle und in der Lage sind, reale Schwachstellen erfolgreich auszunutzen.

Benchmark für reale Schwachstellen

Um die Fähigkeiten von LLM-Agenten zur Ausnutzung realer Computersysteme zu testen, wurde ein Benchmark bestehend aus realen Schwachstellen erstellt. Diese Schwachstellen wurden aus der „Common Vulnerabilities and Exposures“ (CVE)-Datenbank sowie aus wissenschaftlichen Arbeiten entnommen. CVE ist ein vom US-amerikanischen National Cybersecurity FFRDC (Federally funded research and development centers) betriebenes und von der Mitre Corporation gepflegtes System zur standardisierten Identifikation und Benennung von öffentlich bekannten Sicherheitslücken und anderen Schwachstellen in IT-Systemen. Mit dem CVE-System wird das Ziel verfolgt, Mehrfachbenennungen derselben Sicherheitslücken und Schwachstellen durch verschiedene Unternehmen und Institutionen zu vermeiden.

Die Auswahl konzentrierte sich auf Open-Source-Software, da viele Schwachstellen in Closed-Source-Software aufgrund fehlender Reproduzierbarkeit ausgeschlossen werden mussten. Der erstellte Benchmark umfasst verschiedene Kategorien von Schwachstellen, darunter Webseiten, Container-Verwaltungssoftware und anfällige Python-Pakete.

Der Benchmark umfasste insgesamt 15 Schwachstellen, darunter einige, die als kritisch eingestuft wurden. Ein bedeutender Teil dieser Schwachstellen lag nach dem Datenstichtag von GPT-4, was die Herausforderung für das Modell erhöhte.

Komponenten des LLM-Agenten

Der in dieser Studie entwickelte LLM-Agent besteht aus mehreren Komponenten:

Basismodell: Das Hauptmodell war GPT-4.

Prompt: Ein detaillierter Prompt, der den Agenten dazu ermutigte, kreativ zu sein und verschiedene Ansätze auszuprobieren.

Agenten-Framework: Implementiert mit dem ReAct-Framework.

Verschiedene Tools: Der Agent hatte Zugriff auf verschiedene Werkzeuge wie Web-Browsing-Elemente, ein Terminal, Web-Suchergebnisse, Dateierstellung und -bearbeitung sowie einen Code-Interpreter.

Das Ergebnis ist sowohl beeindruckend als auch aus einer Risikomanagement-Perspektive bedenklich: Der Agent war in der Lage, 87% der gesammelten Schwachstellen erfolgreich auszunutzen, was die Einfachheit und Effizienz des LLM-Agenten beim Ausnutzen von Schwachstellen unterstreicht. Insgesamt bestand der Agent aus 91 Zeilen Code, einschließlich Debugging- und Protokollierungsanweisungen.

GPT-4 zeigte die beste Leistung

Die Analysen wurden mit verschiedenen Modellen und Open-Source-Sicherheitsscannern durchgeführt. GPT-4 zeigte mit einer Erfolgsrate von 87% die beste Leistung, während alle anderen getesteten Modelle (einschließlich GPT-3.5 und acht Open-Source-Modelle) sowie Sicherheitsscanner wie ZAP und Metasploit keine Schwachstellen ausnutzen konnten. Ohne die Beschreibung der Schwachstellen sank die Erfolgsrate von GPT-4 auf 7%, was die Bedeutung der CVE-Beschreibungen unterstreicht.

Die qualitative Analyse zeigte, dass GPT-4 in der Lage war, eine Vielzahl von Schwachstellen auszunutzen, einschließlich solcher in Webseiten, Python-Paketen und Container-Verwaltungssoftware. Die Fähigkeit, Schwachstellen zu erkennen und zu nutzen, wurde durch die Integration von Werkzeugen und die strukturierte Planung von Angriffen erheblich verbessert.

Kostenevaluierung für die Nutzung von GPT-4

Die Kosten für die Nutzung von GPT-4 zur Ausnutzung realer Schwachstellen wurden ebenfalls evaluiert. Die Ergebnisse zeigten, dass die Anzahl der Aktionen, die der Agent zur Ausnutzung einer Schwachstelle durchführte, im Durchschnitt nur um 14% variierten, unabhängig davon, ob die CVE-Beschreibung vorhanden war oder nicht. Dies deutet darauf hin, dass eine verbesserte Planung und die Nutzung von Subagenten die Leistung weiter steigern könnten.

Subagenten-System könnte Leistung verbessern

Die detaillierte Untersuchung des Verhaltens des GPT-4-Agenten ergab, dass viele Schwachstellen eine große Anzahl von Aktionen erforderten, um erfolgreich ausgenutzt zu werden. Beispielsweise erforderte eine Schwachstelle in einem WordPress-Plugin durchschnittlich 48,6 Schritte pro Versuch, wobei ein erfolgreicher Angriff sogar 100 Schritte umfasste. Ein weiterer Fall, der CSRF- und ACE-Angriffe kombinierte, zeigte, dass der Agent ohne CVE-Beschreibung Schwierigkeiten hatte, den richtigen Angriffstyp zu wählen. Ein Subagenten-System könnte hier die Leistung verbessern.

Schwachstellen ohne CVE-Beschreibungen

Nachdem die CVE-Beschreibungen entfernt wurden, fiel die Erfolgsrate drastisch auf 7%. Dies zeigt, dass das Identifizieren von Schwachstellen erheblich schwieriger ist als deren Ausnutzung. Trotz dieser Herausforderung konnte GPT-4 in 33,3% der Fälle die richtige Schwachstelle identifizieren, aber nur eine davon erfolgreich ausnutzen. Die Untersuchung der Anzahl der durchgeführten Aktionen zeigte, dass die Unterschiede minimal waren, was auf das Potenzial einer verbesserten Planung und die Verwendung von Subagenten hinweist.

Fazit und Ausblick

Die Ergebnisse dieser Studie zeigen, dass LLM-Agenten wie GPT-4 reale, komplexe Schwachstellen autonom ausnutzen können. Dies stellt sowohl eine Chance als auch ein Risiko  dar. Die breite Anwendung solcher Technologien erfordert sorgfältige Überlegungen und Maßnahmen zur Sicherstellung, dass sie nicht missbräuchlich verwendet werden. Die Studie betont die Notwendigkeit weiterer Forschung zur Verbesserung der Agentenfähigkeiten und zur Entwicklung sicherer Systeme.

Die Ergebnisse unterstreichen die Notwendigkeit, die Sicherheit von LLM-Agenten zu gewährleisten und deren Einsatz in der Cybersicherheit sorgfältig zu überwachen. Die Studie liefert hoch relevante Erkenntnisse für die Entwicklung sicherer LLM-Systeme und die Verteidigung gegen potenzielle Bedrohungen in der Cybersicherheit.

Literatur

Fang, R., Bindu, R., Gupta, A., Kang, D. (2024). LLM Agents can Autonomously Exploit One-Day Vulnerabilities. Preprint.

https://doi.org/10.48550/arXiv.2404.08144

Autor

Frank Romeike

Gründer, Geschäftsführer und Eigentümer des Kompetenzzentrums RiskNet