OWASP LLM Top 10: die größten Risiken für KI-Apps
Die OWASP Foundation pflegt mit den „Top 10 für LLM-Anwendungen" eine Liste der häufigsten und kritischsten Sicherheitsrisiken bei Systemen mit großen Sprachmodellen. Sie ist der De-facto-Standard, an dem sich KI-Sicherheitstests orientieren. Hier ein verständlicher Überblick.
1. Prompt Injection
Manipulierte Eingaben bringen das Modell dazu, von seinen Anweisungen abzuweichen. Direkt (vom Nutzer) oder indirekt (über externe Inhalte wie Webseiten, Dokumente, RAG-Quellen). Mehr dazu im eigenen Beitrag.
2. Sensitive Information Disclosure
Das Modell gibt vertrauliche Daten preis — System-Prompt, Trainingsdaten, personenbezogene Informationen oder Geschäftsgeheimnisse, die in den Kontext gelangt sind.
3. Supply-Chain-Risiken
Verwundbarkeiten in Modellen, Datensätzen, Plugins oder Bibliotheken Dritter. Ein kompromittiertes vortrainiertes Modell oder eine manipulierte Abhängigkeit gefährdet die gesamte Anwendung.
4. Data & Model Poisoning
Angreifer schleusen manipulierte Daten in Training oder Feintuning ein, um Hintertüren, Verzerrungen oder gezieltes Fehlverhalten zu erzeugen.
5. Insecure Output Handling
Modellausgaben werden ungeprüft weiterverarbeitet. Wird Output direkt in HTML gerendert oder als Code ausgeführt, drohen XSS, SSRF oder Remote Code Execution.
6. Excessive Agency
Das Modell hat zu weitreichende Rechte oder Tool-Zugriffe. Wird es manipuliert, kann es reale Schäden anrichten — E-Mails versenden, Daten löschen, Transaktionen auslösen.
7. System-Prompt-Leakage
Der System-Prompt enthält oft Logik, Regeln oder gar Secrets. Gelangt er nach außen, erleichtert das gezielte Angriffe — und legt manchmal direkt sensible Konfiguration offen.
8. Schwächen bei Vektoren & Embeddings (RAG)
In Retrieval-Augmented-Generation-Systemen können vergiftete oder unsignierte Quellen, schwache Zugriffskontrollen auf die Vektordatenbank und indirekte Injection über abgerufene Inhalte zum Problem werden.
9. Fehlinformation
Halluzinationen und falsche, aber überzeugend formulierte Ausgaben. Kritisch, wenn Nutzer sich blind auf das Modell verlassen — etwa bei rechtlichen, medizinischen oder sicherheitsrelevanten Entscheidungen.
10. Unbounded Consumption
Ressourcenmissbrauch: unkontrollierte Anfragen führen zu hohen Kosten (Denial of Wallet), Überlastung oder ermöglichen das Extrahieren des Modells über Massenabfragen.
Wie man die Liste nutzt
Die OWASP LLM Top 10 sind ideal als Prüfraster für einen KI-Pentest: Jedes Risiko wird gezielt
gegen die eigene Anwendung getestet, Findings dokumentiert und mit konkreten Härtungsmaßnahmen
hinterlegt. Ergänzend lohnt der Blick auf NIST AI RMF und MITRE ATLAS.