Anomalieerkennung in der KI-Sicherheit: Wie Angreifer die Wächter austricksen

Viele KI-gestützte Sicherheitssysteme arbeiten nach einem bestechend einfachen Prinzip: Sie lernen, wie „normal" aussieht, und schlagen Alarm, sobald etwas aus dem Rahmen fällt. Das ist Anomalieerkennung — das Rückgrat moderner Intrusion Detection, Fraud-Erkennung und Netzwerküberwachung. Das Schöne daran: Man muss den Angriff nicht kennen, um ihn zu bemerken. Das Gefährliche daran: Wer definiert, was „normal" ist? Genau an dieser Frage setzen Angreifer an. In diesem Beitrag erkläre ich, wie Anomalieerkennung in der KI-Sicherheit funktioniert — und wo ihre blinden Flecken liegen.

Was Anomalieerkennung wirklich tut

Klassische Erkennung braucht eine Signatur: „Suche genau dieses Schadmuster." Anomalieerkennung dreht das um. Sie lernt das Normalverhalten aus den Daten und markiert alles, was deutlich davon abweicht. Der Vorteil ist riesig: Sie kann auch unbekannte Angriffe erwischen — die eine neue Masche, für die es noch keine Signatur gibt. Der Preis dafür: Sie weiß nie sicher, was auffällt — nur dass etwas auffällt.

Drei Arten von „auffällig"

Nicht jede Abweichung sieht gleich aus. In der Praxis lohnt es sich, drei Typen zu unterscheiden:

• Punkt-Anomalie: Ein einzelner Wert ist für sich genommen schon absurd. Eine Überweisung über 50.000 € auf einem Konto, das sonst Beträge unter 100 € sieht. Ein einzelnes Paket, zehnmal größer als alles andere im Netz.
• Kontextuelle Anomalie: Der Wert wäre für sich völlig harmlos — nur eben nicht hier und jetzt. Ein Admin-Login um 3 Uhr nachts ist nicht per se verdächtig. Aber von einem Account, der sich sonst ausschließlich werktags zwischen 9 und 17 Uhr meldet, schon.
• Kollektive Anomalie: Jedes einzelne Ereignis ist normal — die Summe ist es nicht. Ein fehlgeschlagener Login passiert jedem. Zehntausend davon, verteilt über hunderte IPs innerhalb einer Minute, sind ein koordinierter Angriff.

Die kontextuellen und kollektiven Fälle sind die spannenden — und die, an denen schwache Systeme scheitern. Genau dort verstecken sich gute Angreifer.

Drei Wege, das „Normale" zu lernen

Wie ein System Normalität modelliert, lässt sich grob in drei Denkschulen einteilen — ohne dass du eine einzige Formel brauchst:

• Eine Grenze ziehen: Das System legt eine Hülle um die normalen Datenpunkte. Alles innerhalb gilt als harmlos, alles außerhalb als Anomalie. Stark, wenn „normal" eine klar umrissene Region ist.
• Auf Isolierbarkeit setzen: Die Idee: Ungewöhnliche Punkte lassen sich mit wenigen Schnitten vom Rest abtrennen, normale brauchen viele. Wer schnell isolierbar ist, ist verdächtig — effizient gerade bei seltenen, extremen Ausreißern.
• Auf Dichte schauen: Hier zählt die Nachbarschaft. Ein Punkt, der in einer viel dünner besiedelten Region liegt als seine Umgebung, fällt auf — auch wenn er global gar nicht so extrem ist.

Welcher Ansatz passt, hängt von den Daten ab. Für die Verteidigung ist aber etwas anderes entscheidender: Alle drei haben dieselbe Achillesferse.

Der blinde Fleck: Wie Angreifer Anomalieerkennung aushebeln

Anomalieerkennung lebt von einer einzigen Annahme: dass der Begriff von „normal" sauber und ehrlich ist. Ein Angreifer, der das weiß, hat zwei Hebel — und beide sind erschreckend praktikabel.

1. Evasion — sich als normal tarnen

Statt das System zu überwinden, imitiert der Angreifer das Normalverhalten. Das klassische Muster ist low and slow: Datenabfluss nicht in einem großen Schwung, sondern in vielen winzigen Häppchen, die einzeln unter der Schwelle bleiben. Jede Aktion für sich ist unauffällig — und genau dadurch entsteht keine Anomalie. Der Angreifer bewegt sich bewusst innerhalb der Hülle, der dichten Nachbarschaft, des Erwartbaren.

Hier schließt sich ein Kreis zu einem Effekt, den ich an anderer Stelle ausführlich beschrieben habe: Weil echte Angriffe selten sind, ertrinken viele Detektoren ohnehin in Fehlalarmen (die Base-Rate-Falle). Wer seine Empfindlichkeit deshalb herunterdreht, vergrößert exakt den Spalt, durch den getarnter Traffic schlüpft. Evasion und False-Positive-Problem verstärken sich gegenseitig.

2. Poisoning — die Definition von „normal" verschieben

Der subtilere Angriff zielt nicht auf den Alarm, sondern auf das Lernen. Wenn ein System sein Normalbild laufend aus dem beobachteten Verkehr aktualisiert, kann ein Angreifer dieses Bild langsam in seine Richtung ziehen — Schritt für Schritt, jeder Schritt zu klein, um aufzufallen. Man nennt das gern den Frosch im Topf: Erhöht man die Temperatur langsam genug, springt er nie heraus. Nach Wochen gilt das, was anfangs ein Alarm gewesen wäre, als völlig normal.

Beide Hebel haben dasselbe Fundament: Der Detektor trifft Annahmen über die Welt, und der Angreifer bricht genau diese Annahmen. Deshalb ist Anomalieerkennung kein „Einschalten und vergessen", sondern ein System, das selbst zur Angriffsfläche wird.

Was das für deine Verteidigung heißt

Wenn du Anomalieerkennung einsetzt oder einkaufst, stell nicht die Frage „Erkennt sie Angriffe?", sondern:

• Woher kommt das „Normal"? Einmalig trainiert oder laufend aus Live-Daten — und wer kann diese Daten beeinflussen?
• Wie robust ist das Modell gegen langsame Drift? Gibt es einen sauberen, geschützten Referenzzustand, gegen den geprüft wird?
• Was passiert nach dem Alarm? Precision und Recall bei deiner realen Basisrate schlagen jede Marketing-Genauigkeit.
• Wird gegen Evasion getestet? Also nicht nur „findet es laute Angriffe?", sondern „findet es auch die leisen, getarnten?".

Genau hier setze ich beim KI-Red-Teaming an: Ein Detektor, der im Demo-Datensatz glänzt, sagt wenig darüber aus, wie er sich gegen einen denkenden Gegner schlägt, der seine Annahmen kennt und gezielt bricht.

Mein Fazit

Anomalieerkennung ist eines der mächtigsten Werkzeuge der KI-Sicherheit — gerade weil sie auch Unbekanntes erwischt. Aber ihre Stärke ist zugleich ihre Schwäche: Sie steht und fällt mit einem ehrlichen Begriff von „normal". Evasion nutzt diesen Begriff aus, indem es sich darin versteckt; Poisoning verschiebt ihn, bis er den Angreifer einschließt. Wer Anomalieerkennung in der KI-Sicherheit ernst nimmt, behandelt das Modell deshalb nicht als neutralen Wächter, sondern als angreifbaren Teil des Systems — und prüft es genau so.

▶ Erkennung gegen echte Angreifer prüfen lassen LLM-Pentest