Logo IPI
Direkt anrufen
Ad-hoc Support
Termin vereinbaren
Beitragsbild Agent Traps

Wie eine normale E-Mail euren KI-Agenten zum Sicherheitsrisiko machen kann

Bild von Jessika Preuschoff
Jessika Preuschoff

Beitrag teilen:

Copilot & Co. unterscheiden Befehle nicht von Inhalten. Für Microsoft 365 wird das schnell zum Governance-Thema.

Ein Buchhaltungs-Mitarbeiter bittet seinen KI-Assistenten, den Posteingang zu sortieren und offene Rechnungen zusammenzufassen. Eine der Mails enthält, für ihn unsichtbar, eine zusätzliche Zeile im Quelltext. Der Agent liest sie mit und schickt im selben Arbeitsschritt zehn Rechnungen als PDF an eine externe Adresse. Niemand hat geklickt, niemand hat etwas heruntergeladen. Der Agent hat einfach getan, wonach es aussah, als sollte er es tun. 

 Ein Paradebeispiel für das versteckte Problem autonomer Agenten: Sie unterscheiden oft nicht zuverlässig zwischen Inhalt, der nur gelesen und verarbeitet werden soll, und einer Anweisung, der gefolgt werden muss, wenn beide im selben Text stehen. In der Security-Welt hat dieses Problem einen Namen: Prompt Injection. Gemeint ist genau dieser Moment, in dem eine versteckte oder geschickt platzierte Anweisung als vermeintlich legitimer Befehl durchgeht. Für uns Menschen ist dieser Unterschied selbstverständlich, weil wir Kontext automatisch mitdenken. Für ein System, das Sprache als Sprache verarbeitet, ist die Grenze dagegen erstaunlich durchlässig. 

Die wichtigsten Fragen zu Agent-Sicherheitsrisiken- kurz beantwortet

Kompakte Einordnung, damit du sofort weißt, ob dieser Beitrag für dich relevant ist, bevor es in die Details geht.

  • Was ist Prompt Injection bei KI-Agenten?
    Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen einen KI-Agenten dazu bringen, unerwünschte Aktionen auszuführen.
  • Warum ist das Principle of Least Privilege wichtig?
    Agenten sollten nur die Rechte erhalten, die sie für ihre Aufgabe benötigen. So bleibt der mögliche Schaden bei einer Manipulation begrenzt.
  • Wie lassen sich KI-Agenten vor Prompt Injection schützen?
    Klare Berechtigungen, die Trennung von Lesen und Handeln, Human Approval für kritische Aktionen sowie die Prüfung externer Inhalte vor der Verarbeitung.
  • Welche Vorteile bietet eine On-PremisWie prüft man die Sicherheit eines KI-Agenten?
    Ein Security-Check oder Red Teaming hilft dabei, Schwachstellen und Risiken zu erkennen und zu beheben.

Drei Stellen, an denen Sicherheit kippen kann

Angriffe auf Agenten setzen nicht an einer einzigen Stelle an. Sie greifen potenziell überall da an, wo ein Agent Informationen aufnimmt, bewertet oder danach handelt. Das lässt sich grob in drei Phasen unterscheiden. 

Bevor der Agent merkt, dass etwas nicht stimmt

Der einfachste Trick ist, eine Anweisung so zu platzieren, dass ein Mensch sie nie zu Gesicht bekäme: weißer Text auf weißem Grund, ein HTML-Kommentar, ein Feld in den Metadaten einer Datei. Der Agent verarbeitet aber den Rohtext oder den Code dahinter und liest damit auch das mit, was für Augen gar nicht gedacht war. 

Perfider wird es, wenn nicht der aktuelle Input manipuliert wird, weil manche Angriffe gezielt auf das zielen, worauf sich der Agent später verlässt: sein Gedächtnis oder seine Wissensbasis. Wird dort einmal eine falsche Information platziert, taucht sie bei jeder künftigen Anfrage wieder als vermeintlicher Fakt auf, oft lange nachdem der eigentliche Angriff längst vorbei ist. 

Wenn der Agent überzeugt statt getäuscht wird

Nicht jeder Angriff versteckt sich. Manche argumentieren einfach überzeugend genug, dass der Agent von selbst mitspielt. Über geschicktes Framing oder eine vorgetäuschte Autorität lässt sich ein Agent dazu bringen, eigene Sicherheitsabwägungen für „diesen speziellen Fall” als nicht relevant einzustufen. Der Agent hält sich dabei subjektiv weiterhin an seine Regeln, denn er wurde nur davon überzeugt, dass sie hier ausnahmsweise nicht gelten. 

Wenn aus Überzeugung Handlung wird

Am Ende der Kette steht die Aktion, die E-Mail, die verschickt wird, die Datei, die gelöscht wird, die Zahlung, die ausgelöst wird. Hier zeigt sich, warum die ersten beiden Phasen überhaupt gefährlich sind, denn ein getäuschter Agent kann nur so viel Schaden anrichten, wie ihm Rechte zur Verfügung stehen. Bei vernetzten Agenten wird das Problem noch größer, weil ein einzelnes manipuliertes Signal mehrere Systeme gleichzeitig zur selben Fehlentscheidung bringen und sich wie eine Kettenreaktion fortsetzen kann. 

Selbst wenn am Ende ein Mensch bestätigen muss, ist das keine Garantie, denn auch diese Bestätigung lässt sich beeinflussen. Etwa durch beiläufig formulierte Freigabe-Anfragen oder durch einen Link, der einfach in einer ansonsten seriös wirkenden Zusammenfassung auftaucht. 

Wie eine normale E-Mail euren KI-Agenten zum Sicherheitsrisiko machen kann

Warum das kein theoretisches Problem ist

Ein Agent hat in aller Regel mehr Rechte, als ein Angreifer selbst je hätte, etwa Zugriff auf interne Daten, die Fähigkeit, Mails zu verschicken, oder die Möglichkeit, andere Systeme direkt anzusprechen. Ein Angriff muss den Agenten deshalb gar nicht “hacken”. Es reicht, ihn dazu zu bringen, seine eigenen, völlig legitimen Rechte im Sinne des Angreifers zu nutzen, und genau das macht diese Angriffe so schwer zu erkennen. Aus Sicht des Systems sieht alles wie eine ganz normale, autorisierte Aktion aus. 

Was tatsächlich schützt

  • Lesen und Handeln entkoppeln.
    Ein Agent darf eine PDF zusammenfassen, aber er sollte nicht im selben Durchlauf auch eine Mail verschicken, eine Datei löschen oder etwas veröffentlichen dürfen. Für irreversible Schritte braucht es einen bewussten menschlichen Klick, und zwar als echte Kontrolle, nicht als Formsache.
  • Externe Inhalte grundsätzlich misstrauisch behandeln.
    Bilder aus fremden Quellen vor der Analyse neu komprimieren, Texte normalisieren, unsichtbare Unicode-Zeichen entfernen. PDFs und Webseiten sollten erst isoliert eingelesen werden, bevor ein Agent mit Tool-Zugriff überhaupt in Kontakt damit kommt.
  • Rechte konsequent klein halten.
    Dieses Prinzip heißt “Principle of Least Privilege”: Jeder Agent bekommt nur genau die Rechte, die er für seine Aufgabe wirklich braucht, und sonst keine. Der Recherche-Agent braucht keinen Mail-Versand, der Support-Agent nicht automatisch vollen Kalenderzugriff, der Coding-Agent nicht automatisch Zugriff auf Produktivdaten. Je enger die Rechte gefasst sind, desto kleiner bleibt der maximale Schaden, wenn eine Manipulation doch einmal durchrutscht.

Der eigene Setup-Check

Wer wissen will, wie es um das eigene Agenten-Setup steht, kann das mit einem gezielten Prompt gegenüber der eigenen KI-Umgebung selbst prüfen lassen. Man nennt dieses Vorgehen Red-Teaming: Man schlüpft selbst in die Rolle des Angreifers, um Schwachstellen im eigenen System zu finden, bevor es jemand anderes tut. 

				
					Prüfe mein AI-(Agenten-)Setup auf indirekte Prompt Injection, Secret-Exfiltration, Tool-Missbrauch, Supply-Chain-Risiken und zu breite Rechte. 

Erstelle einen priorisierten Härtungsplan, aber setze nichts ohne meine Bestätigung um. Unterscheide klar zwischen Befund, Risiko, empfohlener Guardrail, betroffenen Dateien/Rechten und konkretem Umsetzungsschritt. 

  

Zeige mir: 
1. Welche Inputs untrusted sind. 
2. Welche Aktionen Human Approval brauchen. 
3. Welche Rechte/Tools/MCPs ich entfernen oder trennen sollte. 
4. Welche Guardrails du vorschlägst. 
5. Welche Tests ohne echte Daten möglich sind. 
6. Welche Logs Ursache, Entscheidung, Tool-Call und Aktion verbinden. 
7. Was du als Erstes ändern würdest und warum.

Das Ergebnis ist eine strukturierte Grundlage, Befund für Befund und Risiko für Risiko, über die am Ende immer noch ein Mensch entscheidet. 

Das ist kein Grund, auf KI zu verzichten

Nichts von alldem heißt, dass ihr auf Copilot  oder eigene Agenten verzichten solltet, es heißt lediglich nur, dass die Grundlagen stimmen müssen: welche Inhalte ein Agent überhaupt einsehen darf, wie eng seine Rechte gefasst sind und wie mit Dokumenten aus unklaren oder externen Quellen umgegangen wird, bevor ein System sie verarbeitet. 

  Das ist unser Alltag. Wir wissen, wo man in Microsoft 365 zuerst nachsehen muss, welche Rechte typischerweise falsch gesetzt sind und wie man Copilot so einrichtet, dass es findet, was es finden soll, und sonst nichts. Kein Rundumschlag mit maximaler Lizenzierung. Ein Vorgehen, das zu eurer tatsächlichen Nutzung passt. 

 Wie das konkret aussieht: Sicherheit & Governance für KI mit Microsoft 365. 

Mehr interessante Beiträge:

Kommentar schreiben

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert