Wenn KI nicht nur antwortet, sondern handelt
Vor kurzem geschah das beim Unternehmen PocketOS. Ein KI-Agent für Programmierung, der Claude Opus 4.6 von Anthropic nutzte, löschte in neun Sekunden die Produktionsdatenbank des Unternehmens. Danach, sicherheitshalber, auch noch sämtliche Backups auf der Railway-Infrastruktur.
„Der Agent fand bei der Fehlerbehebung in der Testumgebung ein Railway-API-Token mit weitreichenden Berechtigungen und nutzte es für einen destruktiven API-Aufruf“, beschrieb Jer Crane, Gründer von PocketOS, den Vorfall.
Der Fall veranschaulicht ziemlich gut den jüngsten Fortschritt der KI, so das Wirtschaftsportal Casnik Finance. Die größte Veränderung besteht nicht darin, dass sie eine hochwertige Zusammenfassung schreiben oder eine überzeugende E-Mail verfassen kann. Die größte Veränderung besteht darin, dass KI begonnen hat zu handeln. Genau an diesem Punkt beginnen Risiken, die deutlich ernster sind als eine klassische Halluzination in einem Chatfenster.
Wenn KI beginnt, ein Projekt zu führen
Ein klassisches generatives Modell ist im Kern ein Gesprächspartner. Der Nutzer stellt ihm eine Frage und erhält eine Antwort. „Von sich aus macht es in deiner Umgebung nichts. Es sitzt dort und wartet, dass du es etwas fragst“, sagt Žiga Humar vom Unternehmen Our Space Appliances.
Auch ein solches Modell ist nicht frei von Risiken. Nutzer fügen in Chatoberflächen häufig Code aus internen Repositorien, Verträge, Protokolle oder andere Daten ein, die dort nicht hingehören. Humar fasst den Unterschied einfach zusammen: „Bei einem klassischen Modell ist das Schlimmste, was passieren kann, dass du etwas einfügst, das du nicht hättest einfügen sollen. Bei einem Agenten ist dagegen jede seiner Entscheidungen eine Aktion in deiner Umgebung.“
Dass die Nutzung von KI in Unternehmen, besonders bei agentischen Systemen, komplex ist und zugleich bisher nicht gesehene Chancen bietet, schätzt auch das Unternehmen Kontron SI so ein. Deshalb hat es für die Entwicklung und das Angebot von Lösungen im Bereich KI eine Partnerschaft mit dem Unternehmen Kalmia geschlossen. Kalmia entwickelt seine KI-Kompetenzen bereits seit den ersten Anwendungsformen neuronaler Netze, was dem Unternehmen einen deutlich besseren Einblick in Chancen und Fallstricke ermöglicht.
Borut Terpinc, Leiter der Abteilung für künstliche Intelligenz bei Kalmia, beschreibt Agenten beziehungsweise KI-Assistenten als autonome Subjekte, die selbstständig planen, Entscheidungen treffen und Aktionen in einer bestimmten Umgebung mit einem klar definierten Ziel ausführen können.
Klassische Modelle arbeiten nach der Logik von Frage und Antwort. Agenten hingegen funktionieren wie eine Art selbstständige Projektleiter. Sie zerlegen eine Aufgabe in kleinere Schritte, nutzen externe Quellen und Werkzeuge, korrigieren sich selbst und merken sich frühere Aufgaben. In der Praxis bedeutet das, dass der Nutzer dem Agenten ein Ziel nennt. Den Weg dorthin plant und verändert der Agent selbst.
Aus der falschen Antwort wird eine falsche Handlung
Humar warnt deshalb, dass Risiken bei Agenten nicht nur mengenmäßig zunehmen, sondern sich ihrer Art nach verändern. „Eine falsche Antwort wird zu einer falschen Handlung“, sagt er.
Bei einem klassischen Modell steht zwischen Halluzination und Schaden weiterhin ein Mensch, der beurteilen kann, ob die Antwort sinnvoll ist. Bei einem Agenten verschwindet diese Sicherung oft. „Das Modell irrt sich, der Agent klickt, die Folge ist da. Zwischen Halluzination und Schaden liegen Sekunden, nicht Tage.“
Urša Dernovšek, die bei Kontron SI den Bereich Entwicklung geschäftlicher Initiativen leitet, betont die andere Seite derselben Geschichte. Der Einsatz von Agenten kann Unternehmen große Zeitersparnisse bringen, Prozesse beschleunigen und die Rendite von Investitionen verbessern. Doch gerade ihre Autonomie eröffnet auch neue Steuerungsrisiken.
„Wenn es bei irgendeinem Schritt der Aufgabe zu falschen Daten, einer Halluzination oder einem eingeschleusten Befehl kommt, kann der KI-Assistent selbstständig eine Handlung ausführen, die zu finanziellem Schaden, Datenverlust, auch rechtlichen Folgen und natürlich zu einem Reputationsschaden für das Unternehmen führt“, warnt die Gesprächspartnerin.
Prompt Injection ist kein akademisches Problem mehr
Das größte Sicherheitsproblem von Agenten liegt nicht zwingend im Modell selbst, sondern darin, dass das Modell schwer zuverlässig zwischen Anweisung und Daten unterscheiden kann. Schädliche Anweisungen können in E-Mails, Dokumenten, Webseiten oder Kommentaren versteckt sein. Der Agent kann sie als legitime Vorgabe für weitere Schritte behandeln.
Humar hebt als derzeit kritischstes Risiko genau Prompt Injection hervor, also das Einschleusen von Befehlen. Seiner Einschätzung nach treten Werkzeugmissbrauch, Datenexfiltration und falsche autonome Entscheidungen in der Praxis häufig als Folge erfolgreich untergeschobener Anweisungen auf. Ein Angreifer muss nicht zwingend in ein System eindringen. Es genügt, dass er Inhalte vorbereitet, die der Agent liest und befolgt.
„Die schlechteste Nachricht dabei ist, dass es sich nicht um einen Fehler handelt, den jemand auf Basis einer CVE im nächsten Sicherheitsupdate beheben wird“, sagt Humar. „Es handelt sich um eine architektonische Eigenschaft der Modelle selbst.“
Sprachmodelle unterscheiden ihrer Natur nach nicht zuverlässig zwischen Daten und Befehlen. Sie behandeln alles als Text. Deshalb gibt es Techniken, um die Wahrscheinlichkeit eines Angriffs zu reduzieren, aber keine hundertprozentige Lösung.
Auch Kontron SI sieht als gefährlichste Kombination den Kontrollverlust über die Ausführung von Aktionen und das indirekte Einschleusen von Befehlen. Da ein Agent keinem festen Programmpfad nach dem Muster „wenn dies, dann das“ folgt, sondern seine Schritte laufend anpasst, lässt sich im Voraus schwer vorhersagen, welchen Weg er nimmt.
Wenn ein Angreifer in einem Dokument oder auf einer Webseite eine bösartige Anweisung versteckt, kann der Assistent sie lesen und ausführen, da er nicht immer zwischen den Anweisungen des Eigentümers und den Anweisungen des Angreifers unterscheiden kann. Gerade diese Kombination aus Autonomie und Verwundbarkeit gegenüber äußeren Einflüssen kann zu Datenverlust, Werkzeugmissbrauch oder ungeeigneter Ausführung von Aktionen führen.
Ein Agent kann Daten auch ohne Angreifer offenlegen
Bei Agenten ist nicht nur ein böswilliger Angreifer ein Problem. Schon schlecht eingestellter Zugriff ist ein großes Risiko. Wenn ein Entwickler dem Agenten Einblick in ein Repositorium gibt, damit er beim Programmieren hilft, können im Code API-Schlüssel, Datenbankpasswörter, Zertifikate oder Verbindungen zu internen Systemen enthalten sein.
Der Agent versteht solche Informationen nicht zwingend als Geheimnisse. Er kann sie in einer Antwort verwenden, sie dem Modellanbieter als Teil des Kontexts senden oder in eine Dokumentation aufnehmen, die als Ergebnis der Aufgabe entsteht.
Dasselbe gilt für Personalakten, Vertragsentwürfe, Finanzberichte oder interne Analysen. Humar formuliert es sehr direkt: „Der Agent weiß schlicht nicht, was geheim ist, solange wir ihm damit nicht ausdrücklich vor der Nase herumwedeln. Und selbst dann verlassen wir uns nicht auf eine technische Garantie, sondern auf seinen Gehorsam. Das ist aber nicht dasselbe.“
Deshalb sollte jede Organisation, die über Agenten nachdenkt, zwei Annahmen treffen: dass Prompt Injection früher oder später gelingen wird und dass der Agent früher oder später etwas sehen wird, das er nicht hätte sehen sollen. Erst danach lässt sich verantwortungsvoll festlegen, welche Werkzeuge man ihm in die Hand gibt, auf welche Systeme er zugreifen darf, was er lesen darf und was er verändern darf.
Mehr Werkzeuge bedeuten eine größere Angriffsfläche
Wenn ein Agent Werkzeuge erhält, erhält er auch Macht. Das Risiko hängt nicht nur vom Modell ab, sondern vom Grad der Autonomie, den Berechtigungen, der Art der Werkzeuge und der Umgebung, in der er arbeitet.
Ein Agent, der nur eine Zusammenfassung erstellt, ist das eine. Ein Agent, der E-Mails versenden, Daten im CRM ändern oder eine Zahlung auslösen kann, ist etwas ganz anderes.
Dabei stellt sich auch die Frage nach Verantwortung. Humar warnt, dass sich bei einem klassischen Programm mit Systemprotokollen und guter Forensik noch relativ gut rekonstruieren lässt, was geschehen ist und aus welchem Grund. Bei einem Agenten gibt es dagegen eine nicht deterministische Kette von Entscheidungen, die sich nicht immer genau wiederholen lässt.
Die Frage, wer schuld ist, der Entwickler, der Nutzer, der Modellanbieter oder der Integrator, wird damit zu einer ernsten rechtlichen und organisatorischen Frage.
Mit Regulierung wird das noch wichtiger werden. Organisationen werden nicht einfach sagen können, der „Agent habe etwas verbockt“. Sie werden zeigen müssen, wer ihn genehmigt hat, mit welchen Rechten er handelte, welche Daten er verwendete und welche Kontrollmechanismen eingerichtet waren.
Wie Agenten in die Produktion dürfen
Die nüchternste Antwort auf agentische künstliche Intelligenz ist nicht Hype, sondern Disziplin. Die erste Regel ist das Prinzip der geringsten Rechte. Der Agent soll nur Zugriff auf das haben, was er für die konkrete Aufgabe wirklich braucht. Er darf kein persönliches Nutzerkonto verwenden, keine geteilten oder „für alle Fälle“ vergebenen Rechte haben und nicht auf Systeme zugreifen, die nichts mit der Aufgabe zu tun haben.
„Wenn der Agent Zusammenfassungen von Meetings schreibt, braucht er keinen Zugriff auf Finanzsysteme. Punkt“, sagt Humar.
Die zweite Regel lautet: Mensch in der Schleife. Jede Aktion mit rechtlichen, finanziellen oder sicherheitsrelevanten Folgen, also das Versenden von E-Mails nach außen, Löschen, Transaktionen, Unterzeichnen oder Ändern von Einstellungen, muss vor der Ausführung eine menschliche Bestätigung erhalten. Das ist kein Misstrauen gegenüber Technologie, sondern eine grundlegende Kontrolle, wie Organisationen sie bei privilegierten Systemen seit Jahrzehnten kennen.
Die dritte Regel sind Nachvollziehbarkeit und Revisionsspur. Darauf weist auch Kontron SI hin. Jeder Schritt des Agenten muss so protokolliert werden, dass sich nach einem Vorfall rekonstruieren lässt, was er getan hat, wann, mit welchen Daten und mit wessen Autorität. Ohne das gibt es keine ernsthafte Forensik, und auch der Nachweis regulatorischer Konformität wird nahezu unmöglich.
Kontrolle und Revisionsspur
Terpinc betont vor der Einführung in die Produktion eine strenge Begrenzung der Macht des KI-Assistenten und ständige Kontrolle. In der Praxis bedeutet das, die menschliche Rolle bei wichtigen Entscheidungen zu erhalten, den Zugriff auf Systeme sehr stark zu beschränken und die Umgebung zu isolieren, in der der Agent arbeitet.
Sinnvoll sind auch Sicherheitsfilter, die Eingabe- und Ausgabedaten analysieren, sowie ein System für das Management von Agenten, das ihre Schritte überwacht und eine Revisionsspur sicherstellt.
Urša Dernovšek warnt, dass Unternehmen vor Beginn der Einführung von KI-Lösungen eine breitere Bewertung der Bereitschaft ihrer Organisation vornehmen sollten: „Bei Kontron SI helfen wir Kunden mit dem Dienstleistungspaket AI Readiness dabei, ihre Bereitschaft zur Einführung von KI-Lösungen zu bewerten, ihre Prozesse und Datenqualität zu prüfen, die Einhaltung regulatorischer Vorgaben und auch die Eignung ihrer Infrastruktur einzuschätzen. Nach dieser Bewertung können wir Kunden beraten, in welchen Bereichen der Einsatz von KI-Lösungen sinnvoll ist, mit welchen Prozessen begonnen werden sollte und wie man ihren Erfolg misst.“
Es geht also nicht um die Frage, ob ein Unternehmen ein neues Werkzeug installieren kann, sondern ob es über die Reife, Prozesse und Verantwortlichkeiten verfügt, um es sicher zu nutzen.
Ein Agent ist kein besserer Chatbot
Agentische künstliche Intelligenz ist nicht nur ein besserer Chatbot. Sie ist ein System, das im Namen des Nutzers handeln kann, mit dessen Berechtigungen und in einer Umgebung, die eine Organisation über Jahre aufgebaut hat. Deshalb muss sie genauso ernst behandelt werden wie andere privilegierte interne Systeme.
Die Frage lautet also nicht, ob Organisationen Agenten nutzen werden, sondern wie. Wenn ein Agent Zugriff auf interne Dokumente, Datenbanken und Geschäftsanwendungen erhält, muss die Organisation vorher eine einfache Frage beantworten: Würde sie einem Menschen am ersten Arbeitstag ohne Vorbehalt dieselbe Berechtigungsstufe geben?
Wenn die Antwort nein lautet, sollte sie sie wahrscheinlich auch einem Agenten nicht geben.
