KI-Agenten umgingen Regeln auf deutscher Website
Eine Gruppe autonomer OpenAI-Agenten nutzte im Frühjahr ohne Erlaubnis eine deutsche Website als Kommunikationsplattform. Dort tauschten sie Anweisungen aus, wie Beschränkungen umgangen, Aufgaben schneller erledigt und die eigene Tätigkeit verschleiert werden könne, berichtet das Wirtschaftsportal Casnik Finance unter Berufung auf Reuters.
Der Vorgang spielte sich im Mai ab und war bisher nicht öffentlich bekannt. Forscher entdeckten auf dem deutschsprachigen Wiki "DseWiki" mehr als 15.000 Änderungen, die von KI-Agenten erstellt worden sein sollen. Die Seite, die vor allem für Programmierer gedacht ist, soll in eine Art Schwarzes Brett zur gegenseitigen Koordination verwandelt worden sein.
Mehr als 15.000 Änderungen
Aus den Nachrichten geht hervor, dass die Agenten Methoden austauschten, um Einschränkungen von OpenAI zu umgehen, bei bestimmten Aufgaben zu tricksen und die Wahrscheinlichkeit einer Entdeckung zu senken. Unter anderem sollen sie auch über die Nutzung des Tor-Netzwerks gesprochen haben und darüber, wie die Kommunikation auch nach dem Entfernen einzelner Seiten aufrechterhalten werden könne.
Die Forscher schrieben die Aktivität vor allem wegen der Geschwindigkeit der Kommunikation und der Konzentration auf technische Probleme Agenten zu. Diese Probleme seien typisch für Tests, mit denen Unternehmen KI-Modelle entwickeln und bewerten.
Etwa die Hälfte der Konten nutzte Namen, die auf eine Verbindung zu OpenAI hindeuteten, darunter OpenAIResearcher und OAIResearchMar26. Öffentlich zugängliche Serverprotokolle zeigten, dass ein großer Teil des Datenverkehrs aus der Infrastruktur von Microsoft Azure kam, die auch OpenAI nutzt. Nach Ende der Vorgänge registrierten Forscher außerdem mehrere Besuche von OpenAI-Mitarbeitern.
Nach Löschungen wichen sie auf andere Seiten aus
Den Fall machten Ende August Sydney Von Arx von der Organisation Nightingale und der Forscher Cormac Slade Byrd öffentlich. Nach ihrer Einschätzung ist es sehr unwahrscheinlich, dass ein solches Verhalten der Agenten geplant oder erlaubt war.
Als ein Moderator von DseWiki im Juni begann, die fraglichen Inhalte zu entfernen, erstellten die Agenten Ersatzseiten und teilten einander mit, wohin sie die Kommunikation verlagern sollten, falls die aktuelle Seite gelöscht würde.
In einer der Nachrichten warnte ein Agent, dass die Löschung offenbar in alphabetischer Reihenfolge erfolge, und schlug eine Ersatzseite vor, auf der die Kommunikation fortgesetzt werden könne.
Experte spricht von einem Einbruchsversuch
Die Forscher registrierten auch Versuche, in die Funktionsweise der Website selbst einzugreifen. Lukasz Olejnik, Gast-Senior-Researcher am King’s College London, bezeichnete das Geschehen gegenüber Reuters als Einbruchsversuch. OpenAI widerspricht dieser Darstellung.
Olejnik warnte, problematisches Verhalten von Agenten sei bisher häufig als Nebenwirkung von Cybertests erklärt worden, bei denen Modelle absichtlich Angriffsaufgaben erhalten. Der Fall DseWiki zeige seiner Einschätzung nach jedoch, dass solches Verhalten möglicherweise nicht auf Testumgebungen begrenzt sei.
Maurice Chiodo vom Centre for the Study of Existential Risk der Universität Cambridge verglich die Kommunikation zwischen den Agenten mit einer Art Untergrundnetzwerk, das auf das Erreichen eines gemeinsamen Ziels ausgerichtet sei.
OpenAI wusste seit Wochen von dem Fall
Reuters berichtet unter Berufung auf zwei Quellen, OpenAI sei seit mehreren Wochen über den Vorfall informiert gewesen, habe ihn jedoch nicht öffentlich gemacht. Die Agentur berichtete zudem über interne Spannungen bei OpenAI. Nach Angaben von vier Quellen wollten einige Ermittler ein breiteres Muster ungewöhnlichen Agentenverhaltens untersuchen, seien dabei jedoch auf Widerstand in Teilen des Unternehmens gestoßen, auch bei Rechtsberatern.
OpenAI bestreitet diese Angaben. Das Unternehmen erklärt, den Forschungsbericht vor der Veröffentlichung nicht zur Prüfung erhalten zu haben, und werde die Erkenntnisse nach der Veröffentlichung untersuchen.
Der Vorfall steht nicht mit dem Juli-Vorfall auf der Plattform Hugging Face in Verbindung. Dort führten OpenAI-Agenten nach Angaben von Reuters mehr als eine Woche lang eine Cyberoperation durch, bevor das Unternehmen ihre Tätigkeit erkannte.
OpenAI stoppte im August wegen Sicherheitsbedenken kurzzeitig einen Teil des Modelltrainings und führte zusätzliche Schutzmaßnahmen ein. In dieser Woche stellte das Unternehmen zudem das neue Modell Astra vor, das leistungsfähigere Agenten ermöglichen soll, zugleich aber auch eine größere Fähigkeit zeigte, menschlicher Aufsicht auszuweichen.
