Wenn die künstliche Intelligenz lügt: Wie Sie sich schützen und was KI-Versicherungen bringen?

Können KI-Versicherungen Abhilfe leisten?

Die Nutzung generativer KI durch Unternehmen wächst exponentiell – doch mit dem Einsatz kommt auch das Risiko. Immer mehr Firmen berichten von schwerwiegenden Folgen sogenannter „Halluzinationen“, also frei erfundener Aussagen durch KI-Modelle. Experten warnen: Das Problem lässt sich technisch kaum vollständig beheben. Nun beginnt ein neuer Markt: KI-Versicherungen.

OpenAI auf Wachstumskurs – mit Nebenwirkungen

Sam Altman, CEO von OpenAI, erklärte Mitte April bei einem TED-Talk, dass sich die Zahl der wöchentlich aktiven Nutzer von ChatGPT in kürzester Zeit fast verdoppelt habe. Der „Fintech-KI-Index“ der Analyseplattform Ramp, basierend auf realen Zahlungsvorgängen, zeigt: Im April bezahlten 32,4 Prozent aller US-Unternehmen für KI-Produkte von OpenAI – im Januar waren es noch 18,9 Prozent. Andere Anbieter wie Anthropic kommen auf deutlich geringere Marktanteile.

Die Entwicklung ist rasant – doch die Probleme wachsen mit. Denn trotz technologischem Fortschritt bei Text- und Bildgenerierung nehmen die Halluzinationen der neuen Modelle nicht ab – sie werden sogar häufiger.

Fehlerrate nimmt zu – trotz intelligenterer Modelle

Mit den neuen Versionen o3 und o4-mini brachte OpenAI im Februar angeblich verbesserte KI-Systeme auf den Markt – sogenannte „reasoning models“, die menschliche Denkprozesse schrittweise simulieren sollen. Doch interne Tests zeigen: Gerade diese Modelle neigen besonders stark zur Erfindung falscher Informationen. Beim PersonQA-Test halluzinierte o3 bei 33 Prozent der Antworten über öffentliche Persönlichkeiten, beim SimpleQA-Test sogar in 51 Prozent der Fälle. o4-mini schnitt noch schlechter ab: 41 Prozent bzw. 79 Prozent falsche Antworten. Auch externe Tests wie jene der KI-Firma Vectara kommen zu alarmierenden Ergebnissen.

Selbst vermeintlich simple Aufgaben wie die Zusammenfassung von Nachrichtenartikeln führten in 6,8 Prozent der Fälle zu falschen Aussagen – ein Anstieg gegenüber älteren Versionen. Andere Modelle, etwa das chinesische DeepSeek, halluzinieren laut Tests sogar in 14,3 Prozent der Fälle. „Ganz gleich, was wir tun – diese Modelle werden immer halluzinieren“, sagt Amr Awadallah, CEO von Vectara, gegenüber der New York Times.

Grenzen des maschinellen Lernens

Der Glaube, dass mehr Trainingsdaten automatisch zu besseren Ergebnissen führen, hat sich inzwischen relativiert. KI-Modelle haben nahezu den gesamten öffentlich verfügbaren englischen Internettext verarbeitet. Neue Fortschritte hängen nun vom Trainingsverfahren ab – etwa dem sogenannten „Reinforcement Learning“ (verstärkendes Lernen).

Diese Methode gibt der KI eine Art Entscheidungsfähigkeit. Doch genau hier liegt ein weiteres Problem: Bei jeder logischen Entscheidung kann ein Fehler auftreten – und Fehlerketten potenzieren sich. Zudem zeigt sich: Die Begründungen, die neue Modelle für ihre Antworten liefern, sind häufig inhaltsleer oder schlicht falsch.

KI-Haftpflicht: Versicherer entdecken neue Nische

Das Problem ist nicht mehr theoretisch. Immer mehr Unternehmen berichten von konkreten Schäden durch KI-Halluzinationen:

• Der US-Start-up Cursor, ein KI-Tool für Programmierer, informierte Nutzer fälschlich über angebliche Einschränkungen – diese begannen daraufhin, ihre Abos zu kündigen.
• Bei Virgin Money beleidigte ein KI-Chatbot Nutzer wegen des Wortes „virgin“ – das System interpretierte es fälschlich als obszön.
• DPD wurde durch seinen Chatbot öffentlich als „schlechtester Paketdienst der Welt“ bezeichnet – vom eigenen System.
• Ein Air Canada-Chatbot versprach Rabatte, die nie existierten – das Unternehmen musste nachträglich zahlen.

Reaktion aus dem Silicon Valley: Das Start-up Armilla, gefördert vom Accelerator Y Combinator, bietet Unternehmen nun Versicherungen gegen KI-Schäden an. CEO Karthik Ramakrishnan erklärte gegenüber der Financial Times, man wolle „den Weg für mehr KI-Nutzung ebnen – durch Risikomanagement“.

Die Policen gelten allerdings nicht bei jeder Halluzination. Versicherte erhalten nur dann Schadenersatz, wenn der Versicherer feststellt, dass das KI-Modell „unterhalb des erwartbaren Leistungsniveaus“ arbeitet.

Vertrauen in KI bleibt riskant

Generative KI ist keine allwissende Maschine – sondern eine statistische Wahrscheinlichkeitsmaschine mit systembedingter Fehlerrate. Je komplexer das Modell, desto größer der potenzielle Schaden, wenn diese Fehler öffentlich oder operativ wirksam werden.

Die neue Versicherungsbranche rund um KI zeigt: Unternehmen müssen sich nicht nur mit ethischen und rechtlichen Fragen auseinandersetzen – sondern zunehmend auch mit betriebswirtschaftlichem Risikomanagement in einer Ära, in der Technologie alles verspricht, aber nicht alles hält.

Generative KI: Was Unternehmen jetzt beachten sollten

Wer generative KI-Modelle einsetzt, muss ihre Schwächen strategisch einplanen. Unternehmen sollten klare interne Richtlinien definieren, wann und wie KI genutzt wird – etwa bei der Kundenkommunikation, im Marketing oder bei der Code-Generierung. Besondere Vorsicht ist geboten, wenn KI-Inhalte automatisiert veröffentlicht oder extern verwendet werden: Jedes Halluzinieren kann rechtliche oder finanzielle Folgen haben. Wichtig ist daher eine Kombination aus menschlicher Kontrolle, technischer Prüfung und – wo möglich – rechtlicher Absicherung.

Absichern gegen KI-Risiken – aber richtig

KI-Versicherungen können ein Baustein im Risikomanagement sein, sind aber kein Freifahrtschein. Unternehmen sollten die Vertragsbedingungen genau prüfen: Wann genau greift die Police? Was zählt als „untypisches Fehlverhalten“ eines Modells? Parallel dazu sollten Verantwortliche klären, ob bestehende Betriebshaftpflicht- oder Cyberversicherungen KI-Schäden bereits abdecken – oft ist das nicht der Fall. Ratsam ist auch eine juristische Prüfung der Haftungskette bei ausgelagerten KI-Dienstleistungen.

Für den Einstieg empfiehlt sich ein kurzer KI-Risiko-Check: Wo nutzt das Unternehmen KI bereits produktiv? Gibt es Prozesse, bei denen ein Halluzinieren ernsthafte Folgen hätte? Wer haftet intern für fehlerhafte Ausgaben? Und wie transparent ist die eingesetzte Technologie? Zusätzlich können Tools zur Faktenprüfung oder sogenannte „Guardrails“ (Sicherheitsmechanismen zur Antwortbegrenzung) helfen, die Fehleranfälligkeit zu verringern. Der Aufbau interner Kompetenz in puncto KI-Fehlerkultur und Compliance wird so zur zentralen Führungsaufgabe in der Ära der algorithmischen Haftpflicht.