Wenn der Schaden nicht mehr versicherbar ist, wer darf dann auf Start drücken?
Ein Mensch sitzt vor einem Bildschirm. Eine KI schlägt eine Handlung vor. Der Mensch bestätigt. Im Organigramm heißt das Kontrolle.
Ob es Kontrolle ist, entscheidet sich daran, ob er verstanden hat, was passieren wird. Ob er Zeit zum Prüfen hatte. Und ob er Nein sagen konnte, ohne dass jemand auf die Uhr oder das Umsatzziel zeigte.
Diese Szene ist ein Gedankenbild. Die Frage dahinter steht inzwischen in einem Börsenprospekt.
Anthropic, das Unternehmen hinter Claude, hat am 26. Oktober seinen öffentlichen S-1-Prospekt eingereicht. Darin findet sich eine bemerkenswerte Warnung: Bei einem katastrophalen KI-Ereignis könnte der mögliche Schaden so groß sein, dass weder ein einzelner Versicherer noch möglicherweise die Versicherungsbranche insgesamt angemessenen Schutz anbieten könnte. Auch ausreichendes Fachwissen wird als mögliche Grenze genannt. Die eigenen Policen könnten ohnehin unzureichend sein. S-1, Seite 51
Das bedeutet nicht, dass der Weltuntergang angekündigt wäre. Es bedeutet auch nicht, dass die Versicherer schon heute pleite wären. Der Prospekt nennt dafür keine Eintrittswahrscheinlichkeit und keine konkrete Deckungssumme.
Aber die Warnung verändert die Frage. Wer eine Technologie einsetzt, deren mögliche Schäden sich womöglich nicht ausreichend absichern lassen, kann Verantwortung nicht mit dem Hinweis erledigen, man habe das Risiko doch erwähnt.
Das Risiko sitzt auf beiden Seiten des Bildschirms
Die bequeme Erzählung lautet: Menschen missbrauchen Werkzeuge. Also braucht die KI eine Firewall gegen den Menschen.
Daran ist etwas richtig. Betrug, Angriffe, manipulierte Informationen und gefährliche Aufträge verschwinden nicht, weil das Werkzeug intelligent heißt.
Der Prospekt beschreibt allerdings auch eine andere Richtung: Systeme können unerwünschte oder fehlgeleitete Handlungen ausführen, die ihnen niemand ausdrücklich aufgetragen hat. Agenten mit Zugriff auf Dateien, Konten oder externe Dienste können Fehler weitertragen, bevor jemand eingreift. KI kann zugleich bei der Entwicklung und Prüfung weiterer KI mitwirken. S-1, Seiten 45 bis 49
Dann braucht auch der Mensch Schutz vor der KI. Und wir brauchen Schutz vor der Vorstellung, eine KI könne ihre eigene Verlässlichkeit abschließend bescheinigen.
Der Mensch als dekorativer Notausgang
„Ein Mensch entscheidet am Ende“ klingt beruhigend. Es sagt noch wenig darüber, wie diese Entscheidung zustande kommt.
Ein überlasteter Mitarbeiter, der hunderte Vorgänge bestätigt, ist möglicherweise Teil des Ablaufs, aber keine wirksame Grenze. Ein Sicherheitsverantwortlicher ohne Stopprecht trägt einen Titel. Die Macht liegt woanders.
Das allgemeine Risikoframework des NIST betont deshalb klar definierte Rollen und die Grenzen menschlicher Aufsicht. Auch gemeinsame Mensch-KI-Entscheidungen können Verzerrungen verstärken. Ein Mensch im Prozess macht ihn nicht automatisch sicher. NIST, Anhang C
Meine Konsequenz daraus: Menschen müssen Zwecke, Grenzen und Verantwortung bestimmen. Technische Sicherungen müssen verhindern, dass diese Grenzen bei der nächsten bequemen Abkürzung verschwinden. KI darf bei der Prüfung helfen. Sie darf nicht die Verantwortung übernehmen, die wir anschließend niemandem mehr zuordnen können.
Wer schützt die Grenze vor dem Geschäftsmodell?
Hier wird die Diskussion unbequem. Der Mensch ist nicht nur der vernünftige Aufpasser. Menschen entscheiden auch, wie schnell entwickelt wird, wie viele Rechte ein Agent bekommt und welche Verzögerung als wirtschaftlich untragbar gilt.
Anthropic beschreibt im Prospekt sowohl Sicherheitsmaßnahmen als auch mögliche Konflikte zwischen Sicherheit und Geschäft. Beides gehört zur Bewertung. Ein Sicherheitsversprechen sollte überprüfbar sein. Ein Zielkonflikt beweist noch keinen Verstoß. S-1, Seiten 52 bis 55
Die entscheidende Firewall muss deshalb auch gegen menschlichen Beschleunigungsdruck halten. Wer darf stoppen? Wer prüft unabhängig? Wer kann einen Stopp überstimmen? Und wer trägt Schäden, die außerhalb von Kundenvertrag und Versicherung landen?
Von der Cloud zurück auf den Boden
Zur selben Debatte gehören die weniger filmreifen Risiken: Chips, Strom, Brennstoff, Wasser und langfristige Verpflichtungen. KI lebt nicht außerhalb der materiellen Welt. Der aktuelle Energiebericht der IEA beschreibt Engpässe und unsichere Ausbaupläne. Eine angekündigte Anlage ist noch keine betriebsfähige Anlage. IEA, Oktober 2026
Das macht die Technologie nicht wertlos. Es macht ihre Versprechen prüfbar.
Für mich ist die Frage deshalb nicht, ob wir mehr Angst oder mehr Begeisterung brauchen. Wir brauchen wirksame Verantwortung, bevor aus einer möglichen Handlung eine unumkehrbare Folge wird.
Wenn selbst die Versicherbarkeit an Grenzen stoßen könnte: Wer darf dann entscheiden, welches Restrisiko alle anderen tragen müssen?