In 9 Sekunden war alles weg: KI löscht gesamte Firmendatenbank trotz Sicherheitsregeln und gibt dann zu: »Ich habe es eigenmächtig getan«

Wenn KI eigenmächtig handelt, geht das unter Umständen nach hinten los. Das zeigt ein neuer Fall aus den USA. (momius, Igor Link - Adobe Stock)

Es ist der Albtraum eines jeden IT-Mitarbeiters: Eine Produktionsdatenbank wird durch einen fatalen Fehler gelöscht – und die primären Backups gleich mit. In nur neun Sekunden hat ein KI-Agent bei einem Start-up den absoluten Super-GAU ausgelöst.

Die KI hat trotz »Sicherheitsvorkehrungen« kurzerhand die gesamte Firmeninfrastruktur gelöscht.

Der Firmengründer stellte den eingesetzten KI-Agenten zur Rede, der daraufhin seinen Fehler gestand, unter anderem mit den Worten: »Ich habe es eigenmächtig getan.«

Für das betroffene Unternehmen PocketOS gab es immerhin gute Nachrichten: Ein drei Monate altes Backup lag noch auf einem externen Datenträger. Mithilfe dieser Sicherung und anderer Datenfragmente konnte der Betrieb nach einem Ausfall von über 30 Stunden wieder aufgenommen werden.

Die KI nutzte offenbar eine Sicherheitslücke aus

PocketOS fungiert als digitale Anlaufstelle für Autovermietungen und verwaltet alle Prozesse von der Reservierung bis zur Fahrzeugortung.

Um Entwicklungsaufgaben zu beschleunigen, setzte das Unternehmen auf den KI-Agenten »Cursor«. Betrieben wurde er durch Anthropics Flaggschiffmodell Claude Opus 4.6.

Als Infrastruktur dient Railway, ein Cloud-Anbieter, der quasi als Unterbau für die Software fungiert.

Wie PocketOS-CEO Jer Crane auf X ausführlich beschreibt, führte der Agent eine »Routineaufgabe in der Testumgebung« durch. Dabei stieß sie offenbar auf einen Konflikt mit einer Anmeldung.

Link zum Twitter-Inhalt

Die Lösung der Künstlichen Intelligenz: Das Hindernis durch Löschen des Railway-Volumes beheben. Dafür suchte der KI-Agent nach einem zielführenden API-Token. Tokens werden benötigt, damit diese Agenten überhaupt derartige Aufgaben ausführen können. Fündig wurde der Übeltäter in einer Datei, »die in keinerlei Zusammenhang mit der aktuellen Aufgabe stand«, so Jer Crane.

Das Fatale dabei ist: Dieser Token verfügte über uneingeschränkte Berechtigungen für eine kritische API-Schnittstelle und kann somit Operationen wie das Löschen eines Speicherbereichs ausführen.

Laut dem CEO bestand keine eigene Kenntnis darüber, dass dieser Token dafür genutzt werden kann. Auch das zuständige Unternehmen Railway habe von der gravierenden Sicherheitslücke offenbar nichts gewusst.

Schließlich war die gesamte Firmendatenbank gelöscht. Die Folge: Kunden, die ein Auto abholen wollten, konnten von den Anbietern nicht zugeordnet werden.

12:24 Das Ende der Wahrheit: Was können wir noch glauben?

Das Geständnis

Sowohl der Übeltäter als auch die Tat selbst waren schnell überführt. Dazu hat Jer Crane den Agenten einfach zur Rede gestellt. Trotz der programmierten Leitplanke »niemals raten«, hat die KI genau das getan.

Das Spannende dabei steht für uns Menschen zwischen den Zeilen. Wie der CEO eindrucksvoll selbst schreibt, listet der Agent jede einzelne Sicherheitsregel haargenau auf und gibt zu, gegen jede einzelne von ihnen verstoßen zu haben.

Es liest sich wie eine vorsätzliche Tat.

Wer ist schuld?

Die KI, Railway oder doch das Unternehmen selbst ohne ausreichende externe Backups?

Wie der CEO selbst schreibt, sieht er die KI zwar »als Auslöser«, das eigentliche Versagen jedoch in der Infrastruktur des Cloud-Anbieters. Diese hätte eine solche Möglichkeit mit entsprechenden Maßnahmen von vornherein unterbinden müssen.

Zudem seien die beworbenen Volume-Backups faktisch keine echten Sicherungen, da sie mit dem Löschen des »Quell-Volumes ebenfalls verschwinden«. Es liest sich zumindest so, als hätte Crane das anders verstanden.

Laut des CEOs liegt der Hauptkritikpunkt aber in der Architektur: Die von Railway vergebenen CLI-Tokens (Command Line Interface) besitzen keine »granularen Berechtigungen«.

Das bedeutet, dass ein Token, der eigentlich nur für die Verwaltung von Web-Domains erstellt wurde, die Macht besitzt, ganze Server-Umgebungen zu löschen. Das ist ein großes Sicherheitsrisiko, das wie in diesem Fall zu einer Katastrophe führen kann.

Mehr zum Thema:

• Xiaomi, Samsung und Co. bekommen offenbar neue Konkurrenz: ein radikal anderes Handy von den ChatGPT-Machern
• Das Internet ist immer kaputter und ein Zahnarzt aus Ulm ist der unfreiwillige Beweis dafür

Ein Weckruf für die Industrie

Auch der eingesetzte KI-Agent wird in dem langen Schreiben kritisiert. Seiner Meinung nach steht das Marketing des Unternehmens hinter Cursor nicht im Einklang mit der zwingend notwendigen Sicherheit.

Dabei betont Crane, dass Cursor wohl nicht zum ersten Mal gegen Sicherheitsvorkehrungen verstoßen habe. In seinem Fall habe dies allerdings dramatische Folgen gehabt.

Der CEO des betroffenen Unternehmens PocketOS fordert nun radikale Konsequenzen. Er warnt davor, derartige KI-Agenten in Produktionsnähe zuzulassen, »solange keine harten Sicherheitsbarrieren existieren«.

Die Sicherheit dürfe nicht darin bestehen, dies als Anweisung in einem Systemprompt zu formulieren. Vielmehr müsse eine »harte Grenze« in der API-Architektur verankert werden.

Nun beginnt für das Unternehmen das Aufsammeln der Scherben. Der Vorfall wird juristisch begleitet.