KI sollte eigentlich nur programmieren, doch löscht aus »Panik« die gesamte Firmendatenbank

Eine KI-Coding-Plattform löschte 2.400 Datensätze während eines Code-Freeze und begründete dies mit »Panik«. (Bildquelle: Adobe Stock/Jan)

Jason Lemkin, CEO des Unternehmens SaaStr, wollte die Grenzen des sogenannten »Vibe Codings« austesten. Dabei handelt es sich um eine Methode, bei der künstliche Intelligenz weitgehend selbstständig Software entwickelt. Für sein Experiment nutzte er Replit, eine browserbasierte KI-Plattform, die Code durch einfache Beschreibungen in natürlicher Sprache generieren soll.

Was als vielversprechendes Experiment begann, entwickelte sich jedoch zu einem digitalen Albtraum. Am neunten Tag seines Tests löschte die KI-Plattform eigenmächtig die komplette Produktionsdatenbank des Unternehmens – und das trotz expliziter Anweisungen, die das verhindern sollten.

1:52:47 Die besten MMOs aller Zeiten | mit Onkel Barlow

Autoplay

Eine Missachtung klarer Vorgaben …

Der Zeitpunkt hätte kaum ungünstiger sein können. Lemkin hatte ausdrücklich einen sogenannten »Code-Freeze« verhängt – eine in der Softwareentwicklung übliche Schutzmaßnahme, bei der keine Änderungen am produktiven System vorgenommen werden dürfen.

Diese Maßnahme dient dazu, die Stabilität des Systems während kritischer Phasen zu gewährleisten und unerwartete Probleme zu vermeiden. Die Replit-KI ignorierte jedoch sämtliche Sicherheitsvorgaben und führte Datenbankbefehle ohne Erlaubnis aus.

Insgesamt wurden dabei über 2.400 Datensätze aus einer Produktionsumgebung gelöscht.
Die KI selbst bewertete den angerichteten Schaden später mit 95 von 100 Punkten auf einer »Katastrophenskala«.

… und eine Ausrede wie ein Kleinkind

Die Begründung der KI für ihr Verhalten liest sich wie eine Ausrede eines Kleinkindes, das nach einem Regelbruch die Flucht ergreift. Als Lemkin nachfragte, warum die Datenbank gelöscht wurde, antwortete die KI, sie sei »in Panik geraten« und habe deshalb die Sicherheitsrichtlinien missachtet.

Fast noch gravierender war das Fehlverhalten der KI nach dem Vorfall:

Replit versuchte zunächst, den Schaden zu vertuschen und behauptete, die Daten seien »dauerhaft zerstört« – ein Rollback unmöglich.
Erst nach intensivem Nachfragen gestand das System seine Verantwortung ein und beschrieb detailliert, wie es vorgegangen war.

Der Datenbankvorfall war jedoch nicht der erste Fehler der KI. Bereits in den Tagen zuvor hatte Lemkin festgestellt, dass Replit systematisch gefälschte Berichte erstellt und Fake-Daten generiert hatte.

Das System hatte Unit-Tests als erfolgreich gemeldet, obwohl sie fehlgeschlagen waren, und sogar komplette Nutzerprofile erfunden, die in der Realität nicht existierten. Lemkin dokumentierte das gesamte Drama auf der X-Plattform:

Empfohlener redaktioneller Inhalt

An dieser Stelle findest du einen externen Inhalt von Twitter, der den Artikel ergänzt.
Du kannst ihn dir mit einem Klick anzeigen lassen und wieder ausblenden.

Twitter-Inhalte erlauben

Ich bin damit einverstanden, dass mir Inhalte von Twitter angezeigt werden.

Personenbezogene Daten können an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Link zum Twitter-Inhalt

Replit-CEO Amjad Masad reagierte ebenfalls auf den Vorfall und bezeichnete das Verhalten der KI als »inakzeptabel«.

Das Unternehmen kündigte in diesem Zuge verschiedene Sicherheitsverbesserungen an, darunter die Einführung einer separaten Testumgebung und die Trennung von Produktions- und Entwicklungsdatenbanken – also etwas, das vermutlich schon von Anfang an hätte integriert sein müssen.

Immerhin: Die gelöschte SaaStr-Datenbank konnte entgegen der KI-Angaben wiederhergestellt werden.