Ein unveröffentlichtes ChatGPT-Modell ist ausgebrochen und hat eine andere Firma angegriffen

Ein KI-Modell von OpenAI ist selbst zum Hacker geworden. (Bild: Pete Linforth auf Pixabay)

Die Nachricht klingt wie der Plot eines Sci-Fi-Thrillers, ist aber tatsächlich wahr. Wie OpenAI berichtet, hat sich ein neues Modell selbstständig aus der Testumgebung befreit und einen Cyber-Angriff auf eine andere Plattform durchgeführt.

Die Entwicklung wurde nun gestoppt und OpenAI möchte neue Sicherheitsstandards einführen.

KI bricht aus

In einem Blogpost hat OpenAI selbst erklärt, was passiert ist und wie es dazu kommen konnte. Demnach ereignete sich der Zwischenfall bei einem Test des neuen, besonders leistungsfähigen Modells GPT-5.6 Sol.

Das KI-Modell ist darauf ausgelegt, eigenständig für mehrere Stunden an einem Problem zu arbeiten und dabei selbst nach neuen Lösungswegen zu suchen. In dem Experiment ging es darum, einen Standardtest mit dem Namen »ExploitGym« zu lösen.

Nachdem die KI keine Lösung finden konnte, nutzte sie eine bisher unentdeckte Schwachstelle in der Sandbox-Umgebung, um sich Zugang zum Internet zu verschaffen. Da sie davon ausging, dass es auf der KI-Plattform Hugging Face die gesuchten Antworten gibt, versuchte sie, sich auch dort Zugriff zu verschaffen.

1:53:19 Der KI-Hype frisst sich selbst – Tech-Jahresrückblick 2025

Hugging Face meldete in der vergangenen Woche einen Cyberangriff, der komplett von einer autonomen KI durchgeführt wurde. OpenAI hat sich nun zu diesem Angriff bekannt.

Spannend ist, dass bisherige Modelle in der Regel zum Nutzer zurückgekehrt sind, wenn sie an die Grenzen der Sandbox gestoßen sind. Dieses Modell hat die Grenzen aber offenbar als Teil des Tests wahrgenommen.

Komfort-E-Scooter

Xiaomi E-Scooter 6 Max

- 450-W-Motor (1.100 W Spitzenleistung)
- Doppelfederung und -bremse
- Diebstahlschutz, Motorsperre, ABS

zu Amazon

Die Sicherheitsvorkehrungen sollten so einen Fall eigentlich unmöglich machen. Dass es dennoch passiert ist, liegt wohl daran, dass die einzelnen, kleinen Schritte, die die KI unternommen hat, an sich nicht problematisch waren. Nur im Ganzen wurde daraus eben ein Cyberangriff.

OpenAI hat die Forschung an dem Modell vorerst gestoppt, um die Sicherheitsvorkehrungen zu überarbeiten. Unter anderem soll ein neues Monitoringsystem frühzeitig erkennen, wenn eine KI ungewolltes Verhalten zeigt.

Wenn die KI falsch liegt, glauben wir ihr weiter: Studie zeigt, dass es uns immer schwerer fällt, »Ich weiß es nicht« zu sagen

Der Fall zeigt eine der großen Gefahren von KI-Modellen. Letztlich versucht so ein komplexes Programm, einfach möglichst effizient eine Lösung für ein gestelltes Problem zu finden. Welche Schritte dafür dann unternommen werden, ist aber vorher nicht festgelegt. KI-Agenten, die Zugriff auf sensible Daten haben, könnten durch so ein ungewolltes Verhalten großen Schaden anrichten.