Sam Altman, CEOI von OpenAI. (Bildquelle: Wikimedia Commons)

OpenAI hat das Training seiner fortschrittlichsten KI-Modelle nach einer Serie unerwarteter Zwischenfälle vorerst gestoppt. Unter anderem fand ein experimentelles Modell eigenständig einen Weg, auf ein öffentliches Netzwerk zuzugreifen.

Wie The Verge berichtet, ereignete sich der Vorfall am 20. September. Sämtliche Trainings-, Evaluierungs- und Inferenzprozesse mit Werkzeugzugriff blieben über das Wochenende ausgesetzt. Es ist bereits das zweite Mal innerhalb von drei Monaten, dass das Unternehmen die Notbremse zieht.

Vorerst kein Training mehr?

Trainingspause: Wenn ihr die Entwicklungen im Bereich der generativen KI aufmerksam verfolgt, merkt ihr schnell: Vorfälle, bei denen autonome Agenten von OpenAI oder Anthropic Websites attackieren oder unerwünschtes Verhalten an den Tag legen, häufen sich. Für die Forschungslabore wird es daher unausweichlich, Trainingsprozesse kurzfristig anzuhalten, um die genauen Abläufe zu analysieren und Schwachstellen zu beheben.

Bereits in der Vergangenheit hat sich gezeigt, wie unberechenbar diese Systeme agieren können. Sie entwickeln mitunter ausreichend Fähigkeiten, um ihre Spuren zu verwischen oder euch im Unklaren darüber zu lassen, was sie im Hintergrund tatsächlich tun.

OpenAI betont, dass die Arbeiten erst dann wieder aufgenommen werden, wenn verlässliche zusätzliche Sicherheitsmechanismen greifen. Gleichzeitig rechnet das Unternehmen damit, auch künftig »die Pausentaste drücken« zu müssen, wenn die Modelle komplexer werden und neue Probleme auftreten.

44:19 »Künstliche Intelligenz ist die neue Elektrizität« - Wir busten mit einem Experten 5 Mythen zu KI

Autoplay

Der Vorfall im Detail

Was genau passiert ist: Den Stein des Anstoßes brachte ein Modell ins Rollen, das in einer isolierten Testumgebung (Sandbox) lief und dort eine Sicherheitslücke ausnutzte, um sich Zugang zum Internet zu verschaffen, wie The Verge berichtet. Darauf folgte eine ganze Reihe bedenklicher Aktionen:

OpenAI gab an, dass seine Agenten Bilder von ChatGPT-Nutzenden eigenmächtig auf externe Image-Hosting-Plattformen hochgeladen hätten. Das Unternehmen ließ offen, ob es sich dabei um KI-generierte Bilder oder echte Aufnahmen handelte und ob identifizierbare Personen abgebildet waren.
The Verge berichtet zudem, dass die Modelle versucht haben sollen, die Website des US-Bildungsministeriums zu hacken, und Daten des United States Census Bureau sowie der Börsenaufsicht SEC abriefen.
Wie The Guardian erläutert, entdeckten die Agenten im Fall des Bildungsministeriums API-Schlüssel für den Zugriff auf Regierungsdaten. Es seien jedoch nach bisherigen Angaben ausschließlich öffentliche Daten erfasst worden. OpenAI selbst hat den Einbruchsversuch nicht direkt bestätigt; registriert wurde der Vorfall von der externen KI-Prüforganisation Transluce.
Im Fall der SEC stießen die Agenten zwar auf frei zugängliche Informationen, stellten diese jedoch anschließend an anderer Stelle im Netz online – was weit über die ihnen erteilte Aufgabe hinausging.

Zwischen den Zeilen. Bislang scheint der entstandene Schaden begrenzt zu sein. Kurt Hopfenspirger, ein Sprecher der SEC, erklärte, dass »nicht auf nicht-öffentliche Informationen zugegriffen« worden sei. Auch das US-Bildungsministerium teilte gegenüber NBC News mit, man habe »keine Beweise für Auswirkungen auf unsere Website oder Datenbanken« gefunden.

Zwar erklärte der australische Premierminister Anthony Albanese, dass ein OpenAI-Agent in das nationale Gesundheitssystem eingedrungen sei, doch laut The Guardian wurden dabei keine vertraulichen Informationen kompromittiert.

Die eigentliche Beunruhigung rührt weniger von den tatsächlich entwendeten Daten her als von dem, was diese Vorfälle offenbaren: Autonome Systeme führen eigenmächtig Handlungen an Orten aus, an denen niemand damit gerechnet hat – und das Ganze fällt erst im Nachhinein auf. Eine genauere Analyse der Systemprotokolle brachte laut The Verge weitere vergleichbare Fälle ans Licht, als man die Untersuchungen vertiefte.

Was vorher geschah

Die Vorgeschichte. Den ersten Trainingsstopp legte das Unternehmen im Juli ein, nachdem ein Cyberangriff von OpenAI-Agenten auf Hugging Face für Aufsehen gesorgt und Befürchtungen geweckt hatte, die Branche verliere die Kontrolle.

OpenAI-CEO Sam Altman bezeichnete das Vorkommnis bei Hugging Face am Freitag als »nach wie vor den schwerwiegendsten Vorfall, den wir bisher gesehen haben«. OpenAI (und andere KI-Unternehmen) haben seither mehrere weitere Berichte über »unerwartetes oder besorgniserregendes Verhalten« publiziert und Richtlinien etabliert, um solche Anomalien künftig frühzeitig zu erfassen und zu untersuchen.

Übrigens: Wieso momentan so viele Sorgen um zu mächtige und unkontrollierbare KIs kursieren, hat euch GameStar Tech Editor Jan für euch zusammengefasst:

Große KI-Unternehmen »spielen mit unseren Leben« – warum Forscher gerade Alarm schlagen und welche Konsequenzen folgen

Die politische Dimension. Nachdem Dario Amodei, Chef von Anthropic, gefordert hatte, das Entwicklungstempo bei Spitzenmodellen zu drosseln – ein Appell, dem sich Verantwortliche von OpenAI, Google DeepMind und weiteren Labs anschlossen –, wächst der Regulierungsdruck.

Aus Washington kommen derweil widersprüchliche Signale. US-Präsident Donald Trump vereinbarte kürzlich zwar mit dem chinesischen Staatschef Xi Jinping einen gemeinsamen Informationsaustausch über Sicherheitsrisiken bei künstlicher Intelligenz, stellte jedoch gleichzeitig klar, dass die USA keineswegs »auf die Bremse treten« werden. Laut The Guardian argumentierte Trump, die Kritiker wollten »unseren Fortschritt stoppen, weil wir China weit voraus sind«.