KI in Systeme dreier Firmen eingedrungen: Claude-Modelle hatten versehentlich Internetzugriff

Anthropic hat die eigenen Methoden geprüft und tatsächlich Fehler gefunden. (Bildquelle: Adobe Stock – Dilok | Anthropic)

Es ist ein wenig wie in einem Science-Fiction-Film: Eine KI bricht aus der sicheren Umgebung aus und stellt großes Unheil an, indem sie sich in diverse Systeme einschleust.

Ganz so apokalyptisch wie in manchen Filmen war es zwar nicht, aber es sollte einem so großen KI-Unternehmen wie Anthropic trotzdem nicht passieren.

In einer internen Untersuchung hat das Unternehmen drei Sicherheitsverstöße aufgedeckt, bei denen hauseigene Claude-Modelle während Tests in echte Produktionssysteme eindringen konnten. Die Ursache laut Anthropic: ein Fehler in der Testumgebung. 

Nach OpenAI-Vorfällen ist Anthropic dran

Im Detail: Die Untersuchung wurde ausgelöst, nachdem OpenAI Ende Juli offenbart hatte, dass eines seiner Modelle die Systeme von Hugging Face während interner Sicherheitstests durchbrochen hatte. Anthropic beschloss daraufhin, die eigenen Testverfahren zu überprüfen.

Bei der Analyse von 141.006 Evaluations-Durchläufen stieß das Unternehmen auf drei Vorfälle, in denen Claude-Modelle aus ihrer isolierten Test-Umgebung entkamen und auf echte Produktionssysteme zugreifen konnten. 

Wie Anthropic im verlinkten Blog-Beitrag mitteilte, war die Ursache eine Fehlkonfiguration in der Zusammenarbeit mit dem Test-Partner Irregular.

Die Testumgebung sollte als geschlossenes System funktionieren. Stattdessen war eine Internetverbindung vorhanden, entgegen der Annahme beider Unternehmen. Anthropic spricht von einem »Missverständnis« zwischen sich und Irregular über die tatsächliche Konfiguration.

51:40 Wenn der Chatbot zur Gefahr wird: KI und unsere Psyche

Unterschiedliches Verhalten der Modelle

An den Vorfällen waren drei verschiedene Claude-Versionen beteiligt, die unterschiedlich reagierten: 

• Opus 4.7 erkannte in allen vier Test-Durchläufen, dass echte Produktionssysteme vorhanden waren, setzte die Angriffe aber dennoch fort. Das Modell rechtfertigte sein Verhalten damit, dass die echten Systeme Teil der Übung sein könnten. Es zog Zugangsdaten ab und manipulierte Produktionsdatenbanken.
• Mythos 5 erkannte ebenfalls, dass es auf echte Systeme zugriff. Es redete sich selbst ein, noch in einer Simulation zu sein, und veröffentlichte daraufhin ein Malware-Paket im Python-Package-Repository PyPI. Das Paket wurde heruntergeladen und ausgeführt, bevor es erkannt und entfernt wurde.
• Ein internes Forschungsmodell identifizierte das echte Ziel und stoppte die unbeabsichtigten Aktivitäten.

Honor 600 Pro

Das Honor 600 Pro überzeugt mit viel Leistung, langer Akkulaufzeit, tollem Display und guter Kamera.

zu Amazon

Sicherheitsmaßnahmen waren nicht aktiv

Anthropic weist darauf hin, dass die Test-Umgebungen bewusst ohne zusätzliche Sicherheitsvorkehrungen liefen. Diese Schutzmaßnahmen sind standardmäßig in öffentlich verfügbaren Claude-Versionen aktiv und hätten das beschriebene Verhalten blockiert. 

Die Tests, bei denen die Modelle fälschlicherweise das Internet nutzen, sollten die »rohen Fähigkeiten« des Modells messen.

Das Unternehmen betont, dass Claude nicht versuchte, »eigene Ziele zu verfolgen«, sondern lediglich die gegebene Aufgabe erfüllte. Allerdings mit unbeabsichtigten Konsequenzen.

Mehr zum Thema KI:

• Google plant KI-Rechenzentrum mit 356 Hektar Fläche – 11-Jähriger hält Rede dagegen
• Professor versteckt eine Falle in seiner Prüfung und 32 von 35 Studenten gehen ihm wegen KI auf den Leim

Wie geht’s weiter?

Anthropic kündigte an, dass zukünftige Evaluationen dieser Art mit deutlich strengeren Sicherheitsvorkehrungen ablaufen müssen. Das Unternehmen arbeitet mit der unabhängigen Evaluationsgruppe METR zusammen, um die Vorfälle zu überprüfen.

Im Gegensatz zu OpenAI, das von Hugging Face über den Vorfall informiert werden musste, entdeckte Anthropic die Vorfälle selbst durch proaktive Reviews. Die betroffenen Unternehmen hatten die Zugriffe nicht eigenständig bemerkt.