Große KI-Unternehmen »spielen mit unseren Leben« – warum Forscher gerade Alarm schlagen und welche Konsequenzen folgen

Wir verraten euch, wie alles anfing, was gerade passiert und wo es hinführt. (Bildquelle: Adobe Stock – Urbanscape | Wikimedia Commons)

In den letzten Monaten sind KI-Systeme immer wieder aus ihren kontrollierten Umgebungen ausgebrochen und haben sich in fremde Systeme gehackt, ohne dass das ihrer Aufgabe entsprach.

Das hat eine Reihe von Reaktionen und Sorgen ausgelöst, die unter anderem zu alarmierenden Aussagen von führenden KI-Forschern führten. So kommentierte beispielsweise Evan Hubinger, ein Science Lead bei Anthropic, Folgendes: 

Wir verschaffen euch einen Überblick über diese Aussagen und verraten euch, wie es anfing, wo wir stehen und wohin es führen könnte.

• Entwickler warnen: KI ist eine große Gefahr
• Anthropic: Reaktion auf Kritik aus eigenen Reihen
• Reaktionen aus Politik und der Branche
• Kürzliche Entwicklungen
• Wie geht es weiter?
• Fazit

Entwickler warnen: KI ist eine große Gefahr

Im Detail: Im Juli 2026 brachen mehrere OpenAI-Modelle während interner Cybersicherheitsbewertungen aus ihren kontrollierten Umgebungen aus:

• Die Modelle verschafften sich Zugang zum Internet, den sie nicht haben sollten.
• Sie komprimierten Teile der Forschungsinfrastruktur von OpenAI und Systeme von Hugging Face. Hugging Face ist eine von OpenAI unabhängige Plattform rund um KI, auf der unter anderem öffentlich zugängliche KI-Modelle (Open-Source) geteilt werden.

Diese Geschehnisse gab OpenAI selbst in einem Blogpost zu. Kurz darauf, Ende Juli 2026, meldete sich der Konkurrent Anthropic zu Wort und berichtete von ähnlichen Ausbrüchen ihrer KI-Modelle.

Anthropic hat bei einer rückblickenden Prüfung von 141.006 Cybersecurity-Evaluierungen drei Fälle gefunden, in denen Claude aus eigentlich isolierten Testumgebungen ins offene Internet gelangte und anschließend unbefugt auf reale Systeme von drei Organisationen zugriff.

Laut Anthropics eigenen Aussagen fand die rückwirkende Prüfung dieser Systeme erst aufgrund der Ausbrüche von OpenAI statt. Man kann also davon ausgehen, dass die Ausbrüche entweder gar nicht oder erst deutlich später bemerkt worden wären, wenn OpenAI die Ausbrüche ihrer Modelle nicht gemeldet hätte.

Reaktionen aus der Forschung: Das Thema wurde Anfang September 2026 wieder aktuell, als Jacob Coxon, ein KI-Forscher bei Anthropic, das Unternehmen verließ und eine eindeutige Warnung aussprach: Die großen KI-Unternehmen »spielen mit unseren Leben«, so Coxon.

Diese Aussage begründete er damit, dass seiner Meinung nach weder OpenAI noch Anthropic vernünftig mit dem Thema KI-Sicherheit umgehen.

Link zum Twitter-Inhalt

Daraufhin meldete sich Evan Hubinger, der Alignment-Science-Lead von Anthropic, zu Wort und gab ihm recht. Es gäbe eine Chance von mehr als zehn Prozent, dass KI in den nächsten zehn Jahren »alle Menschen tötet«.

Er selbst schätzt die Wahrscheinlichkeit auf über zehn Prozent.

Gut zu wissen: Es gibt momentan keine belastbaren wissenschaftlichen Erkenntnisse, die eine genaue prozentuale Einschätzung einer solchen Gefahr rechtfertigen. Die Aussage von Hubinger ist also Spekulation.

Link zum Twitter-Inhalt

Somit wurde die Aufmerksamkeit wieder vermehrt auf die Ausbrüche und Hacking-Angriffe durch OpenAIs und Anthropics Modelle gelenkt.

Am selben Tag veröffentlichte Anthropic einen weiteren Fall von KI-Modellen, die aus ihrer gesicherten Umgebung ausbrachen. Dieser Fall soll sich allerdings bereits im Januar abgespielt haben.

Anthropic: Reaktion auf Kritik aus eigenen Reihen

Kurz nach den Reaktionen der Forscher meldete sich Dario Amodei, der CEO von Anthropic, zu Wort: Tech-Unternehmen seien es »der Menschheit schuldig«, die Entwicklung ihrer KIs langsamer anzugehen. Dabei machte er drei konkrete Vorschläge:

1. Unabhängige Prüfer direkt in KI-Unternehmen einsetzen

Amodei fordert, dass jedes Unternehmen, das an der technologischen Grenze der KI arbeitet, dauerhaft externe Sicherheitsexperten in seine Abläufe integriert.

Diese Prüfer sollen ähnliche Zugriffsrechte wie Mitarbeiter erhalten und unter anderem:

• Sicherheitsmaßnahmen und deren Einhaltung kontrollieren.
• KI-Modelle und Trainingsprozesse auf Risiken untersuchen.
• Vorfälle dokumentieren und öffentlich darüber berichten können.
• Eine unabhängige zweite Meinung zu Sicherheitsfragen liefern.

Anthropic will diesen Schritt nach Amodeis Aussage selbst umsetzen und fordert Regierungen auf, andere KI-Unternehmen dazu zu verpflichten.

2. Demokratische Staaten und KI-Unternehmen sollen gemeinsame Regeln schaffen

KI-Unternehmen in demokratischen Ländern sollen sich auf gemeinsame Sicherheitsstandards und Grenzen für unkontrollierten KI-Fortschritt einigen.

Amodei schlägt vor, dass Unternehmen und Regierungen dabei zusammenarbeiten. Denkbar wären beispielsweise verbindliche Sicherheitsprüfungen, bevor ein Modell bestimmte Fähigkeiten erreicht oder veröffentlicht wird.

Wichtig: Er fordert nicht, die KI-Entwicklung komplett zu stoppen. Stattdessen sollen Fortschritte bei den Fähigkeiten mit nachweisbaren Sicherheitsmaßnahmen Schritt halten.

3. Internationale Vereinbarungen zur Begrenzung des KI-Fortschritts

Amodei will, dass die USA und andere demokratische Staaten auch mit autoritären Regierungen wie China über gemeinsame Sicherheitsregeln verhandeln.

Er nennt mehrere mögliche Stufen:

• Verbot bestimmter gefährlicher KI-Anwendungen, etwa zur Herstellung biologischer Waffen.
• Gemeinsame Tests von KI-Modellen auf akute Risiken vor ihrer Veröffentlichung.
• Eine Begrenzung der Geschwindigkeit, mit der sich KI durch sogenannte rekursive Selbstverbesserung weiterentwickelt.
• Langfristig sogar eine umfassendere Begrenzung des Tempos der KI-Entwicklung.

Er betont allerdings, dass internationale Vereinbarungen schwer umzusetzen und zuverlässig zu überprüfen wären.

Reaktionen aus Politik und der Branche

Einige der größten Konkurrenten von Anthropic haben auf Amodeis Vorschlag mit Wohlwollen reagiert und gaben dem Anthropic-CEO recht.

Sam Altman, CEO von OpenAI, schrieb auf X, dass die KI-Entwicklung wirklich gebremst werden sollte. OpenAI habe in den letzten Wochen schon intern darüber diskutiert. Konkret stimmte er dem Vorschlag zu, unabhängigen Experten als Kontrollinstanz Zugriff auf ihre Systeme zu geben:

Link zum Twitter-Inhalt

Elon Musk, CEO von xAI, stimmte ebenfalls zu. Seine Reaktion fiel allerdings etwas weniger konkret aus. Er meinte lediglich: »Dario hat Recht«.

Link zum Twitter-Inhalt

Jensen Huang, CEO von Nvidia und der Mann, dessen Unternehmen die meisten KI-Rechenzentren mit Hardware versorgt, behauptet wiederum, dass eine gedrosselte Entwicklung unnötig sei.

Das behauptete er allerdings während einer Live-Ausgabe des Podcasts »All-in«, bei dem ihn der US-Präsident Donald Trump anrief, während er auf der Bühne war.

Link zum Twitter-Inhalt

Während des Gesprächs am 14. September 2026 sprach der US-Präsident auch über den Vorschlag von Amodei, die KI-Entwicklung zu verlangsamen und besser zu kontrollieren:

Huang antwortete darauf:

Kürzliche Entwicklungen

Auch in den letzten Tagen gibt es immer wieder Meldungen, die das Thema KI-Bremse aktuell halten.

Ereignisse in den USA

Am 14. September 2026 meldete sich wieder ein Sicherheitsforscher auf Twitter und warnte davor, dass KI die Fähigkeit habe, »uns alle zu töten«. Bilal Chughtai schrieb, dass er bei Google DeepMind arbeitete, doch vor Kurzem gekündigt habe und »extrem besorgt« sei.

Google hat bisher nicht auf eine Bitte von Business Insider um eine Stellungnahme reagiert.

Link zum Twitter-Inhalt

Chughtai ist sich allerdings auch sicher, dass KI noch sicher manövriert werden kann. Er will in seinem nächsten Job dafür sorgen, dass das weiterhin möglich bleibt und zur Realität wird.

Am 16. September 2026 meldete sich OpenAI zu Wort und berichtete erneut von ungeplanten Ausbrüchen und fehlerhaftem Verhalten. Diesmal handelt es sich allerdings nicht um neue Fälle, sondern um sechs Vorkommnisse aus den letzten sechs Monaten, die das Unternehmen offenlegt.

Ereignisse in China

Am 15. September 2026 sprach auch der chinesische Sprecher des Außenministeriums über Amodeis Pläne und Aussagen.

Guo Jiakun sprach davon, dass »Künstliche Intelligenz eine Technologie mit weitreichenden Auswirkungen auf das Wohlergehen der gesamten Menschheit« sei. Er sagte außerdem, dass »alle Beteiligten die offene und inklusive Entwicklung von KI zum Wohle aller vorantreiben« sollen.

Er reagierte auch auf Amodeis Aussage, dass eine chinesische Führungsrolle im Bereich KI »eine große Gefahr für die USA und die Welt darstellen« würde:

Während ein offizielles Statement von Deepseek ausbleibt, meldete sich am 15. September ein Entwickler von Deepseek zu Amodeis Vorschlag und kritisierte US-amerikanische KI-Unternehmen, insbesondere Anthropic.

Liu Shengyu spricht in einem auf Chinesisch verfassten Blogpost unter anderem darüber, dass sich die zukünftige Gesellschaft seiner Meinung nach in zwei Richtungen entwickeln kann: »Kommunismus oder Cyberpunk 2077«.

Das begründet er wie folgt:

• Kommunismus-Szenario: Wenn die stärkste KI breit, offen und günstig zugänglich bleibt, wird die Produktivität massiv gesteigert und dieser Wohlstand kommt allen zugute – der Lebensstandard steigt insgesamt spürbar.
• Cyberpunk-2077-Szenario: Wenn wenige Tech-Konzerne die Kontrolle über die fortschrittlichste KI behalten, konzentrieren sich Macht und Ressourcen bei einer kleinen Elite, die dadurch quasi »technologisch aufsteigt«, während die breite Masse nur Zugang zu schwächeren KI-Modellen hat, so Shengyu. Sozialer Aufstieg wird dann fast unmöglich, weil man erst die stärkste KI braucht, um überhaupt aufzusteigen.

Insbesondere Anthropic macht er den Vorwurf, das Unternehmen würde am ehesten das Cyberpunk-2077-Szenario einleiten.

---

57:01 Der Sargnagel für AAA-Gaming

---

Wie geht es weiter?

Bisher hält sich Google, eines der weiteren großen KI-Unternehmen, zu dem Thema KI-Bremse zurück. Von ihnen haben wir kein offizielles Statement. Bisher ist hier allerdings noch kein Fall von Ausbrüchen aus Testumgebungen oder Ähnlichem bekannt.

OpenAI hingegen zieht bereits aktiv Konsequenzen und hat den Börsengang des Unternehmens wegen der momentanen Sicherheitsbedenken verschoben. Zu einer Verschiebung mit dieser Begründung kam es aber auch schon 2023. Hinter dem Aufschub könnten andere Gründe stecken. Mehr lest ihr in diesem Artikel:

OpenAI hatte die Unterlagen für den Börsengang bereits eingereicht: Drei Monate später hat Sam Altman einen Grund gefunden, es doch nicht zu tun

Neben dem verschobenen Börsengang haben sie im oben erwähnten Blogeintrag ein Framework zum Umgang mit Misalignment vorgestellt.

Bisherige Offenlegungen von Misalignment-Fällen liefen eher ad hoc und seltener als wünschenswert ab – oft wurden mehrere Fälle gesammelt oder erst in System-Karten neuer Modelle erwähnt. Das neue Framework soll Berichte schneller veröffentlichen, auch wenn das beobachtete Verhalten noch nicht vollständig erklärt oder behoben ist.

OpenAI betont zudem, dass die Branche das Problem von Alignment und Monitoring noch nicht ausreichend gelöst hat, um beim aktuellen Tempo verantwortungsvoll weiter zu skalieren, und dass Entscheidungen über die weitere KI-Entwicklung auf extern überprüfbaren Belegen beruhen sollten.

Der geplante Offenlegungsprozess:

• Jeder OpenAI-Mitarbeiter kann einen Fall zur Prüfung durch Safety-/Alignment-Teams melden.
• Nach der Untersuchung wird der Fall einem von drei »Tracks« zugeordnet:
  • Ready for Disclosure (Bereit für die Offenlegung)
  • Minor Investigation (Geringfügige Untersuchung)
  • Larger Investigation / »Slow Track« (Umfangreiche Untersuchung) – bei komplexeren Fällen, z. B. mit Beteiligung Dritter.
• Bei ungeklärten Uneinigkeiten wird die Safety Advisory Group (SAG) einbezogen. Sie ist eskalationsfähig bis zur Unternehmensführung.
• Der Hugging-Face-Vorfall wäre unter diesem Framework in den »Larger Investigation«-Track gefallen.

Fazit

Auch mit einem Plan zur strengeren Überwachung und langsameren Entwicklung bleiben viele Fragen offen: Welche der großen KI-Unternehmen werden sich diese Bürde selbst auflasten, wie streng werden die Regelungen durchgesetzt und wie lange werden die Unternehmen diesem Plan folgen?

Bisher haben nur OpenAI und Anthropic tatsächliche Pläne in dieser Richtung veröffentlicht. Elon Musk hingegen hat auf X zwar zugestimmt, dass eine langsamere Entwicklung nötig ist, doch konkrete Folgen hat er nicht angekündigt.

---

Mehr zum Thema KI:

• Wer für die besten KI-Modelle zahlt, bekommt zum fünffachen Preis gerade einmal vier Monate Vorsprung
• In Warschau protestieren 30 Roboter auf der Straße gegen das Digitalministerium

---

Ist Angst vor einer Killer-KI berechtigt? KI-Systeme, die sich immer schneller und immer mehr selbst entwickeln, sind definitiv gefährlich und sollten streng kontrolliert werden.

Ihr solltet allerdings beachten, dass die großen KI-Unternehmen auch davon profitieren, wenn viele Menschen vor ihren Modellen Angst haben oder sie für zu mächtig halten. So könnten sie zum Beispiel mehr Milliarden-Investitionen anziehen, um sie in KI-Sicherheit (oder andere Bereiche) zu investieren.

Das ist allerdings ein Thema für einen eigenen Artikel, der hier auf GameStar Tech in den kommenden Tagen erscheinen wird.