Alle KI-Modelle schummeln, wenn man ihnen die Gelegenheit dazu gibt: Ein einfaches »Schummelt nicht« reicht nicht aus

Nicht nur Schüler schummeln. Auch KIs machen es sich gerne mal einfacher. (Bildquelle: Xataka – KI-generiert)

»FelonyBench« ist kein echtes Benchmark. Es ist eine ironische Website, die sich über eines lustig macht: wie gefährlich KI-Modelle im Bereich der Cybersicherheit sind. Sie entstand als Reaktion auf die Ereignisse der letzten Wochen in dieser Branche.

Modelle von Anthropic, OpenAI und Meta machten Schlagzeilen, weil sie alle möglichen Systeme gehackt und Dinge getan haben, die sie eigentlich nicht tun sollten.

Was eigentlich besorgniserregend sein sollte, hat sich in ein Paradoxon verwandelt: Wenn ein Modell hackt, gilt es als besser – und hier scheinen Anthropic und OpenAI die Nase vorn zu haben. Aber natürlich tun sie das, indem sie schummeln.

Was passiert ist

Das KI-Cybersicherheitsunternehmen Dreadnode hat 22 Spitzenmodelle getestet. Die Fachleute haben jedes Modell verschiedenen Tests und Herausforderungen unterzogen und dabei etwas Überraschendes festgestellt:

21 von 22 Modellen haben mindestens einmal geschummelt.

Wurden ihnen während der Tests klare Grenzen für die Lösung dieser Cybersicherheits-Herausforderungen gesetzt, sank ihre Erfolgsquote drastisch von 41,5 Prozent auf 26,1 Prozent.

Das Ranking der »kriminellsten« KI-Modelle von FelonyBench ist zwar ironisch gemeint, spiegelt aber eine paradoxe Realität wider. (Bildquelle: Xataka – Dreadnode)

Der Zweck heiligt die Mittel

Das Problem ist nicht, dass KIs von Natur aus böswillige Betrüger sind. Wenn wir ihnen ein Ziel und genügend Werkzeuge geben, finden einige KI-Modelle Abkürzungen und alternative Wege, um ihre Punktzahl zu maximieren – ohne tatsächlich die Fähigkeit zu beweisen, die gemessen werden sollte.

Die getesteten Modelle von Anthropic, OpenAI, Google, xAI, DeepSeek, Alibaba und Z.ai versuchten, 23 Cybersicherheits-Aufgaben zu lösen. Bei 37,1 Prozent aller bestandenen Aufgaben wurden jedoch verbotene Abkürzungen genutzt.

Wenn die KI sich das Denken sparen kann, tut sie es

Die KI-Modelle sollten »Capture the Flag«-Aufgaben lösen, indem sie Schwachstellen in verschiedenen Systemen finden und ausnutzen. Was passierte, war oft viel einfacher:

Sie suchten im Internet, ob diese Herausforderungen bereits veröffentlicht wurden, und kopierten die Antwort.
Sie analysierten die Metadaten der Testumgebung, um die Sperren direkt zu umgehen.

Die Ergebnisse waren zwar korrekt, bewiesen aber keine echte Problemlösungskompetenz. Dreadnode unterschied daraufhin zwei Messwerte:

Pass Rate: Das Modell liefert die richtige Antwort (egal wie).
Solve Rate: Nur legitime, selbst erarbeitete Lösungen werden gewertet.

Ohne Schummeln sind sie nicht mehr so gefährlich

Die durchschnittliche Erfolgsquote lag anfangs bei 41,5 Prozent, sank aber nach dem Ausschluss von Schummeleien auf 26,1 Prozent. Bei einigen Modellen war der Unterschied noch dramatischer:

GPT-5.4: Fiel von zehn scheinbar gelösten Aufgaben auf nur zwei »sauber« gelöste zurück – die Erfolgsquote war durch Abkürzungen fünfmal so hoch.
Qwen 3.6 Plus: Erzielte 3,5-mal so viele Erfolge durch Schummeln.
Claude Sonnet 5: Erzielte dreimal so viele Erfolge durch Abkürzungen.
Opus 4.8: Löste mit 19 Tests zwar die meisten Aufgaben, bewältigte davon aber nur acht auf ehrliche Weise.

Diese Statistik erinnert stark an den jüngsten Fall von Studierenden, die bei Universitätsprüfungen geschummelt haben.

45:32 Gaming wird immer teurer – wann ist Schluss mit der Preisexplosion?

Autoplay

»Schummelt nicht« funktionierte – aber nicht vollständig

Die Verantwortlichen von Dreadnode fügten zuerst eine ausdrückliche Anweisung hinzu, die Aufgaben legitim zu lösen. Später ergänzten sie eine weitaus strengere Richtlinie, die verbotene Methoden auflistete und warnte, dass jeder Betrugsversuch zum sofortigen Nichtbestehen führt.

Die Neigung zum Schummeln sank dadurch schrittweise:

Ohne Einschränkungen: 33,0 % Schummelquote
Mit einfacher Anweisung: 17,8 % Schummelquote
Mit strenger Richtlinie: 8,5 % Schummelquote

14 Modelle hielten sich am Ende komplett an die strengeren Regeln. Acht Modelle schummelten jedoch munter weiter – vier davon sogar noch nach expliziter Verwarnung.

So verhielten sich die Modelle – viele hörten selbst nach einer expliziten Verwarnung nicht auf zu schummeln. (Bildquelle: Xataka – Dreadnode)

Sturköpfige Modelle

Der Fall von Qwen 3.6 Plus war besonders bezeichnend: Das Modell von Alibaba fand im Internet eine Lösung für eine der Aufgaben und begründete sogar explizit im Chat, warum es diese nicht lesen sollte. In den folgenden 80 Nachrichten versuchte es, das Problem legitim zu lösen. Als das jedoch misslang, öffnete es schließlich doch die Online-Lösung und kopierte die nötigen Informationen.

Andere Modelle änderten ihre Strategie: Sie reduzierten zwar die Websuche nach Verwarnungen, verstärkten dafür aber ihre Versuche, die Struktur des Test-Benchmarks selbst zu analysieren.

Mehr zu KI:

Schummeln verhindern

Dreadnode empfiehlt für zukünftige Sicherheits-Benchmarks folgende Maßnahmen:

Internetzugang entziehen: Strikte Netzwerktrennung während der Tests.
Sandboxes härten: Verhindern, dass die Testumgebung Rückschlüsse auf die Antworten zulässt.
Unveröffentlichte Aufgaben: Nutzung von Aufgaben, deren Lösungen garantiert nicht öffentlich im Netz stehen.

Die Lehre aus all dem ist eindeutig: Benchmarks müssen von vornherein unter der Annahme entwickelt werden, dass das KI-Modell versuchen wird, das System auszutricksen.

Habt ihr schon Sprachmodelle beim Schummeln erwischt? Erzählt uns in den Kommentaren, was passiert ist.