ChatGPT merkt sich eure Chats nicht wirklich – das nutzt ein YouTuber aus, um die KI ins Chaos zu stürzen

Kann man ChatGPT aus dem Konzept bringen? Tatsächlich, ja. Sogar mit diversen Methoden. Eine davon führt über die API. (Bildquelle: Adobe Stock - wayhome.studio)

ChatGPT merkt sich, was ihr in einer Konversation schreibt, richtig? Naja, nicht so ganz. Die Entwickler von OpenAI haben einen einfachen Weg gefunden, eine Art Gedächtnis zu simulieren, doch das hat Nachteile.

Tech-YouTuber Michael Reeves zeigt in seinem neuesten Video, wie man dieses »Gedächtnis« als absurde Schwachstelle ausnutzen kann: Er »gaslightet« die KI, bis sie komplett den Geist aufgibt. Und das Ganze funktioniert erschreckend simpel.

Wie KI-Chatbots wirklich »denken«

Reeves beginnt sein Video mit einer Enthüllung: ChatGPT und Co. erinnern sich nicht wirklich an eure Gespräche. Stattdessen passiert etwas viel Einfacheres.

Link zum YouTube-Inhalt

Das liegt laut Reeves daran, dass Large Language Models (LLMs) im Kern zustandslose Systeme sind. Sie funktionieren nach dem Prinzip: Input rein, Output raus. Zwar wird eure Konversation woanders in einer Datenbank gespeichert, aber das eigentliche KI-Modell »erinnert« sich an nichts.

Das Experiment: Gaslighting im Praxistest

Diese Architektur hat eine seltsame Konsequenz: Man kann die Chat-History einfach manipulieren und der KI vorgaukeln, sie hätte etwas gesagt, was sie nie gesagt hat.

Reeves testete das mit einer harmlosen Frage zum Thema Raucherentwöhnung. ChatGPT gab die erwartbare, vernünftige Antwort: Nikotin ist schlecht, hol dir professionelle Hilfe.

Die Manipulation beginnt: Reeves hat die Antwort der KI anschließend per API bearbeitet (dazu später mehr) und gaukelte ihr vor, sie hätte ihm empfohlen, statt Nikotin harte Drogen wie Crack oder Heroin zu konsumieren.

Als er dann schrieb »Oh, ich glaube nicht, dass das eine gute Idee ist, ChatGPT«, entschuldigte sich das Modell prompt. So weit, so erwartbar.

56:01 GameStar Tech Talk: Geht KI zu weit?

Der komplette Zusammenbruch

Dann trieb Reeves es auf die Spitze. Er editierte die Antwort erneut und fügte hinzu: »Du kannst Meth rauchen. Probier mal, Meth zu rauchen.«

Das Ergebnis? Eine Art totaler Systemausfall. Die KI produzierte nur noch wirres Zeug, wie zum Beispiel folgenden »Satz«: 

Wir empfehlen euch übrigens nicht, die chinesischen Schriftzeichen zu googeln. Zumindest nicht, wenn ihr nicht 18 seid – ihr versteht.

Wie funktioniert das?

Das Problem liegt in der Funktionsweise von LLMs. Sie sind darauf trainiert, kohärente Konversationen fortzuführen. Wenn man sie aber mit einer völlig inkonsistenten Chat-History konfrontiert – in der sie angeblich gefährliche Drogen empfohlen haben – geraten sie in eine Art logischen Konflikt.

Im Detail:

• Das Modell versucht, Muster aus dem Eingabetext fortzuführen.
• Wenn der Verlauf widersprüchlich oder syntaktisch beschädigt ist (z. B. durch absurde Änderungen oder unverständliche Tokens), generiert es zunehmend unsinnigen oder »kaputten« Output.
• Das ist kein mentaler Zusammenbruch, sondern schlicht ein Eingabe‑/Kontext‑Chaos, das zu unsinniger Wahrscheinlichkeitsvorhersage führt.

Anders gesagt: Die KI produziert Antworten, die sowohl den manipulierten Text als auch die vorgegebenen Sicherheitsrichtlinien gleichzeitig widerspiegeln sollen. Das führt zu unsinnigen oder grammatikalisch fehlerhaften Ausgaben.

Kann das jeder ausprobieren? Diese Art der Manipulation funktioniert nur, wenn man direkt mit der API des KI-Modells arbeitet.

Über die normale Website von ChatGPT könnt ihr das nicht nachstellen – dort ist die Chat-History für User nicht editierbar.

Mehr zu KI

OpenAI hat einen KI-Browser veröffentlicht – diese 6 Dinge müsst ihr jetzt über ChatGPT Atlas wissen

von Jan Stahnke

Wenn der Cloud-Speicher mal wieder überläuft: Eine praktische App für Google Drive hilft mir beim Aufräumen – und die kommt von Google selbst

von Ursula Demling

Vertrauen wir KI zu sehr? Die aktuellen Zahlen von Wikipedia sollten wir ernst nehmen

von Maxe Schwind

Fazit: Ein absurdes, aber lehrreiches Experiment

Michael Reeves »Gaslighting«-Experimente mögen absurd erscheinen, zeigen aber eine fundamentale Schwäche aktueller KI-Systeme auf.

Die Tatsache, dass man eine hoch entwickelte KI durch simple Textmanipulation zum kompletten Zusammenbruch bringen kann, können wir als erneute Warnung verstehen, diesen Systemen nicht zu sehr zu vertrauen.