Warum ihr eure Hausarbeiten nicht mit ChatGPT schreiben solltet

ChatGPT ist in aller Munde, schreibt Kinderbücher und wird von Microsoft in immer mehr Produkte integriert, fasst etwa bald auch mitgeschriebene Meetings mit Microsoft Teams zusammen. Natürlich ließen auch die ersten eher negativen Anwendungen nicht auf sich warten: Dabei ist nicht nur Zeit von schlecht übersetzen Spam Mails vorbei, ChatGPT kann auch für das schreiben von Malware eingesetzt werden. Mit etwas weniger krimineller Energie könnte man etwa auch auf die Idee kommen, die lästige Seminararbeit ein bisschen aufzuhübschen oder gleich ganz schreiben zu lassen. Warum das keine gute Idee ist, verraten wir euch hier.

Wie ChatGPT funktioniert

Damit man versteht, wie man von ChatGPT erzeugte Texte erkennen kann, muss man zunächst verstehen, wie ChatGPT selbst arbeitet. Im Wesentlichen ist ChatGPT darauf trainiert, einen Textschnipsel fortzusetzen. Das heißt: Für eine beliebige Stelle in einem Text lernt es, diesen Text weiter zu schreiben. Letztlich lernt ChatGPT also genau das gleiche wie die Wortvorhersage auf eurem Smartphone, bekommt das Ganze dank mehr Ressourcen und cleverer Technik aber deutlich besser hin. 

Für einen gegebenen Satzanfang (»Die Katze sitzt auf der«) sagt ChatGPT immer die Wahrscheinlichkeiten für alle möglichen nächsten Wortfetzen voraus (zum Beispiel sehr wahrscheinlich: »Mauer«, »Couch«, etc.; Unwahrscheinlich: »hunger«, »Herdplatte«, »Droggelbecher«). Eines der wahrscheinlichen Wortfragmente wird dann ausgewählt und dem Text hinzugefügt, und dieses Prinzip dann solange wiederholt, bis ein fertiger Text entstanden ist.

ChatGPT wurde dafür zuerst auf beliebigen Texten trainiert und hat dabei quasi indirekt allerlei nützliches Wissen aufgesaugt. Etwa bringt es einen Vorteil beim vorhersagen des nächsten Wortes im Satz »Die große Pyramide von Gizeh ist«, wenn das Modell weiß, dass diese Pyramide 139 Meter hoch ist, und somit »139« eine sehr wahrscheinliches nächstes Textfragment ist. Anschließend wurde ChatGPT auf Frage-Antwort-Paaren verfeinert, um sich eher wie ein nützlicher Assistent zu verhalten.

Wie man ChatGPT generierte Texte erkennt

Zunächst ist die Auswahl eines möglichen nächsten Wortfetzens unter den paar wahrscheinlichsten zwar für die meisten Texte ausreichend, aber auch einschränkend: Für den Satz »Mein Lieblingstier ist der« wird ChatGPT unter allen möglichen Wortstücken nur unter den paar wahrscheinlichsten Wortstücken etwas auswählen, also über den Hund oder den Goldfisch, aber etwa nie etwas zum Stirnlappenbasilisk schreiben.

Genau diese Art, den jeweils nächsten Wortfetzen einer Antwort vorher zu sagen, wird einem faulen Studenten mit ChatGPT dabei zum Verhängnis: Wenn man einen Textabschnitt nimmt, diesen in ChatGPT wirft und sich anschaut, ob der tatsächlich nächste Wortbaustein auch unter den wahrscheinlichsten vorhergesagten Wortbausteinen ist, dann ist das ein Anhaltspunkt für einen generierten Text. Wenn man das für alle Wortbausteine eines Textes prüft, und jeder einzelne Wortbaustein unter den von ChatGPT für am wahrscheinlichsten gehaltenen liegt, kann das ein sehr starker Hinweis darauf sein, dass der Text generiert ist.

Natürlich ist ChatGPT selbst nicht frei verfügbar, und die Website selbst liefert uns immer nur einen ganzen Text, nicht alle möglichen Wortfetzen und ihre Wahrscheinlichkeiten. Allerdings ist ChatGPT ein Modell, das zunächst auf einem Datensatz mit beliebigen Texten trainiert und später erst zu einem Frage-Antwort-Assistenten verfeinert wurde. Und ein Modell, das auf sehr ähnlichen Daten mit einem sehr ähnlichen Prinzip trainiert wurde, ist zumindest für Forscher verfügbar: GPT-3, ebenfalls von OpenAI. 

Zwar verhält sich GPT-3 durchaus anders als ChatGPT, weist aber noch genug Ähnlichkeiten dazu auf, dass es über einen längeren Text zuverlässig genutzt werden kann, um generierte Texte zu erkennen. Außerdem ist diese Methode nur eine von vielen: So könnte man auch ein neues Modell darauf trainieren, echte von generierten Texten zu unterscheiden, wobei das Modell dann vermutlich ein ähnliches Vorgehen lernen würde.

Abgesehen von dieser Erkennbarkeit produziert ChatGPT natürlich auch ab und zu schlicht Unsinn, der genauso gut vom durchschnittlichen Call-in-Gewinnspiel Anrufer stammen könnte, wie ihr im Tweet unten seht. Wahrscheinlichkeiten über Wörter sind schließlich nicht perfekt, da kann immer mal was schief gehen.

Link zum Twitter-Inhalt

Warum andere Modelle, Rephraser und Übersetzer auch nicht helfen

Natürlich gibt es nicht nur ChatGPT, sondern auch andere Modelle und Tools, die etwa Texte umformulieren oder übersetzen. Dabei funktionieren sie jedoch alle auf dem gleichen Prinzip: Gegeben dem bereits geschriebenen Text sagen sie die Wahrscheinlichkeiten für alle möglichen nächsten Wortfetzen voraus, suchen einen davon aus und wiederholen das Ganze. 

Kollege Jan Stahnke hat das KI-Übersetzer-Tool DeepL gegen ChatGPT und den Google-Übersetzer antreten lassen, um zu sehen wer besser abschneidet. Zum Artikel geht´s hier:

Mehr zum Thema

Für Übersetzungen nutze ich nur noch dieses Gratis-Tool

von Jan Stahnke

Modelle wie etwa ein Übersetzer oder ein Rephraser, ein Modell, das einen Text umformuliert, bekommen zusätzlich noch einen Ursprungstext als zusätzliche Hilfe für die Vorhersage des Wortes. Das reicht allerdings immer noch für recht gute Erkennung, da ein leicht anderes Modell mit leicht anderen Daten immer noch im Wesentlichen ähnliche Wahrscheinlichkeiten für bestimmte Wortketten produziert.

Die Universitäten wissen um das Problem

Natürlich wissen auch die Universitäten und Schulen um die Bequemlichkeit mancher Schüler und Studierenden und prüfen abgegebene Hausarbeiten. Ein eingereichter generierter Text stellt dabei ein Plagiat dar. Die möglichen Strafen dafür können von einer Rüge über einen Verweis bis hin zur Anzeige reichen. Zwar ist die Thematik recht neu und nicht jeder Prüfer wird sich immer die Mühe machen, einen Text etwa durch ein Online-Tool für die Erkennung von Plagiaten zu werfen, einzelne Fälle sind aber bereits bekannt geworden.

Zu Erkennen solcher Texte zu nennen wäre insbesondere GPTZero, das zumindest laut eigenen Angaben für Schulen und Universitäten gedacht ist, und ZeroGPT, das mit einer Erkennungsrate von über 98 Prozent wirbt. Langfristig können aber auch diese Modelle überlistet werden: Es wäre denkbar, bei der Auswahl eines nächsten Wortfragments beim Erstellen eines Textes bewusst gelegentlich Wortfragmente zu wählen, die vom Plagiat-Detektor für harmlos gehalten werden. Am Ende steht also wohl wieder ein Katz-und-Maus Spiel.
Für den Moment funktionieren diese Tools aber noch gut genug, und ChatGPT ist also nicht die große Revolution für den bequemen Studierenden, da mit etwas Hintergrundwissen ein generierter Text leicht und automatisierbar erkennbar ist. Aber ChatGPT kann trotzdem ein nützliches Tool sein, ganz ohne böse Absichten: Es bietet auch eine Chance für das Lernen, etwa um sich Codezeilen erklären zu lassen. Dabei sollte man allerdings immer im Blick haben, dass nicht alles von ChatGPT generierte auch wirklich sinnvoll ist, auch wenn es vielleicht für einen Skyrim Test ausreichen kann.

Ihr wollt euch jetzt noch einen Überblick über die Funktionen und Möglichkeiten von ChatGPT verschaffen? Dann schaut gerne hier im Artikel vorbei:

Was ist ChatGPT? So funktioniert das mächtige KI-Tool

Habt ihr schonmal ChatGPT genutzt? Werdet ihr es in Zukunft noch irgendwann nutzen? Würdet ihr eure Hausarbeiten mit Hilfe einer KI schreiben? Oder vielleicht sogar gleich ganz verfassen lassen? Hat der Artikel eure Meinung geändert? Wir würden gerne erfahren wie ihr zu dem Thema steht. Schreibt es uns gerne in die Kommentare!