Warum ihr ChatGPT nicht weiter trauen solltet, als ihr ein erfundenes Buch werfen könnt

Diese kurze, aber bemerkenswerte KI-Anekdote beginnt mit einem harmlosen Gespräch über ChatGPT, wie es wohl viele Menschen in den vergangenen Wochen bereits geführt haben. Schließlich kann es sehr spannend sein, sich über die Fähigkeiten der KI anhand von persönlichen Beispielen auszutauschen. Aber um es mit den Worten von Heftig.co zu sagen: Was dann geschah, konnte ich kaum glauben.

Den Anfang macht mein älterer Bruder, der enttäuscht feststellen muss, dass ChatGPT keine Hearthstone-Legende mit seinem Namen kennt. Und das, obwohl er Legend-Ränge im vierstelligen Bereich erklimmt - eine Frechheit! Wirklich spannend wird es aber, als er anfängt, mit ChatGPT über die GameStar und über mich zu sprechen.

Dass die KI die GameStar und den Verlag Webedia Gaming GmbH dahinter kennt, überrascht mich nicht, schließlich gibt es uns schon seit 1997, wie ChatGPT selbst weiß:

Das Magazin wurde erstmals im Jahr 1997 veröffentlicht und ist seitdem eine beliebte Informationsquelle für Videospiel-Enthusiasten in Deutschland.

Als mein Bruder aber anschließend fragt, ob Nils Raettig ein guter GameStar-Autor sei, fängt ChatGPT ohne erkennbaren Grund damit an, sich Fakten über mich auszudenken. Die Aussage, ich sei auf Videospiele und Gaming spezialisiert, ist im Vergleich zu dem, was da weiter gleich noch kommt, völlig harmlos.

Auch wenn man wesentlich genauer sein könnte, da ich seit meinem ersten Tag bei der GameStar als Hardware-Autor tätig bin. Danach wird es aber völlig wild.

Sehr beunruhigend fiel auch die Antwort einer KI auf meine Frage aus, wer in 100 Jahren die Welt beherrscht. Mehr dazu erfahrt ihr in diesem Artikel:

Wer regiert in 100 Jahren die Welt?

Die Antwort dieser KI war erschreckend

von Nils Raettig

KI-Fantasie: Ballern, bis der Arzt kommt

Es ist grundsätzlich nicht überraschend, dass ChatGPT wenig über mich weiß. Schließlich bin ich ein einzelner Autor, der mit Hardware noch dazu einen thematisch speziellen Bereich bedient (selbst wenn das Interesse daran grundsätzlich sehr groß ist). Statt das aber einfach genau so zu sagen, behauptet ChatGPT Dinge über mich, die einfach nicht stimmen:

Ich habe noch kein einziges Buch zum Thema Gaming verfasst und war in diesem Bereich bislang einzig und allein für die GameStar tätig (und ich prophezeie an dieser Stelle auch, dass das so bleiben wird).

Mein Bruder gibt der KI die Chance, zurückzurudern, indem er fragt, welche Bücher genau das denn sein sollen. Stattdessen geht ChatGPT aber komplett in die Vollen und denkt sich die folgenden Bücher aus:

• "Die Geschichte der Videospiele: Von Pac-Man bis Walking Simulatoren (2018): In diesem Buch beschreibt Raettig die Entwicklung der Videospiele von den Anfängen bis zur Gegenwart. Dabei geht er auf die wichtigsten Meilensteine der Gaming-Geschichte ein und beleuchtet die Technologien und Innovationen, die die Branche geprägt haben.
• Games, Memes & Reality: Wie wir durch Computerspiele die Welt verändern (2020): In diesem Buch untersucht Raettig die Auswirkungen von Computerspielen auf die Gesellschaft. Dabei geht er unter anderem auf die Rolle von Gaming in der Politik, in der Kunst und im Bereich der Künstlichen Intelligenz ein.
• Die Kunst des Videospieljournalismus: Ein Handbuch für angehende Autoren und Redakteure (2014): In diesem Buch gibt Raettig Tipps und Ratschläge für angehende Videospiel-Journalisten. Er erklärt unter anderem, wie man Reviews schreibt, Interviews führt und seine Stimme als Autor findet."

Es bliebe noch eine Chance zur Ehrenrettung, wenn diese Bücher zumindest tatsächlich exisitieren würden, im besten Fall von einem Autor mit einem ähnlichen Namen. Meiner bisherigen Recherche nach zu urteilen gibt es diese Bücher aber überhaupt nicht, also auch nicht von einem anderen Autoren.

ChatGPT ist ein Wiederholungstäter

Sich einfach Bücher auszudenken, die ich verfasst haben soll, ist schon eine Hausnummer. Noch problematischer wird das Ganze aber, wenn ChatGPT derartiges wiederholt tut - und genau das passiert in meinem zweiten Experiment. Es kommt aber auf die genaue Fragestellung an.

Als ich nur von ChatGPT wissen will, ob Nils Raettig ein guter Autor ist, ohne zuvor die GameStar zu erwähnen, bleibt es bei einer rein allgemeinen Antwort:

Auch die konkrete Zusatzfrage nach Artikeln und Beiträgen von mir kommt ohne ausgedachte Bücher aus, und es wird sogar noch besser: Sie geht immerhin sogar etwas in Richtung von Hardware:

Stelle ich aber in einem weiteren Versuch wieder die Frage nach der GameStar vorne an, behauptet ChatGPT später erneut, dass ich bereits viele Bücher verfasst habe und nennt mir Beispiele, die es meines Wissens nach überhaupt nicht gibt. Mein klarer Favorit unter den neuen Vorschlägen: Ego-Shooter: Ballern bis der Arzt kommt von 2012.

Völlig unnötige Fake-News

Es ist zu erwarten, dass eine KI Fehler macht. Schließlich wird sie von Menschen programmiert und muss auch erstmal lernen, ihre jeweilige Aufgabe möglichst gut zu erledigen. Das dürfte auch der Grund dafür sein, dass Google nur sehr zögerlich auf Microsofts ChatGPT-Offensive bei der Bing-Suchmaschine reagiert.

Aber es ist etwas anderes, ob die KI bei der Frage daneben liegt, woher das erste Bild eines Planeten außerhalb unseres Sonnensystems stammt, oder ob sie mir wiederholt Bücher andichtet, obwohl ich noch kein einziges Buch geschrieben habe. Offenbar priorisiert ChatGPT hier das Geben einer Antwort mit möglichst viel konkretem Inhalt, statt einfach zu sagen, wie es ist: Ich kenne keine Artikel oder Beiträge von Nils Raettig.

Man kann darüber streiten, ob angelogen oder angepöbelt das kleinere Übel ist (siehe auch den folgenden Link). Mein Beispiel aus diesem Artikel zeigt aber einmal mehr, dass man im Umgang mit KI-Tools noch vorsichtig sein muss.

"Sie sind kein guter Nutzer" - ChatGPT pöbelt auf Bing gegen seine User

Habt ihr ChatGPT bereits intensiver genutzt? Falls nein, was hält euch bislang davon ab? Und falls ja, seid ihr dabei auch schon auf fehlerhafte Informationen in verschiedenen Bereichen gestoßen? Schreibt gerne Beispiele in die Kommentare, wenn ihr welche parat habt - wir sind sehr gespannt auf eure konkreten ChatGPT-Erfahrungen und auf eure allgemeinen Gedanken zu dem Thema!