NPCs werden in Zukunft viel realistischer - ein KI-Experiment zeigt schon heute, warum

Das simulierte Dorf. Quelle: »Generative Agents: Interactive Simulacra of Human Behavior«, Park et al.

KI-Assistenten wie ChatGPT oder das neue GPT-4 eignen sich für immer mehr Aufgaben eignen, wenn auch vielleicht nicht für eure Hausaufgaben. Jetzt gibt es die erste Anwendung, die einen Nutzen für Videospiele bringen kann.

Wenn ihr schon immer davon geträumt habt, dass Charaktere in einer Videospielwelt nicht nur statische Abläufe haben, sondern auf die Welt und aufeinander fast so dynamisch reagieren, wie Spieler in einem Pen-&-Paper-Rollenspiel, dann gibt euch die Wissenschaft jetzt erste Eindrücke, wie das aussehen könnte!

Dabei haben ForscherInnen von der Universität Stanford und Google ein eigenes kleines Dorf gebaut und die Bewohner ihrem Tagesablauf nachgehen lassen, nur eben gesteuert durch ChatGPT. Wir haben uns die Fachpublikation angesehen und erklären euch, wie das Ganze funktioniert, und wie damit eine einzige Zeile zu einer ganzen Valentinstagsfeier mit Einladungen, Verabredungen und so weiter wird.

ChatGPT als Basis für alles

Hinter dem interaktiven Dorf steckt ChatGPT, also ein neuronales Netz. Das hat gelernt, Texteingaben eines Nutzers zu beantworten, in dem es Wortbruchstück für Wortbruchstück einen Text vorhersagt. Die Grundidee, daraus eine Dorfsimulation zu machen, ist simpel erklärt.

Wenn das Dorfleben voranschreitet und wir wissen wollen, wie sich ein Charakter verhält, geben wir ChatGPT eine kurze Zusammenfassung über den Zustand unseres Charakters und der Welt, und bitten es, daraus eine Aktion abzuleiten.

Ein kurzes Beispiel: Eingabe: Tim ist freier Autor bei der GameStar und hat gerade ein neues Paper über ein simuliertes Dorf entdeckt. Was tut er? ChatGPT: Tim könnte ~~eine Runde League of Legends spielen~~ einen Artikel darüber schreiben.

Wie ein klassischer NPC

Um damit NPC zu steuern, gehen die Autoren genau so vor, wie etwa mit den Passanten in GTA 5 verfahren wird: Die Umgebung wird wahrgenommen (Der Spieler zieht eine Waffe), worauf anschließend der Zustand des Passanten von die Straße hinunterschlendern auf fliehen vor dem Spieler geändert wird.

Der Kreislauf eines NPCs. Quelle: »Generative Agents: Interactive Simulacra of Human Behavior«, Park et al.

Aus dem neuen Zustand wird dann wieder eine Aktion abgeleitet, etwa wegdrehen vom Spieler, dann rennen. Dabei benutzten die Autoren hier aber keine festen, von einem Programmierer vorgegebenen Regeln, sondern lassen ChatGPT entscheiden, was passiert, und übersetzen das zurück in etwas, dass die Simulation versteht.

KI-dew Valley

Für ihre Simulation in einer Engine für Webspiele haben die Forschenden ein kleines Dorf mit mehreren Wohnhäusern sowie Infrastruktur inklusive Café, Bar und Lebensmittelladen gebaut. Außerdem haben alle Charaktere einen Charakterbogen bekommen, ähnlich wie in einem Pen-&-Paper-Rollenspiel. Dort sind Eigenschaften wie Alter, Charaktereigenschaften und eine kurze Beschreibung gespeichert.

Ein Charakterbogen des hilfsbereiten Apothekers. Quelle: »Generative Agents: Interactive Simulacra of Human Behavior«, Park et al.

Jeder NPC hat zusätzlich noch ein Gedächtnis, in dem aktuelle Geschehnisse mit einem Zeitstempel abgelegt werden. Etwa, dass morgens Frühstück gegessen wurde, und dass auf dem Weg zur Arbeit der Nachbar getroffen wurde.

Wenn der ChatGPT rollenspielt

Wer selbst einmal mit ChatGPT gearbeitet hat, weiß, dass bei zu langen Texten öfter mal Informationen verloren gehen, oder nicht so wichtige Informationen in den Vordergrund treten.

Um das zu vermeiden, lassen die AutorInnen regelmäßig aus den einzelnen Erinnerungen, abhängig von Relevanz, Aktualität und Wichtigkeit (wenn der NPC in der Küche steht, ist die Erinnerung an den eigenen Hunger relevanter als auf der Arbeit) von ChatGPT Schlussfolgerungen ziehen.

Das Bewerten der Wichtigkeit etwa funktioniert dabei ebenfalls darüber, ChatGPT zu sagen, dass es die Wichtigkeit gegeben einem Kontext bewerten soll (Du bist hungrig. Wie wichtig ist das auf einer Skala von 1 bis 10, wenn du in der Küche stehst?).

Am Ende wird dann aus den Erinnerungen, Charakterinformationen und Schlussfolgerungen ein zeitabhängiger Arbeitsplan mit ChatGPT erstellt. Etwa, dass der Charakter sich morgens fertig macht, tagsüber arbeitet und abends einkaufen geht.

Damit auch hier wieder nicht zu lange und damit für Fehler anfällige Texte entstehen, wird dieser große Plan zu mehreren, fein aufgeteilten kleinen Aktionen strukturiert. ChatGPT erhält also wieder alle Informationen des NPCs und etwa die Aufgabe, von 16 Uhr bis 17 Uhr einkaufen zu gehen, um daraus einen detaillierten Plan zu schmieden, der dann, wieder mit ChatGPT, zu einer konkreten Aktion führt.

Verbindung von Simulation und Daten

Damit die Simulation und das Sprachmodell mit ihren Daten sinnvoll zusammenarbeiten, müssen sie noch miteinander kommunizieren. Wenn ein NPC den Raum betritt, muss die Simulation melden, dass die Charaktere, die dort schon stehen, jetzt wissen, wer in ihrer Sichtweite ist.

Umgekehrt müssen Aktionen der Charaktere natürlich auch umgesetzt werden. Wenn ein Charakter beschließt, dass er zur Arbeit oder zur Bar geht, macht das Modell dann daraus eine entsprechende Bewegung des Charaktermodells in der Spielwelt, berechnet also ganz klassisch eine Route und animiert den Charakter entlang dieses Weges.

Interaktion mit der Spielwelt

Der Spieler hat die Möglichkeit, mit beiden Seiten der Welt zu interagieren. Entweder können Gedanken direkt dem jeweiligen Charakter gegeben werden, also dem Sprachmodell gesagt werden: Der Charakter möchte als Bürgermeister kandidieren, was dann entsprechend in den Charakter geschrieben wird.

Aber auch die Spielwelt selbst kann verändert werden, etwa ein Herd angeschaltet werden, damit ein Charakter dann beim Betreten des Raumes vermeldet bekommt: Der Herd ist an, und entsprechend darauf reagiert.

Party am Valentinstag

Besonders spannend wird es, wenn man so den Charakteren neue Ideen einpflanzt, und dann beobachtet, wie sie sich auswirken. So wurde etwa einem Charakter gesagt, dass sie eine Valentinstagsfeier organisieren möchte. Sie unterhält sich mit anderen NPCs darüber, die sich diese Information dann merken.

Wie sich Nachrichten über die Valentinstagsparty verbreiten. Quelle: »Generative Agents: Interactive Simulacra of Human Behavior«, Park et al.

Treffen diese Charaktere nun wieder auf andere Charaktere, erzählen sie diesen davon, laden weitere Charaktere, die gut zu ihnen passen, zu Dates ein, oder fangen an, das Café entsprechend zu dekorieren. Zum Zeitpunkt der Feier laufen sie dann in das Café.

Natürlich ist fraglich, ob so etwas immer besonders gut funktioniert, aber allein so eine Form von Interaktion, die in einem normalen Spiel im Code sehr viel gescriptete Sequenzen zwischen allen Charakteren erfordert, nur damit die Sequenz dann jedes Mal gleich abläuft, ist dennoch beeindruckend und zeigt die Stärken von ChatGPT in solchen Szenarien.

KI mit Gedächtnisschwächen und Halluzinationen

Mit ChatGPT als Unterbau erbt das simulierte Dorf aber natürlich auch die Schwächen des Modells, die wir hier ausführlicher beschreiben. Das führt dazu, dass Charaktere schlicht Dinge erfinden, etwa anderen über einen nicht geplanten Auftritt eines Bürgermeisterkandidaten erzählen.

Außerdem werden Nachbarn, deren Namen zufällig mit bekannten Persönlichkeiten zusammenfällt, gerne mit diesen verwechselt, und so wird der Nachbar schon mal zum Ökonomen aus dem 18ten Jahrhundert. Noch kurioser wird es, wenn ein Charakter noch weiß, was er bei einer Veranstaltung zu tun hat, aber nicht mehr weiß, dass es diese Veranstaltung überhaupt gibt.

Dazu muss man aber erwähnen, dass GPT-4 mit seiner Fähigkeit, auch längere Texte noch präziser zu verarbeiten, hier einen Vorteil haben dürfte, und sich einfacher integrieren lassen sollte.

Falls ihr noch mehr darüber erfahren wollt, können wir euch die sehr angenehm zu lesende, wenn auch englische Veröffentlichung der Autoren dazu sehr ans Herz legen, die sogar größtenteils frei von Fachchinesisch ist.