Minecraft: Forscher bringen einer KI mit YouTube-Videos das Spielen bei

Ihr spielt gerne Minecraft, habt aber eigentlich gar keine Zeit, tausende Blöcke Stein und Holz für euren nächsten Monumentalbau abzubauen? Dann habt ihr vielleicht Glück, denn in Zukunft könnte das eine gut trainierte KI für euch erledigen. Verantwortlich dafür ist OpenAI, ein Forschungsunternehmen, das künstliche Intelligenz untersucht. Bekannt ist OpenAI für etwa die Entwicklung von DALL E 2, einer KI die Bilder nach Texteingaben erstellt.

Eine kostenlose Variante von DALL E könnt ihr übrigens selbst ausprobieren, die Ergebnisse können lustig, aber auch ziemlich verstörend sein. Aber zurück zum Thema: Ziel der Forscher war es, der KI Handlungen nicht durch Spracheingaben, sondern durch Videomaterial beizubringen. Wie sie das geschafft haben und was die künstliche Intelligenz alles kann, erfahrt ihr hier.

Gefüttert mit 70.000 Stunden Gameplay

Um der KI Minecraft beizubringen, gingen die Forscher in mehreren Schritten vor - den vollständigen Bericht findet ihr in ihrem Blogeintrag. Zunächst musste man dafür sorgen, dass die KI überhaupt aus Videomaterial von YouTube lernen kann. Denn die dort durchgeführten Handlungen werden nicht eigens beschrieben: Die KI kann also nicht wissen, mit welchen Tasten, Mausklicks und -Bewegungen Spieler sich bewegen, ihr Inventar öffnen und Blöcke abbauen.

Deshalb wurde zunächst eigenes Gameplay mit den jeweiligen Maus- und Tastatureingaben aufgenommen. Mit diesen Daten wurde ein Inverse Dynamics Model trainiert, die jeweils nächste Aktion im Video vorherzusagen. Dabei konnte es sowohl auf vergangene, als auch zukünftige Frames des Videos zugreifen. Das Modell wurde dann wiederum dazu benutzt 70.000 Stunden an unbeschriebenem Videomaterial mit den passenden Maus- und Tastatureingaben zu versehen.

Aber nicht nur die KI, auch Minecraft entwickelt sich ständig weiter, zuletzt mit dem Update The Wild. Wie das Spiel euch auch noch in 50 Jahren beschäftigen soll, erklären uns die Entwickler im Interview:

Zukunft von Minecraft

Wie es noch 50 Jahre spannend bleiben will

von Géraldine Hohmann

KI baut sogar Diamant-Spitzhacken

Nun konnte man die KI mit dem verarbeiteten Videomaterial füttern und sie das im Gameplay demonstrierte Verhalten nachahmen lassen. So schaffte sie es etwa, Bäume zu fällen, daraus Bretter und schließlich eine Werkbank herzustellen. Das klingt vielleicht zunächst nicht beeindruckend, erfordert aber etwa 1.000 Eingaben seitens des Spielers, die alle von der KI nachgeahmt werden müssen.

Die künstliche Intelligenz erlernte noch weitere menschliche Fähigkeiten, wie etwa Schwimmen, das Jagen und Verzehren von Tieren und sogar das sogenannte Pillar Jumping. Hier war aber noch längst nicht Schluss für die Forscher.

Link zum YouTube-Inhalt

Die KI verfügte nun über einige grundsätzliche Fähigkeiten, sollte aber mittels Fine-Tuning lernen, diese gezielter einzusetzen. Man setzte ihr also Gameplay aus neu gestarteten Minecraft-Welten vor, um Fähigkeiten aus dem Early Game zu stärken. Daraufhin lernte die KI sogar, Holz- und Steinwerkzeuge herzustellen, (wirklich sehr) rudimentäre Unterschlüpfe zu bauen und Truhen in NPC-Dörfern zu plündern.

Mithilfe einer weiteren Methode des Fine-Tuning, dem Reinforcement Learning war es am Ende der KI sogar möglich eine Diamant-Spitzhacke zu craften! Und das, obwohl sie unvorsichtigerweise direkt nach unten gräbt! Zum Vergleich: Während für eine Werkbank etwa 1.000 Aktionen nötig waren, brauchen Menschen zum Craften eines Diamant-Werkzeugs etwa ganze 24.000 Aktionen, die alle von der künstlichen Intelligenz durchgeführt wurden.

Eine solch kompetente KI steht Minecraft-Spielern zwar nicht zur Verfügung, dafür könnt ihr euch aber immerhin viele praktische Mods installieren. Die besten stellen wir in unserem Artikel vor:

Minecraft

Die 20 besten und kuriosesten Mods 2022

von Vali Aschenbrenner

Was bringt das alles?

Wie ihr euch es wahrscheinlich schon denken könnt, geht es bei der Forschung nicht um praktische KI-Kollegen für gestresste Minecraft-Spieler. Vielmehr sollen künstliche Intelligenzen Handlungen anhand der zahlreichen im Internet verfügbaren Videos erlernen. So schreiben die Forscher in ihrem Blogeintrag, VPT (ihre Technologie) biete die aufregende Möglichkeit, großflächige Verhaltensmuster direkt in anderen Bereichen als der Sprache zu lernen.

Minecraft eigne sich für diese Experimente hervorragend, da es mit Maus und Tastatur über ein sehr generisches Interface verfügt, und eine sehr offene Welt mit vielen Möglichkeiten bietet. Die dort erzielten Ergebnisse lassen sich so leicht auf ähnliche Bereiche, wie die generelle Bedienung von Computern übertragen.

Was haltet ihr von dem Minecraft-Experiment der KI-Forscher? Findet ihr künstliche Intelligenzen langweilig und erwartet nicht viel von ihnen oder glaubt ihr an deren zukünftige Bedeutung? Schreibt uns eure Meinung gerne in den Kommentaren!