Cyberpunk 2077 wird dank KI auch auf deutsch lippensynchron

Link zum YouTube-Inhalt

Die Vertonung von Cyberpunk 2077 soll stets lippensynchron ausfallen - auch, wenn ihr in anderen Sprachen als Englisch spielt. Allerdings hat man dafür keine Schauspieler im Zuge eines aufwendigen Motion-Capture-Verfahrens vor die Kamera gestellt, sondern die auf einer KI basierenden Technik von Jali Research verwendet. Die generiert die Gesichtsbewegungen der Charaktere prozedural - wie das oben verlinkte Video zeigt.

Gründe für die KI-Lösung: Der Entwickler entschied sich für die neue Methode, weil die Animationsarbeiten für insgesamt elf verschiedene Sprachen zu zeit- und kostenaufwendig wären. Gleichzeitig wollte man bei den Entwicklern von CD Projekt Red ein besseres Endergebnis erreichen, als noch bei The Witcher 3: Wild Hunt.

Link zum Twitter-Inhalt

Die Charaktere sprechen viele Sprachen

Das Ergebnis ist, dass die einzelnen Sprachen nicht einfach nur synchronisiert werden, sondern die Charaktere im Spiel die Worte tatsächlich glaubwürdig artikulieren sollen, was wir vor allem an deren Mundbewegungen erkennen können.

Oder eben genau nicht erkennen werden: Der Entwickler erklärt, dass eine Lippensynchronisation nur dann erkannt wird, wenn sie falsch ist. Macht man hingegen alles richtig, soll das niemandem so recht auffallen.

Zur deutschen Synchronisation von Cyberpunk 2077 haben wir übrigens bereits zur gamescom 2019 ein erstes Fazit ziehen können. Seitdem hat sich bei der Entwicklung natürlich einiges getan, trotzdem wollen wir euch das nicht vorenthalten:

Emotionen dank Roboter

Die KI ist zudem dazu in der Lage, Emotionen aus der Stimme herauszulesen und das Gesicht entsprechend anzupassen. Alles, was sie dafür benötigt, sind drei Dinge:

Schlagworte
Eine Tonaufnahme
Ein Transkript

Diese Elemente analysiert sie, um das Timing, den Pitch und die Lautstärke zu erkennen. Darauf werden eine Reihe von KI-Regeln genutzt, mit denen das System nicht nur die notwendige Position von Lippen, Zunge und Kiefer für jedes einzelne Phonem bestimmt, sondern auch die Bewegung der Augen, Lieder, Brauen und dem Genick anpasst. Ist die KI fertig, liefert sich eine lippensynchrone Animation sowie einen Sprachstil und kann damit akkurat Emotionen widerspiegeln.

Verschiedene Ausdrücke je nach Sprache

In Cyberpunk 2077 sollen die Charaktere mithilfe dieser Technik nicht nur Englisch, sondern zudem noch die folgenden Sprachen akkurat und lebensecht wiedergeben können:

Deutsch
Französisch
Italienisch
Spanisch
Japanisch
Koreanisch
Polnisch
Portugiesisch (Brasilien)
Russisch
Vereinfachtes Chinesisch

In diesen Sprachen passt sich nicht nur die Lippenposition an die Worte an, sondern auch der Rest des Gesichts. So werdet ihr auf Deutsch beispielsweise wesentlich mehr Bewegungen der Augenbrauen sehen als in Japanisch. Das liegt daran, weil die Augenbrauen sich an die Beugung eines Wortes anpassen. Da Deutsch jedoch zum Beispiel wesentlich mehr gebeugte Worte besitzt als etwa Japanisch, werden sie sich in letzterer Sprache merklich weniger bewegen.

Manche der Charaktere in Cyberpunk 2077 verwenden in ihren Sätzen jedoch mehr als nur eine Sprache und wechseln zwischen diesen. Damit auch hier das Gesicht jeweils korrekt reagiert, nutzt man Tags innerhalb des Transkripts die kennzeichnen, welche Sprache gerade gesprochen wird.

Auf das Thema deutsche Übersetzungen in Videospielen - und warum wir Spiele, die darauf verzichten, nicht abwerten - sind wir übrigens im folgenden Video eingegangen:

PLUS 25:38 Ohne deutsche Übersetzung, ohne mich - Sollten wir alle Spiele abwerten, die nicht auf Deutsch erscheinen?

Dann seht ihr es in Aktion

Ob das System wirklich hält, was es verspricht, könnt ihr frühestens am 19. November 2020 herausfinden. Dann soll das neue Rollenspiel von CD Projekt Red erscheinen. Alle bisherigen Infos zum Release und mehr, findet ihr in unserer Übersicht.