Es kommt nicht gerade überraschend, dass Nvidia mit seiner neuesten Grafikkartengeneration einen weiteren Schritt in Richtung KI-Rendering geht – wobei es sich vortrefflich darüber streiten ließe, was der Begriff genau meint.
Überraschender ist da schon die vollmundige Ankündigung, die Performance dank Künstlicher Intelligenz respektive der Neuentwicklungen bei DLSS und Frame Generation zu verachtfachen.
Naturgemäß nennen Hersteller hier die bestmöglichen Zahlen. Was davon in der Praxis übrigbleibt, muss sich also erst noch zeigen. Die Tests erscheinen zum Launch der neuen Modelle:
Was wir allerdings jetzt schon beleuchten können, ist, wie Nvidia diesen immensen Performance-Boost erreichen will.
Das Zauberwort heißt Multi Frame Generation
Okay, es sind drei Worte – excuse-moi! Wer damit gar nichts anfangen kann, hier einmal eine kurze Erklärung, was einfache Frame Generation überhaupt ist.
Im Grunde wird mit der Technik einfach ein zusätzliches Bild zwischen zwei traditionell auf der Grafikkarte berechnete Bilder geschoben. Diese Zwischenbildberechnung erfolgt per KI.
Dabei werden mittels eines sogenannten Optical Flow Accelerators
(OFA) Richtung und Geschwindigkeit der Bildpunkte von einem Frame zum anderen ermittelt. Diese Daten fließen dann in ein neuronales Netz ein, welches letztlich das Zusatzbild erzeugt.
Der Vorteil von Frame Generation
Die Bildrate wird verdoppelt, ohne den Rechenaufwand für GPU und CPU zu verdoppeln. Denn die zusätzliche Rechenlast wird nicht von den klassischen Shader-Rechenkernen, sondern von den auf KI spezialisierten Tensorkernen und dem eben genannten OFA getragen.
Der Nachteil von Frame Generation
Es können Bildartefakte sowie Geisterbilder entstehen, die die Darstellungsqualität mindern. Gleichzeitig wird die Systemverzögerung (Latenz) erhöht, da zwei ganze Frames gepuffert und nicht ausgegeben werden.
Bei 60 FPS (16,7 Millisekunden pro Einzelbild) sind das rund 33 Millisekunden. Dieser Effekt wird allerdings durch Nvidias Reflex-Technologie wieder ein Stück weit ausgeglichen.
Plain and simple: Reflex optimiert die Kommunikation zwischen CPU und GPU bei der Erstellung von Bildern in Videospielen. Es wird also an anderer Stelle Zeit gespart.
Und was ist nun Multi Frame Generation?
Wie der Name bereits vermuten lässt, erstellt MFG nicht nur ein zusätzliches Bild, sondern mehrere. Bis zu drei, um genau zu sein.
Das geschieht allerdings nicht mehr via OFA. Diese dedizierte Hardware-Komponente wird durch ein KI-Modell (AI Optical Flow) ersetzt, das vollständig von den Tensorkernen berechnet wird.
Die KI kann gemäß dem Bild oben aus einem gerenderten Frame in einem Durchgang drei zusätzliche generieren - vermutlich verwendet es aber zwei gerenderte Frames.
Der Vorteil von Multi Frame Generation
Eine vielfach höhere Bildrate, die genau wie der Vorgänger keine klassischen Rechenkapazitäten auf CPU und GPU erfordert.
Außerdem soll das Frame-Pacing (die Zeit zwischen der Ausgabe von Bildern, die möglichst gleichmäßig sein sollte) per sogenanntem Flip Metering verbessert werden, um Bildruckeln zu verhindern.
So sieht DLSS 4 samt Multi Frame Generation in der Praxis und im Vergleich aus:
Link zum YouTube-Inhalt
Der Nachteil von Multi Frame Generation
Wie gut Multi Frame Generation mit Blick auf die Bildqualität arbeitet, muss erst noch durch unabhängige Tests geklärt werden.
Grundsätzlich verspricht Nvidia durch den Wechsel bei DLSS 4 (und demnach auch bei Frame Generation) von einem Convolutional Neural Network (CNN) auf ein Transformer-Modell eine größere Detailfülle, weniger Artefakte und Geisterbilder.
Interessant ist vor allem auch, wie die Zwischenbilder hinsichtlich der Latenz erzeugt werden. Sollte das KI-Modell lediglich die Bewegungsdaten aus einem Bild verwenden, anstatt von zwei, wie es bei einfacher Frame Generation der Fall ist, müsste zumindest ein Teil der zusätzlichen Latenz entfallen.
Vermutlich werden jedoch zwei Frames herangezogen, die beide gepuffert und aus denen die maximal drei Zwischenbilder berechnet werden.
Dazu kommt noch die Verzögerung durch das Erstellen der drei Zusatz-Frames selbst. Diese werden nicht traditionell gerendert, was bedeutet, dass Spieler durch ihre Eingaben eigentlich nur Einfluss auf das erste Bild der Sequenz (das erste von maximal fünf) haben. Das will Nvidia mit Reflex 2 jedoch ausgleichen.
Wie das genau funktioniert, erklären wir in einem folgenden Artikel. Ihr könnt euch aber schon einmal unseren Video-Talk zum Thema RTX 5000 ansehen. Darin wird Reflex 2 erklärt.
1:27:48
RTX 5000: Das sagen unsere Experten zu Nvidias neuen Grafikkarten
Die neuen Tensorkerne
Um überhaupt so viel mehr Bilder im Vergleich zu einfacher Frame Generation generieren zu können, braucht es die Power der neuen Tensorkerne.
Die sollen deutlich stärker geworden sein. Nvidia zufolge sind die Cores der 5ten Generation (RTX 5000) bis zu zweieinhalbmal so leistungsstark wie ihre direkten Vorgänger (RTX 4000).
An dieser Stelle kommt Nvidias neuer Schlachtbegriff AI TOPs
ins Spiel. Die Einheit gibt die Rechenleistung der Tensorkerne an.
Der Faktor 2,5 ergibt sich aus den Angaben von Nvidia, die eine RTX 5090 mit 3.352 AI TOPs einer RTX 4090 mit 1.321 AI TOPs gegenüberstellen - 3.352 / 1.312 = 2,5.
Allerdings ist hier etwas Vorsicht geboten. Denn es ist nicht ganz klar, welche Genauigkeit (bei Gleitkommaoperationen; je höher der Wert, umso höher die Präzision und die Rechenleistung) bei den zwei Werten verwendet wurde.
Nvidia selbst schreibt, dass die Bilderzeugung in generativen KI-Anwendungen auf der RTX 5090 mit FP4 im Vergleich zur RTX 4090 mit FP16 zweimal schneller vonstattengeht. Wie das in Spielen aussieht und ob dann dieselbe Genauigkeit verwendet wird, muss erst noch geklärt werden.
Außerdem zu bedenken: Die RTX 5090 verfügt über 680 Tensorkerne, die RTX 4090 nur
über 512.
DLSS 4 ist mehr als Uspcaling
Besonders wichtig: Multi Frame Generation ist Teil von DLSS 4.
Um so hohe Performance-Zugewinne bei gleichzeitig guter Darstellungsqualität zu ermöglichen, wie Nvidia sie uns zeigt, müssen mehrere DLSS-Funktionen ineinandergreifen.
Also neben Multi Frame Generation noch Upscaling (Super Resolution), Ray Reconstruction (falls Raytracing oder Path Tracing im Spiel ist) und die Kantenglättung DLAA.
Im Falle des gezeigten YouTube-Videos wird zunächst ein Frame (oder zwei Frames) native in einer niedrigeren Auflösung gerendert. Anschließend wird dieser auf die gewünschte höhere Auflösung mit DLSS Super Resolution skaliert (Upscaling).
Ray Reconstruction entschrauscht dabei das Bild, falls zuvor Raytracing oder Path Tracing zum Einsatz gekommen ist. DLAA glättet die Kanten.
Erst danach setzt Multi Frame Generation an und generiert aus dem einen Bild (oder den zwei Bildern) bis zu drei zusätzliche.
Nur angemeldete Benutzer können kommentieren und bewerten.
Dein Kommentar wurde nicht gespeichert. Dies kann folgende Ursachen haben:
1. Der Kommentar ist länger als 4000 Zeichen.
2. Du hast versucht, einen Kommentar innerhalb der 10-Sekunden-Schreibsperre zu senden.
3. Dein Kommentar wurde als Spam identifiziert. Bitte beachte unsere Richtlinien zum Erstellen von Kommentaren.
4. Du verfügst nicht über die nötigen Schreibrechte bzw. wurdest gebannt.
Bei Fragen oder Problemen nutze bitte das Kontakt-Formular.
Nur angemeldete Benutzer können kommentieren und bewerten.
Nur angemeldete Plus-Mitglieder können Plus-Inhalte kommentieren und bewerten.