Roboter sollen vorher in 3D-Welten trainiert werden. (Bild: Nvidia)

Nvidia hat auf der Computergrafik- und Technologiekonferenz SIGGRAPH 2026 eine große Keynote abgehalten und dabei zahlreiche Forschungsprojekte vorgestellt.

Ein spannendes Thema dabei: Computergrafik wird längst nicht mehr nur für Spiele oder Hollywood-Effekte genutzt , sondern auch zum Training von KI-Systemen und Robotern.

Nvidia macht 3D-Welten zum Roboter-Bootcamp

Wenn es nach den großen Tech-Unternehmen geht, werden in Zukunft humanoide und andere Roboter in Fabriken für uns schuften und vielleicht auch bei uns zuhause für Ordnung sorgen. Dafür müssen die Robos aber erst lernen, sich sicher in der echten Welt zu bewegen.

Das ist alles andere als einfach, vor allem, wenn verschiedene Umwelteinflüsse, Untergründe und unvorhersehbare Hindernisse irgendwann die Laborumgebung ersetzen sollen.

Nvidia hat jetzt auf der SIGGRAPH 2026 eine ganze Reihe von Forschungsprojekten vorgestellt, die sich nicht zuletzt mit diesen Herausforderungen auseinandersetzen. Die Fortschritte in der Computergrafik spielen dabei eine wichtige Rolle.

52:00 DLSS 5: Echte Grafik-Revolution oder nur AI-Slop?

Autoplay

Eine KI, die irgendwann mal einen Roboter steuern soll, kann nämlich vorher sehr gut in realistischen 3D-Welten trainiert werden, ohne dabei alles in Schutt und Asche zu legen oder teure Roboter in Schrott zu verwandeln. Dafür müssen diese Welten aber eben auch möglichst realistisch gestaltet werden.

Hier kommt etwa das Tool »ArtiFixer« zum Einsatz. Das soll Fotos und Videos von realen Orten mithilfe von KI extrem schnell in konsistente 3D-Welten verwandeln können. Solche Tools gibt es schon jetzt, oft kommt es dabei aber zu Ungenauigkeiten oder Löchern in der Welt. Wie der Name bereits vermuten lässt, fixt »ArtiFixer« diese Fehler.

Eine neue Rechenmethode soll dazu schwer zu simulierende Materialien wie Schnee, Wasser oder Sand in Nvidias Physik-Engine Newton bringen, damit die 3D-Welten auch mit solchen Untergründen gefüllt werden können.

Mit »GPC« wurde außerdem ein Framework geschaffen, das mit riesigen Datensätzen menschlicher Bewegungen trainiert wurde. Eine KI, die einen 3D-Avatar steuert, kann auf dieses Framework zurückgreifen, um sich möglichst natürlich durch den Raum zu bewegen.

Genial daran ist, dass dasselbe Modell auch direkt auf einen humanoiden Roboter übertragen werden kann. Virtuelle Welten können so richtige »Trainingslager« für die Robotik werden.

Mit Werkzeugen wie ArtiFixer kann also die echte Welt blitzschnell in den Computer geholt, mit der Newton-Engine physikalisch korrekt gemacht und über GPC direkt auf Roboter übertragen werden.

Nach Aufschrei im März: Nvidia verrät Details zu neuer Grafik-Technologie, adressiert dabei die größte Kritik

Von diesen Fortschritten sollen aber auch Spieleentwickler und Filmemacher profitieren können. »ARDY« ist etwa ein KI-Modell, mit dem man die Bewegung von 3D-Charakteren in Echtzeit per Texteingabe steuern kann. »VideoNeuMat« kann hingegen aus generierten Videos wiederverwendbare, physikalisch korrekte Materialien erschaffen, die dann in anderen Projekten verwendet werden können.