Künstliche Intelligenz - Nvidia-AI erstellt aus nur einem Foto ein 3D-Modell

Nvidia hat einer KI beigebracht, aus einem Foto ein 3D-Objekt zu generieren. Auf der NeurIPS in Vancouver stellen Forscher ihr Rendering-Netzwerk vor.

von Manuel Schulz,
12.12.2019 07:11 Uhr

Die KI von Nvidia kann aus verschiedensten Vorlagen 3D-Modelle erstellen. Die KI von Nvidia kann aus verschiedensten Vorlagen 3D-Modelle erstellen.

Nvidia hat es geschafft, einem neuralen Netzwerk beizubringen, aus nur einem Foto ein fertig texturiertes 3D-Model zu machen. Auf der jährlichen Neural Information Processing Systems-Konferenz, kurz NeurIPS, stellen die Forscher ihren Durchbruch vor.

Automatisierte Systeme zur Generierung von 3D-Modellen gibt es zwar schon, doch die brauchten entweder viele Bilder aus verschiedenen Winkeln oder die Hilfe eines menschlichen Nutzers, der Eingaben zu Größe und Form machte.

Ein Bild erstmals genug

Laut dem Nvidia-Forscher Jun Gao ist Nvidia damit etwas gelungen, das bisher nicht möglich war:

"Zum ersten Mal kann man jedes beliebige 2D-Bild nehmen und daraus relevante 3D-Daten erzeugen."

Das Nvidia-Framework zum Rendern der 3D-Modelle nennt sich »DIB-R«, was für »differentiable interpolation-based Renderer« steht. Das Prinzip ist relativ einfach und jedem bekannt, denn wir Menschen sehen auch nur 2D-Bilder, die unser Gehirn in 3D umsetzt.

Genau diese Leistung hat Nvidia auf künstliche Intelligenz übertragen. Damit ergeben sich neue Möglichkeiten, wie verbessertes Tracking oder 3D-Model-Erstellung für Laien. Auch für den Bereich der Robotik ist DIB-R interessant, denn der Roboter kann so schnell die Umgebung in 3D erkennen.

Berechnung in Millisekunden

Der Weg vom Foto eines Vogels zum passenden 3D-Model. Der Weg vom Foto eines Vogels zum passenden 3D-Model.

Während es auf einer Nvidia V100 GPU zwei Tage dauert, ein 3D-Modell zu erstellen, schafft es DIB-R in weniger als 100 Millisekunden. Trainiert wurde DIB-R mit Fotos, die zuvor in 3D-Modelle umgewandelt wurden sowie mit Fotos und 3D-Modellen aus verschiedenen Perspektiven.

Das Forscherteam von Nvidia besteht aus mehr als 200 Personen, die jedoch nicht alle an diesem konkreten Projekt beteiligt waren. Insgesamt sieben Forscher werden im Titel des Papers über das DIB-R-Verfahren genannt.

Mehr zum Thema künstliche Intelligenz:

zu den Kommentaren (25)

Kommentare(25)

Nur angemeldete Benutzer können kommentieren und bewerten.