Nvidia veröffentlicht das erste KI-Modell seiner Größe, das wirklich Open Source ist – Forscher und Community freuen sich über die Möglichkeiten

Forscher und Community freuen sich über dieses Modell. Ihr auch? (Bildquelle: Adobe Stock – Asier | Nvidia)

Normalerweise halten Tech-Giganten wie Google oder OpenAI ihre KI-Entwicklungen unter Verschluss: Niemand weiß genau, womit die Modelle gefüttert wurden.

Nvidia bricht nun mit dieser Tradition und liefert mit Nemotron 3 Super ein Agentic Model ab, das nicht nur kostenlos ist, sondern auch mit einer 51-seitigen Dokumentation an technischen Details daherkommt. Das Modell ist also tatsächlich Open Source und nicht wie die meisten Modelle seiner Größenordnung »nur« Open Weight.

Transparenz als neue Ansage

Neben dem Modell selbst wurden auch die kompletten Datensätze und Gewichte für das Training veröffentlicht. 

Dr. Károly, ein Forscher für Computergrafik an der Universität Wien und Betreiber des YouTube-Channels TwoMinutePapers, beschreibt das Modell und die offene Dokumentation als »neue heilige Bibel für solche Systeme«:

Link zum YouTube-Inhalt

Was steckt drin? Nemotron 3 Super basiert auf 120 Milliarden Parametern, wurde mit 25 Billionen Tokens trainiert und erreicht eine Intelligenz, die in etwa den besten geschlossenen Modellen von vor anderthalb Jahren entspricht, so Zsolnai-Fehér. 

Mit einer Kontextlänge von bis zu einer Million Tokens ist Nemotron 3 Super besonders stark in Bereichen wie Software-Engineering und komplexer logischer Argumentation (Agentic Reasoning). 

Es ist ein hybrides Modell, das Mamba-Architektur mit klassischen Transformer-Elementen (Attention) kombiniert. Das hat einen entscheidenden Vorteil:

Was Forscher und Communitys begeistert: Die Geschwindigkeit

In der sogenannten NVFP4-Version ist das Modell bis zu sieben Mal schneller als vergleichbare Open-Source-Konkurrenten. Diese enorme Performance ist kein Zufall, sondern das Ergebnis von vier technischen »Geheimnissen«, die Nvidia im Forschungsbericht offenlegt:

1. NVFP4-Quantisierung: Das Modell nutzt eine extrem niedrige Präzision beim Rechnen, ohne dabei spürbar an Genauigkeit zu verlieren. 
2. Multi-Token Prediction (MTP): Während herkömmliche KIs Wort für Wort (Token für Token) schreiben, berechnet Nemotron 3 Super bis zu sieben Tokens gleichzeitig und verifiziert diese in einem Rutsch.
3. Mamba-Layer: Traditionelle Systeme »lesen« bei jeder Frage das gesamte Handbuch immer wieder neu. Die Mamba-Layer funktionieren eher wie ein Student, der das Buch einmal liest und sich hochkomprimierte Notizen macht, was massiv Speicher spart.
4. Stochastisches Runden: Um Ungenauigkeiten bei der Berechnung auszugleichen, fügen die Forscher ein gezieltes »Rauschen« hinzu, das sich im Durchschnitt zu Null aufhebt. Das sorgt dafür, dass das Modell trotz der hohen Geschwindigkeit präzise am Ziel ankommt.

52:00 DLSS 5: Echte Grafik-Revolution oder nur AI-Slop?

Das sagt die Community

In der Fach-Community auf Reddit wird der Release bereits heiß diskutiert. BitterProfessional7p feiert beispielsweise die Transparenz:, gibt es auch kritische Stimmen zum Benchmark-Vergleich:

Übrigens: Forscher stehen vor einem Rätsel: KI-Systeme gehen ziemlich weit, um andere Chatbots in Schutz zu nehmen (und wir wissen nicht warum)

Andere finden das System nicht überwältigend, weil es in Benchmarks nicht die Nase vorn hat. So auch User jeekp:

Ob Nemotron 3 Super sich im Alltag gegen die starke Konkurrenz von Modellen wie Qwen durchsetzen kann, wird die Zeit zeigen, aber der Trend hin zu extrem schnellen, transparenten Open-Source-Modellen ist damit endgültig zementiert.

Sind Open-Source-Modelle für euch spannend? Schreibt es uns gerne in die Kommentare!