DeepSeek: »So gut wie ein Ferrari, aber aus Ersatzteilen gebaut« – Microsoft-Experte erklärt die Basis des immensen Erfolgs

Ein Sputnik-Moment – Der Ex-Microsoft-Mitarbeiter Dave Plummer spricht auf seinem YouTube-Kanal Dave's Garage über den chinesischen KI-Chatbot DeepSeek. Dabei erklärt er, was DeepSeek gegenüber seiner Konkurrenz wie ChatGPT so besonders macht.

Link zum YouTube-Inhalt

Ein Ferrari aus Ersatzteilen

DeepSeek ist im Training viel kostengünstiger gewesen als ChatGPT und vergleichbare LLMs. Um welchen Faktor es tatsächlich günstiger sein soll, ist allerdings umstritten.

Der Ex-Microsoft Mitarbeiter Plummer spricht auf seinem YouTube-Kanal wie auch andere Quellen von unter 6 Millionen Dollar, die in DeepSeek geflossen sein sollen. Das ist ein Bruchteil der Milliarden-Investitionen in die Modelle der Konkurrenz. Dennoch kann die KI mit Flaggschiffen wie ChatGPT mithalten.

Außerdem sollen die Entwickler der KI keinen Zugriff auf die neuesten Nvidia-Chips gehabt haben. Immerhin soll deren Leistungsfähigkeit so integral für den KI-Boom sein, dass Nvidia zu einem der wertvollsten Konzerne aufgestiegen ist. Und das während das Kern-Produkt, für das viele Nvidia kennen, nämlich Gaming-Grafikkarten, bei der Firma nur noch unter ferner liefen rangieren.

DeepSeek ist laut Plummer wie

Mehr zum Thema

Chartstürmer-App will ChaGPT den Rang ablaufen und das Silicon Valley spielt verrückt - das steckt hinter DeepSeek

von Jan Stahnke

Wie Meister und Lehrling

Möglich ist das durch eine andere Art des Trainings. DeepSeek ist genauso wie das ChatGPT zugrunde liegende Modell ein Large-Language-Model. Allerdings handelt es sich hierbei um ein destilliertes Modell (distilled model).

Das bedeutet, dass ein kleineres Modell mithilfe von großen Modellen so trainiert wird, dass es möglichst ähnliche Ergebnisse liefert wie die großen – allerdings mit viel weniger Ressourcen.

So passiert es, dass die riesigen Modelle zwar immer noch über eine größere Wissensbasis verfügen, das kleinere Modell aber in den meisten Anwendungen fast genauso gut performt.

Plummer vergleicht das in seinem Video so:

Einer dieser Meister war das Open Source-Model Llama von Meta, aber ebenso auch OpenAIs ChatGPT.

44:19 »Künstliche Intelligenz ist die neue Elektrizität« - Wir busten mit einem Experten 5 Mythen zu KI

Diese Wissens-Destillation macht DeepSeek deutlich ressourcenschonender. Es benötigt zum Betrieb auch nicht mehr die immense Hardware mit hunderten GPUs in riesigen Rechenzentren wie die großen Modelle.

Das führt Plummer aber auch zu der Frage:

Erinnerung an die PC-Revolution

Für den teuren Original-Ferrari bedeutet das natürlich erst einmal nichts Gutes.

Für die Nutzer sei es allerdings ein Vorteil, dass sie das Modell auch lokal auf ihrer Heim-Hardware laufen lassen können. Natürlich kann DeepSeek nicht auf jedem kleinen Arbeits-Notebook lokal laufen. Plummer benötigt für das größte DeepSeek-Modell einen AMD Threadripper mit einer Nvidia RTX 6000 GPU (48 GB VRAM). Kleinere Varianten liefen sogar auf einem MacBook Pro.

Er fühlt sich von dieser Entwicklung an die Zeit der PC-Revolution erinnert.

Als unter Computer noch Großrechneranlagen (Mainframes) für Business-Anwendungen verstanden wurden, konnte sich niemand vorstellen, dass irgendwann jeder so etwas zu erschwinglichen Preisen zuhause haben würde.

RTX 4070 Windforce OC

Gigabyte

Die RTX 4070 ist eine gute Mittelklasse-Grafikkarte mit 12 GB VRAM für Full-HD und WQHD. Ihre Stärken liegen bei Raytracing und der Energie-Effizienz.

569 €

Bei Mindfactory kaufen

Radeon RX 7700 XT Fighter

PowerColor

Die RX 7700 XT eignet sich gut für WQHD und kommt selbst mit Raytracing problemlos zurecht. Dafür hat sie ein schwaches Preis-Leistungs-Verhältnis.

432,92 €

Bei Mindfactory kaufen

Ein Sputnik-Moment

Anders als bei der PC-Revolution sind heute allerdings auch die geopolitischen Implikationen zu beachten. Bei DeepSeek handelt es sich um ein chinesisches Modell, das besonders den US-amerikanischen Silicon-Valley-Konzernen Konkurrenz macht.

Plummer bezeichnet das als Sputnik-Moment. Das ist eine Anspielung auf den sowjetischen Satelliten Sputnik, dessen Start 1957 den Beginn des Raumfahrtwettlaufs (Space Race) und eine neue Phase der systemischen Konkurrenz zwischen der Sowjetunion und dem Westen im Kalten Krieg markierte.

Mehr zum Thema

DeepSeek: Datenschutz und Zensur durch China? Das müsst ihr wissen

von Jan Stahnke

Ähnlich führt die Entwicklung von DeepSeek zu geopolitischen Spannungen, die den Wettbewerb zwischen den USA als technologischem Hegemon und China als aufstrebender Weltmacht widerspiegeln.

Dieser technologische Wettstreit ist nicht nur ein Kampf um Innovationen, sondern auch ein Symbol für die systemische Rivalität zwischen der kapitalistischen Demokratie der USA und dem Staatskapitalismus Chinas.