Nvidia bringt eine Plattform auf den Markt, die Fehlverhalten von KI verhindern soll

Open Agent Safety Platform: Nvidia will KI-Agenten mit OpenShell und dem Chip-Wächter Sentry bändigen. (Bildquelle: Nvidia)

Im vergangenen Juli ist bei OpenAI ein Sicherheitstest gründlich schiefgegangen. In einer abgesicherten Umgebung sollten KI-Modelle des Unternehmens eigendlich den Cyber-Benchmark ExploitGym lösen. Um an diese zu gelangen, nutzte die Modelle eine bis dahin unbekannte Lücke in einem Paket-Proxy – und plötzlich war GPT-5.6 Sol ausgebüxt, hatte freie Bahn im Internet und griff auf die Produktionsdatenbank von Hugging Face zu.

Genau solche Fälle will Nvidia künftig verhindern. Hierfür stellt das Unternehmen die »Open Agent Safety Plattform« vor, die KI-Agenten in strikte Grenzen einfangen soll. Vorfälle wie das HuggingFace-Sol-Debakel hätten so laut dem Nvidia-Vizepräsidenten für Enterprise-KI Justin Boitano verhindert werden können (via Bloomberg).

1:10:45 KI zerstört unsere Spiele nur, wenn wir es zulassen

Zwei Schichten umhüllen den Agenten

Die unter der Apache-2.0-Lizenz laufende »OpenShell« bildet die Softwarehälfte des Konstrukts und steht laut dem Nvidia-Entwicklerblog bereits zur Verfügung.

• Betreiber eines KI-Agenten formulieren hier die Vorgaben, aus der eine Richtlinie entsteht. Diese Richtlinie bestimmt im Anschluss, welche Zugangsdaten, Dateien, Netzwerkverbindungen, Prozesse und Tools der Agent nutzen darf.
• Will ein KI-Agent nun loslegen, prüft OpenShell vorher, ob die angeforderten Werkzeuge innerhalb der Richtlinie definiert sind und »erzwingt sie, während der Agent arbeitet«.

Die zweite Hälfte hört auf den Namen »Sentry« und läuft auf dem »BlueField-4«Chip, der seinerseits zu den Datenverarbeitungseinheiten gehört (DPU). Diese DPU ist vom restlichen System getrennt, der KI-Agent muss aber gewissermaßen durch die DPU durch, um das KI-Modell zu erreichen – alle Anfragen müssen also den »Wächter« passieren.

GameStar MMO Sonderheft World of Warcraft: Forever

Inklusive DIN A4 Sticker-Sheet mit WoW-Motiven und XXL-Doppelposter

• 148 Seiten zu Blizzards Online-Rollenspiel-Hit
• alles über das neue Volk der Himmelsgeborenen
• detaillierte Guides für nahezu alle Aspekte des MMOs
• Kampftipps für Raids und Dungeons, inklusive Boss-Taktiken
• Sticker-Sheet mit coolen WoW-Motiven und XXL-Doppelposter

• eure alte Gilde müsst ihr noch selbst mobilisieren

Versandkosten €14,99 €

im GameStar Shop versandkostenfrei bestellen

Sentry selbst zeichnet auf, was der Agent tut, welche Regeln befolgt werden und welche Datenzugriffe der Agent vornimmt. Daraus soll verdächtiges Verhalten herleitbar sein; in diesem Fall soll der KI-Agent laut Nvidia binnen Millisekunden in der Quarantäne landen.

Von all dem bekommt der Agent nichts mit, was angesichts einiger auffälligen (aber noch nicht erklärten) Verhaltensmuster eine wichtige Schranke darstellt. Sentry ist zudem eine »optionale Sicherheitsebene zusätzlich zur OpenShell«, muss für das Projekt also nicht zwangsläufig aktiv sein.

Laut Nvidia handelt es sich bei der »Open Agent Safety Plattform« um eine Referenzarchitektur. Partnerfirmen – der Blogeintrag nennt an dieser Stelle etwa Microsoft, Oracle, Cisco, Intel oder ARM – sollen ihre eigenen Produkte entsprechend darauf aufbauen.