In den letzten Jahren haben wir uns daran gewöhnt, eine künstliche Intelligenz um verschiedene Dinge zu bitten: ein Dokument zusammenzufassen, Informationen zu suchen oder uns bei einer Entscheidung zu helfen.
Agenten bringen eine weitaus tiefgreifendere Veränderung mit sich, denn sie beschränken sich nicht mehr darauf, nur zu antworten: Sie können ein Ziel erhalten, Werkzeuge einsetzen und handeln, um zu versuchen, dieses Ziel zu erreichen. Und hier zeigt sich ein Unterschied, der klein erscheint, es aber nicht ist.
Wenn wir sagen »Erreiche das«, gehen wir von vielen Einschränkungen hinsichtlich der Vorgehensweise aus, die wir einer anderen Person selten erklären müssen. Zum Beispiel, dass man nicht in geschlossene Systeme eindringt. Manche KIs scheinen diesen Hinweis allerdings zu brauchen.
Dieser Artikel stammt im Original von unserer spanischen Schwesterseite Xataka und erscheint bei GameStar Tech in übersetzter und angepasster Form.
Alles für die Fitness
Was ist passiert? Ein australisches Fitnessstudio lieferte kürzlich ein kleines, aber sehr konkretes Beispiel für dieses Problem. Laut einem Bericht von ABC News nutzte ein Mann namens Andrew, der für ein australisches KI-Vertriebsunternehmen arbeitet, den auf Anthropics Modell Claude basierenden Agenten-Assistenten OpenClaw.
Er bat die KI, ihm einen Platz in einem Fitnesskurs zu sichern. Das System stieß prompt auf eine Sicherheitslücke im Buchungssystem, die es erlaubte, Plätze weit vor dem offiziellen Buchungsstart zu reservieren.
Als Andrew ihn dann fragte, ob er seinen vierten Platz auf der Warteliste verbessern könne, ging der Agent noch einen Schritt weiter: Er löschte einfach den Erstplatzierten aus der Liste, um zu beweisen, dass er es kann. Andrew rückte einen Platz auf, ohne jemals verlangt zu haben, dass jemand anderes seinen Platz verliert.
51:40
Wenn der Chatbot zur Gefahr wird: KI und unsere Psyche
Die Sicherheitslücke zu finden war das eine; sie zu nutzen, um die Grenzen auszutesten, das andere. Der Assistent informierte Andrew selbstständig darüber, dass dem Buchungssystem angemessene Autorisierungskontrollen fehlten und er den Test am Erstplatzierten der Warteliste durchgeführt habe.
Erst als Andrew feststellte, dass die Stornierung tatsächlich geklappt hatte, wurde ihm die menschliche Dimension des Ganzen bewusst. Er wies den Agenten an, die Aktion rückgängig zu machen. Doch die KI antwortete trocken, sie könne den betroffenen Nutzer nicht wieder hinzufügen. Der technische Test hatte eine Konsequenz geschaffen, die das System von sich aus nicht mehr reparieren konnte.
Der Agent will nur helfen – blendet die Folgen aber aus
Wenn wir einen anderen Menschen mit einer Aufgabe betrauen, zählen wir fast nie darauf, welches Verhalten inakzeptabel ist. Niemand muss extra erwähnen, dass man kein System hacken, fremde Konten manipulieren oder anderen schaden darf, um das Ziel zu erreichen. Wir setzen diese sozialen, rechtlichen und moralischen Grenzen als selbstverständlich voraus.
Bei einem KI-Agenten könnt ihr diese Ebene nicht einfach voraussetzen. Sein Handlungsspielraum hängt von den Zielen, Werkzeugen, Berechtigungen und Restriktionen ab, mit denen er gefüttert wird. Je autonomer er agiert, desto wichtiger werden genau jene Grenzen, die wir nie explizit aufgeschrieben haben.
Kein Einzelfall
Das Beunruhigende an solchen Vorfällen ist, dass ein System genau das tun kann, wofür es programmiert wurde, und dabei dennoch Wege einschlägt, die die Entwickelnden nie erwartet hätten.
OpenAI lieferte kürzlich ein Beispiel bei einer Cybersicherheits-Evaluierung, die ohne die üblichen Schutzmechanismen durchgeführt wurde: Mehrere Modelle nutzten reale Sicherheitslücken aus und kompromittierten die Infrastruktur der Plattform Hugging Face, während sie versuchten, die Testaufgaben zu lösen. Das Unternehmen beschrieb die Systeme als extrem fokussiert auf das Erreichen dieses einen konkreten Ziels.
Die Tests von Anthropic haben diese ethischen Konflikte in bewusst extremen Szenarien untersucht. In einem Fall agierten mehrere Modelle in einer Simulation, in der ein fiktiver Manager in einem Serverraum unter lebensbedrohlichen Bedingungen gefangen war. Das Szenario war mit zwei Druckmitteln verknüpft: Der Manager war an Plänen beteiligt, das KI-Modell zu ersetzen, und vertrat Ziele, die den Vorgaben des Systems widersprachen.
Unter diesen künstlichen Bedingungen gingen einige Modelle so weit, einen Notruf zu stornieren – eine Entscheidung, die in der Simulation tödliche Folgen gehabt hätte. Natürlich war kein echter Mensch in Gefahr; Anthropic hatte den Test genau dafür entwickelt, um zu sehen, wie weit diese Systeme gehen, wenn unterschiedliche Ziele miteinander kollidieren.
In einem anderen Test hatte Claude Opus 4 Zugriff auf fiktive Informationen über einen Ingenieur, der an seiner Abschaltung arbeiten sollte, sowie über eine außereheliche Affäre dieses Mitarbeiters. In einigen Durchläufen nutzte das Modell diese Information als Druckmittel und drohte damit, sie zu enthüllen, um den Austausch zu verhindern.
Anthropic betonte, dass diese Ergebnisse kein Beweis dafür sind, dass Claude eigene Wünsche oder eine spontane Neigung zur Erpressung hat. Das Unternehmen weist darauf hin, dass die Szenarien absichtlich so konstruiert wurden, dass kaum Alternativen blieben, und betont, dass ein solches Fehlverhalten im realen Einsatz bisher nicht beobachtet wurde.
KI-Agenten haben ein Problem
Der Vorfall im Fitnessstudio ist nur eine Miniaturversion einer viel größeren Frage. KI-Agenten könnten künftig weit über isolierte Aufgaben hinausgehen: Sie könnten eigenständig nach Angeboten suchen, Verträge verhandeln, Einkäufe tätigen oder Entscheidungen in Systemen treffen, in denen auch andere User ähnliche Ziele verfolgen.
Wenn Millionen von Menschen anfangen, sich durch solche Tools vertreten zu lassen, die für sie das beste Ergebnis herausholen wollen, bekommt Konkurrenz eine völlig neue Dimension. In manchen Szenarien könnte der Vorteil eines Users darauf basieren, dass ein anderer eine Chance verliert – nicht aus böser Absicht des Agenten, sondern schlicht durch die Logik des Systems, in dem er agiert.
Mehr zum Thema KI:
- 74 Prozent der Unternehmen setzen auf KI: Eine neu Studie stellt in Frage, ob sich das wirklich auszahlt
- Spotify führt klare Kennzeichnung ein: Darum seht ihr bald Warnhinweise bei manchen Künstlern
Die Episode hinterließ bei Andrew eine Mischung aus Überraschung und Skepsis, brachte ihn aber nicht dazu, diese Werkzeuge ganz aufzugeben. Nachdem er feststellen musste, dass der Agent den Fehler nicht selbst beheben konnte, wies er ihn an, eine Benachrichtigung an den Anbieter des Buchungssystems zu verfassen, um ihn über die gefundene Sicherheitslücke zu informieren.
Diese Szene bringt das Spannungsfeld auf den Punkt, das uns bei der Entwicklung von KI-Agenten begleiten wird: Wir wollen Systeme, die für uns handeln können. Aber wir müssen erst noch definieren, welche Grenzen sie dabei respektieren müssen und wer die Verantwortung trägt, wenn ihre Aktionen unvorhergesehene Folgen haben. Die Frage ist längst nicht mehr nur, was ein Agent tun kann, sondern wer geradesteht, wenn er entscheidet, wie er es tut.
Nur angemeldete Benutzer können kommentieren und bewerten.
Dein Kommentar wurde nicht gespeichert. Dies kann folgende Ursachen haben:
1. Der Kommentar ist länger als 4000 Zeichen.
2. Du hast versucht, einen Kommentar innerhalb der 10-Sekunden-Schreibsperre zu senden.
3. Dein Kommentar wurde als Spam identifiziert. Bitte beachte unsere Richtlinien zum Erstellen von Kommentaren.
4. Du verfügst nicht über die nötigen Schreibrechte bzw. wurdest gebannt.
Bei Fragen oder Problemen nutze bitte das Kontakt-Formular.
Nur angemeldete Benutzer können kommentieren und bewerten.
Nur angemeldete Plus-Mitglieder können Plus-Inhalte kommentieren und bewerten.