ChatGPT wird immer an 2 einfachen Aufgaben scheitern – Wissenschaftler erklärt den Grund

Ja, ChatGPT kann wirklich keine Uhren lesen – und das ist nur eines von Dingen, welche die KI nicht kann.

ChatGPT kann Texte schreiben, programmieren und fotorealistische Aufnahmen generieren – aber bei zwei verblüffend einfachen Aufgaben versagt die generative KI regelmäßig.

Ihr könnt mit ChatGPT neuerdings Bilder generieren, die dem Stil den japanischen Animestudios Ghibli täuschend ähnlich sehen. Aber hieran scheitert der Chatbot fast immer:

1. Generiere eine Gruppe von Uhren, die 12.03 Uhr zeigt.
2. Generiere ein Bild einer Person, die mit der linken Hand schreibt.

Warum passiert das? Der renommierte Philosoph und Kognitionswissenschaftler Ned Block erklärt: Die Fehler sind kein Zufall oder eine kleine Panne, sondern tief in der Funktionsweise von KI-Modellen verankert.

ChatGPT bevorzugt Rechtshänder und die Uhrzeit 10.10 Uhr

Im Interview mit dem YouTuber Robinson Erhardt erläutert der Wissenschaftler, dass ChatGPT bevorzugt das Bild einer Uhr generiert, die 10 nach 10 zeigt. Außerdem habe Block die KI nur unter größten Anstrengungen dazu gebracht, ein Bild von einem Linkshänder zu generieren.

Link zum YouTube-Inhalt

Der Grund dafür liegt im Training der Large-Language-Models. Die werden auf riesigen Datenmengen trainiert und lernen aus den Millionen von Beispielen, Muster zu erkennen.

Die reproduzieren sie, wenn ihr eine Eingabe macht.

Und genau hier liegt das Problem mit den Uhren und den Linkshändern:

• Uhren auf Werbebildern zeigen fast immer 10 nach 10, weil das symmetrisch und ästhetisch ansprechend aussieht. Also lernt die KI: Uhren sehen so aus.
• Die meisten Menschen sind Rechtshänder. Also findet die KI viel mehr Bilder von schreibenden Rechtshändern als Linkshändern.

KI versteht die Bedeutung von Uhrzeiten oder Linkshändigkeit nicht, sie zählt nur Wahrscheinlichkeiten. Deshalb ist es schwer, sie zu überreden, eine Ausnahme zu machen.

Acer Aspire 15 (A15-41M-R7ZM)

15,6" Full-HD, IPS, AMD Ryzen 5-8640HS, 16GB RAM, 512GB SSD, Linux 

499 €

zum Shop

Darum ist das wichtig für uns

Na gut, dann generiert ihr eben keine Bilder von Uhren, die 12.03 Uhr zeigen, aber das grundlegende Problem liegt tiefer.

So wie die derzeitigen generativen KI-Modelle angelegt sind, können sie nur so gut sein wie die Daten, mit denen sie trainiert wurden. Das führt zu sogenannten Biases, also Vorurteilen, die schon in den Trainingsdaten stecken. Eine KI könnte etwa sexistische Klischees reproduzieren.

Ein denkbares Beispiel wäre Waschmittelwerbung. Hier werden eher Frauen gezeigt. Das kann eine KI, die auf solchen Bildern trainiert wurde, dazu veranlassen, Frauen mit Hausarbeit zu verknüpfen.

Dieses Problem gehen Firmen wie OpenAI mit nachträglicher Verbesserung der Ausgaben an, etwa durch Reinforcment Learning. Hier wird die Ausgabe der KI bewertet und dem System gezeigt, dass etwa klischeebehaftete Ausgaben in Zukunft verhindert.

Die Bevorzugung von Rechtshändern und der Uhrzeit 10:10 Uhr ist damit aber nicht wegzukriegen und das, obwohl das Problem laut Block bekannt ist:

Das hat folgende Gründe:

• Es ist zu kompliziert, einen Bias zu beheben: Für eine Analoguhr etwa gibt es mindestens 720 Möglichkeiten, die Zeit darzustellen, was einfach zu viele sind, um die KI dahingehend zu verfeinern.
• Manche Biases sind vielleicht nicht relevant genug, um sie zu beheben.

Passend zum Thema

»Künstliche Intelligenz ist die neue Elektrizität« - Wir busten mit einem Experten 5 Mythen zu KI

von Maxe Schwind

Tatsache bleibt, dass wir durch die Architektur der neuronalen Netze, auf denen heutige generative KI basiert, nicht wissen können, welche schwer nachvollziehbaren Muster KI-Modelle während ihres Trainings gelernt haben. So werden die KI-Modelle, die wir heute benutzen, immer viele kleine Vorurteile reproduzieren, derer wir uns vielleicht gar nicht bewusst sind.

Oder hättet ihr gedacht, dass ChatGPT Rechtshänder um 10.10 Uhr am liebsten mag?