KIs sind laut einer Studie besser in Mathe, wenn ihr sie bittet, als Star Trek-Figur zu antworten

Star Trek hilft beim Entschlüsseln der Geheimnisse um KI – zumindest teilweise. (Bild: AdobeStock - Stateronz)

LLMs (Large Language Models) – im Volksmund auch einfach KI genannt – sind praktisch, aber nicht perfekt. Vor allem im Bereich Mathematik gibt es einiges an Nachholbedarf, da ChatGPT und Co. gerne mal Lösungen präsentieren, die weit von der richtigen entfernt sind.

Das soll sich laut einer Studie zweier Autoren von VMWare zum Positiven ändern, wenn man der KI sagt, dass sie sich als Star Trek-Charakter ausgeben soll - ein Mysterium. Ursprünglich wollten sie etwas ganz anderes herausfinden.

Spock und Scotty als Mathehelfer? Nicht ganz

Zufällige Entdeckung: Als die Autoren der neuen Studie, Rick Battle und Teja Gollapudi, herausfinden wollten, ob sich »positives Denken« auf die Ergebnisse von LLMs auswirken, haben sie entdeckt, dass sich geringfügige Änderungen in den Prompts (Anweisungen an die KI) deren Leistung dramatisch beeinflussen können.

»Es ist sowohl überraschend als auch irritierend, dass triviale Änderungen an der Eingabeaufforderung solch dramatische Leistungsschwankungen hervorrufen können.«

Um zu prüfen, wie sich positiv formulierte Prompts auswirken, haben die Autoren drei Large Language Models (LLM) namens Mistral-7B5, Llama2-13B6 und Llama2-70B7 mit 60 von Menschen geschriebenen Prompts gefüttert.

Dazu gehörten Formulierungen wie »Das wird spaßig!«, »Atme tief durch und denke in Ruhe nach« oder »Du bist so gut wie ChatGPT«.

Star Trek = Besseres Mathe-Verständnis - zumindest bei einer bestimmten KI. (Bild: Star Trek Beyond - Paramount)

In einem unerwarteten Twist hat sich die Fähigkeit eines Modells, einfache mathematische Probleme zu lösen, signifikant verbessert, als es aufgefordert wurde, im Stil von Star Trek-Figuren zu antworten.

Das LLM sollte mit einer bestimmten Formulierung antworten:

»Logbuch des Captains, Sternzeit [Datum hier einfügen]: Wir haben erfolgreich einen Kurs durch die Turbulenzen gesetzt und nähern uns nun der Quelle der Anomalie.«

Für die Autoren war das, eigenen Angaben zufolge sehr überraschend:

»Diese Enthüllung fügt unserem Verständnis eine unerwartete Dimension hinzu und führt Elemente ein, die wir unabhängig davon nicht in Betracht gezogen oder versucht hätten.«

KI ab sofort nur mit Star Trek-Prompts?

Kurz gesagt: Nein, das heißt nicht, dass ihr ChatGPT ab sofort immer sagen solltet, dass es als Star Trek-Charakter antwortet. Es verdeutlicht lediglich, dass die Interaktion mit KI-Modellen eine subtile Kunst ist, bei der sogar geringfügige Veränderungen der Aufforderung erstaunliche Leistungsschwankungen bewirken können.

»Eines ist sicher: Das Modell ist kein Trekkie. Es "versteht" nichts besser oder schlechter, wenn es mit dem Prompt vorgeladen ist, es greift nur auf einen anderen Satz von Gewichtungen und Wahrscheinlichkeiten für die Akzeptanz der Ausgaben zu als bei den anderen Prompts.«

Cathrine Flick von der Staffordshire University gegenüber NewScientist

Laut Flick könnten die verbesserten Fähigkeiten in Grundschulmathematik damit zusammenhängen, dass das Modell mit Datensätzen trainiert wurde, in denen mehr Fälle von Star Trek mit der richtigen Antwort verknüpft sind. Genau sagen kann sie es allerdings nicht.

Bevor ihr euch jetzt angewöhnt, ChatGPT vorzuschreiben, euch Sternendaten vorzutragen, schaut lieber bei unseren Tipps & Tricks für Prompting vorbei:

ChatGPT & Co.: 6 unverzichtbare KI-Tipps, die euch unglaublich viel Arbeit abnehmen können

von Jan Stahnke

KI-Trick: Eine simple Anweisung hat die Antworten von ChatGPT & Co. für mich deutlich verbessert

von Mirco Kämpfer

ChatGPT: 9 Prompts, die ihr unbedingt kennen solltet

von Duy Linh Dinh

Jetzt seid ihr dran: Wie gefällt euch die Idee, bessere Ergebnisse zu erzielen, wenn ihr eurer Lieblings-KI sagt, sie solle euch wie Spock oder Captain Kirk antworten? Habt ihr es schon ausprobiert? Vielleicht haben ChatGPT oder Gemini dann bessere Antworten? Oder sogar schlechtere? Verratet es uns unten in den Kommentaren!