Ihr könnt ChatGPT, Gemini und Co. fast alles fragen, aber bei einer simplen Frage bekamt ihr immer die falsche Antwort – bis jetzt

Ich habe lange gewartet, doch KIs wissen endlich was sie können. Zumindest meistens. (Bildquelle: OpenAI | Google Gemini | GamStar Tech - Jan Stahnke)

Neben all den Diskussionen um die Werbung in ChatGPT, die Aufholjagd von Gemini und die Aufregung rund um OpenClaw habe ich mich bis vor kurzem noch gewundert, warum Large Language Models eine bestimmte Art Frage einfach nicht vernünftige beantworten können.

Sie sollen Urlaube buchen, meine Finanzen überwachen und Zugriff auf diverse meiner Daten und Portale erhalten, aber sie können mir nicht sagen, wer sie sind und was sie können? Das hat sich jetzt endlich geändert.

Hey ChatGPT, welches deiner Modelle nutze ich gerade?

So eine einfache Frage wirft ChatGPT und andere Modelle seit Jahren aus der Bahn. Im Normalfall bekommt man auf solche Fragen zwar eine Antwort, aber eine falsche. Nutzte man etwa GPT 5 und fragte nach dem aktuellen Modell, das der Bot gerade nutzt, kam oft eine Antwort wie: »Ich nutze das aktuelle Modell GPT 2.5«.

So hat Gemini beispielsweise einen »Fehler« in einem Artikel von Kollegin Ursula erkannt: Nano Banana würde es nicht geben und eher nach einem »Scherz des Autors« klingen:

Das hat mich oftmals zur Weißglut getrieben, da LLM-Entwickler sich einfach keine Mühe geben, wenn es um den Überblick ihres Angebots geht. Vor allem ChatGPT schwächelt in der Hinsicht.

Mittlerweile hat sich das zum Besseren gewendet. Wie ihr auf den Screenshots unten sehen könnt, wissen Modelle nach drei satten Jahren voller allwöchentlich neuer Funktionen endlich, welches Modell sie gerade nutzen. Wahnsinn. Seht selbst:

Doch damit nicht genug.

KIs wissen nicht nur, wer sie sind

Sie wissen auch, was sie können. Eine weitere Funktion, die mir jahrelang gefehlt hat.

Klar, ich kann diverse Blogeinträge durchsuchen und mir die Verbesserungen und Funktionen der neuen Modelle so zusammenklauben. Aber ich habe mich immer gefragt, warum ich die angeblich allwissenden LLMs nie fragen konnte, was sie mir bieten können.

Mittlerweile hat sich das tatsächlich geändert. 

OpenAI hat beispielsweise erst vor wenigen Tagen ChatGPT Codex angekündigt: Ein Software-Engineering-Agent (vorerst nur für Mac). 

Als ich ChatGPT heute nach der Funktion gefragt habe, hat mir der Bot tatsächlich eine korrekte Antwort gegeben:

Nach Jahren ohne die Möglichkeit, Infos zu neuen Funktionen abzurufen, freut mich diese Entwicklung tatsächlich sehr.

Das war vor einigen Wochen noch nicht der Fall. 

Das ist allerdings noch nicht das Ende der Geschichte, denn ganz so einfach funktioniert es nicht.

Die Antwort von Gemini zu Nano Banana, die ihr weiter oben seht, ist nur einen Tag alt. So ganz wollen die KIs mit ihren Infos also nicht herausrücken.

Das wirft eine Frage auf: 

Wann kann die KI mir wirklich gute Infos zu sich selbst geben?

Da ich nicht behaupten will, dass ich die Antwort auf diese Frage kenne, habe ich drei Vermutungen, die ich mit euch teilen will. Fangen wir mit der Vermutung an, die ich für am wenigsten wahrscheinlich halte:

1. Patches

Große neue Modelle wurden seit Ende letzten Jahres nicht angekündigt und ich bin mir sicher, dass ich noch vor wenigen Wochen einige der getesteten Modelle dieselbe Frage gestellt habe wie heute: »Hey KI, welches deiner Modelle nutze ich gerade?«.

Wieso ist es also jetzt anders? Vielleicht wurde intern an Verbesserungen gearbeitet und die Modelle wurden entsprechend angepasst, um mehr über sich selbst zu wissen. 

Das muss natürlich nicht unbedingt der perfekte Patch gewesen sein. Vielleicht ist das interne Wissen der Modelle einfach nur etwas inkonsistent.

Die nächste Option scheint mir allerdings wahrscheinlicher.

1:53:19 Der KI-Hype frisst sich selbst – Tech-Jahresrückblick 2025

2. Onlinesuche gegen internes Wissen

Es kann sein, dass der Knowledge-Cutoff erstmal dafür sorgt, dass KIs nichts über sich selbst wissen und dann durch eine Online-Suche mehr zu ihren eigenen Funktionen und Modellen erfahren.

Was ist der Knowledge-Cutoff? Eine KI wird nur mit Daten bis zu einem bestimmten Zeitpunkt trainiert. Alles, was danach passiert ist, kennt sie nicht, selbst wenn es heute als allgemein bekannt gilt. 

Das würde allerdings noch nicht erklären, warum ich Gemini erfolgreich nach Nano Banana fragen kann, während Kollegin Ursula von Gemini einen Korb bekommt, nachdem sie über Nano Banana schreibt. 

Bleibt nur der Unterschied zwischen den Prompts.

3. Attention-Dilution

Ich halte das Problem der sogenannten Attention-Dilution (Aufmerksamkeitsverwässerung) für die wahrscheinlichste Antwort auf unser Problem.

Attention-Dilution beschreibt das Problem, dass LLMs ungenauer und fehleranfälliger werden, je länger der Prompt ist (via Medium).

Übrigens: Bei ChatGPT gibt es momentan mehr Änderungen als nur am Wissen über sich selbst.

• Ausgerechnet die 500-Milliarden-Dollar-Bewertung zwingt OpenAI jetzt zum Kurswechsel: Weniger Forschung, mehr ChatGPT

Da Kollegin Ursula, von der der ursprüngliche Prompt stammt, einen sehr langen Text verwendet hat, um die Aufgabe für Gemini zu definieren, habe ich mich auf einen einzigen Satz beschränkt.

Das könnte tatsächlich der Grund sein, warum meine Frage nach aktuellen Funktionen ein gutes Ergebnis nach sich gezogen hat, während Ursulas Prompt Probleme machte. Mit Sicherheit kann ich das allerdings nicht sagen.

Jetzt seid ihr dran: Wenn ihr wisst, woran es liegt, oder ihr andere Vermutungen habt, verratet es mir gerne in den Kommentaren.