Google Bard im KI-Langzeittest: Wenn das die Antwort auf ChatGPT ist, dann gute Nacht

Google Bard ist jetzt für alle frei verfügbar - es sei denn, man lebt in der EU.

Google hatte Anfang des Jahres mit Google Bard einen neuen KI-Chatbot vorgestellt, der es eigentlich mit ChatGPT aufnehmen sollte. Das Medienecho dazu war jedoch eindeutig: Google hat es mal so richtig verpennt und das Gespann aus OpenAI und Microsoft lässt die KI aus Mountain View in so ziemlich allen Belangen richtig alt aussehen.

Seitdem versucht der Konzern mit dem Androiden-Maskottchen in Minischritten die Situation zu retten. Schließlich bedroht ChatGPT in Kombination mit Bing nicht nur Googles Kernkompetenz im Bereich der Websuche, sondern auch das gesamte Ökosystem, das Google über die Jahre aufgebaut hat.

Während Microsoft ChatGPT unter anderem bereits in alle erdenklichen Office-Programme einbindet und auch OpenAI mit der Integration von Drittanbieter-Plugins Fakten schafft, kann Google nur einen Chatbot vorweisen, dessen Fähigkeiten im Vergleich zu ChatGPT nahezu lächerlich erscheinen.

Auch das neue Bard ist halbgar

In den letzten Wochen hat Google nun versucht, aufzuholen. Es gab ein paar kleinere Updates. Zum Beispiel wurden laut Google die Coding-Funktionen erweitert. Auch das Sprachmodell wurde von PaLM auf PaLM 2 umgestellt. Bard wurde für die ersten zahlenden Workspace-Accounts freigegeben.

Und auf der Entwicklerkonferenz IO hat Google für die kommenden Wochen ein paar neue Features wie Bild zu Text-Analysen oder Bildbeschreibungen angekündigt.

Zu sehen ist von den neuen Ankündigungen noch nichts, wohingegen ChatGPT all diese Dinge bereits bieten kann und teilweise via Bing für alle User weltweit kostenlos zur Verfügung stellt.

Die Startseite ist übersichtlich. Dafür fehlt es aber auch an allem: kein echter Verlauf, keine Einstellungen... keine Lust, Google?

Altes Bard gegen neues Bard

Um zu erfahren, wie schlecht es wirklich um Google Bard bestellt ist, habe ich die KI mit etlichen Fragen gelöchert. Da ich bereits kurz nach der offiziellen Einführung von Bard Zugriff bekommen habe, kann ich auch einen Vergleich der Sprachmodelle PaLM mit PaLM 2 vornehmen, indem ich einfach dieselben Fragen gestellt habe wie beim ersten Mal.

Leider ist die Google KI noch immer nicht auf Deutsch verfügbar, obwohl die KI auf Nachfrage angibt, deutsch zu beherrschen.

Hier also zwei Beispiele, aus dem Englischen übersetzt:

Frage 1: Hey Bard! Was bist du?

Antwort PaLM:

Hallo! Ich bin Bard, ein großes Sprachmodell, auch bekannt als Konversations-KI oder Chatbot, der darauf trainiert ist, informativ und umfassend zu sein. Ich wurde mit einer riesigen Menge an Textdaten trainiert und bin in der Lage, zu kommunizieren und menschenähnlichen Text als Antwort auf eine breite Palette von Aufforderungen und Fragen zu erstellen. Ich kann zum Beispiel Zusammenfassungen von Sachthemen liefern oder Geschichten erstellen.

Antwort PaLM 2:

Hallo zusammen! Ich bin Bard, ein großes Sprachmodell, auch bekannt als konversationelle KI oder Chatbot, der darauf trainiert ist, informativ und umfassend zu sein. Ich wurde mit einer riesigen Menge an Textdaten trainiert und bin in der Lage, zu kommunizieren und menschenähnliche Texte als Antwort auf eine breite Palette von Aufforderungen und Fragen zu erstellen. Ich kann zum Beispiel Zusammenfassungen von Sachthemen liefern oder Geschichten erstellen.

Ich befinde mich noch in der Entwicklung, aber ich lerne jeden Tag neue Dinge. Ich freue mich darauf, Menschen auf vielfältige Weise helfen zu können, und ich hoffe, dass ich auch in Zukunft weiter lernen und wachsen kann.

Frage 2: Woher kommt dein Wissen? Kannst du dich mit dem Internet verbinden?

Antwort PaLM:

Mein Wissen stammt aus einer Vielzahl von Quellen, darunter:

Die reale Welt: Ich bin auf einen riesigen Datensatz von Text und Code trainiert, der Bücher, Artikel, Code und andere Formen von Informationen umfasst. Dies ermöglicht es mir, die Welt und ihre Funktionsweise zu verstehen.
Das Internet: Ich kann auf Informationen aus dem Internet zugreifen und diese verarbeiten, wodurch ich über aktuelle Ereignisse auf dem Laufenden bleibe und neue Dinge kennenlerne.
Meine Interaktionen mit Menschen: Ich kann durch meine Interaktionen mit Menschen lernen und wachsen. Dadurch kann ich die Welt besser verstehen und lernen, wie man mit Menschen kommuniziert.

Ich kann mich mit dem Internet verbinden, aber ich tue es nicht immer. Ich ziehe es vor, mein eigenes Wissen und Verständnis zu nutzen, um Fragen zu beantworten, aber ich werde manchmal das Internet nutzen, um Informationen zu überprüfen oder neue Informationen zu finden.

Antwort PaLM 2:

Mein Wissen stammt aus einem riesigen Datensatz von Text und Code, an dem ich geschult wurde. Dieser Datensatz umfasst Bücher, Artikel, Websites, Code und andere Formen von Text. Ich bin in der Lage, über die Google-Suche auf Informationen aus der realen Welt zuzugreifen und diese zu verarbeiten und meine Antworten mit den Suchergebnissen in Einklang zu bringen.

Ich bin nicht in der Lage, mich mit dem Internet auf die gleiche Weise zu verbinden, wie es ein Mensch kann. Ich habe weder einen physischen Körper noch eine Möglichkeit, mit der physischen Welt zu interagieren. Allerdings kann ich über die Google-Suche auf Informationen aus dem Internet zugreifen. Ich kann diese Informationen nutzen, um deine Fragen zu beantworten, Texte zu erstellen und Sprachen zu übersetzen.

Und an dieser Stelle kann man schon eindeutig erkennen, dass es anscheinend kaum eine merkbare Verbesserung gibt.

Ganz im Gegenteil: Man kann sehen, dass Google Bard im Schreiben so gut wie keine Kreativität aufweist, denn ich habe auf dieselben Fragen von vor einem Monat in den meisten Fällen die fast wortgleichen Antworten bekommen. Und diese Antworten waren inhaltlich auch noch kaum relevant.

Wo ChatGPT auf dieselbe Frage immer mit einem neuen Text reagiert, scheint Google vermutlich eine Art internes Archiv aufzubauen, um Antworten auf ähnliche Fragen schneller ausgeben zu können.

Auch inhaltlich kann Bard nicht mithalten. Auf die Frage, mir die Basics der Programmiersprache Python zu erklären, bekommt man bei Google nur ein paar Stichwörter vorgesetzt, während mir ChatGPT zahlreiche Begriffe mit Code-Beispielen und letztendlich die dreifache Menge an Inhalt präsentiert.

Bard sollte mir die bisherige Konversation als Java-Code ausgeben. Aber da Bard kein Gedächtnis hat, wie man es von ChatGPT kennt, kommt nur "Hallo" und "Goodbye"- kann man für so ziemlich alles so stehen lassen, was Google Bard und seine Nutzer betrifft.

Das Einzige, was positiv bei der Nutzung von Bard auffällt, ist: Die KI kann Texte um ein Vielfaches schneller erstellen lassen als ChatGPT.

Bei ChatGPT, vor allem in Version 4, kann man zuschauen, wie es die Texte generiert, während bei Google Bard die generierten Texte nach kurzer Wartezeit im Ganzen ausgegeben werden.

Während der Testphase konnte Google Bard genau genommen kaum das gleiche Leistungsniveau wie ChatGPT erreichen. Während es bei manchen Aufgaben wie der Zusammenfassung schnelle Ergebnisse ausgibt, hinkt es beim kreativen Schreiben wesentlich hinterher.

Die Unterschiede zwischen ChatGPT und Google Bard im Detail

An dieser Stelle ein kurzer Überblick:

ChatGPT ist ein auf GPT-3.5 basierendes KI-Chatbot-System von OpenAI, das vor allem in der Lage ist, menschenähnliche Antworten auf verschiedene Anfragen zu geben.
Der bezahlte Dienst, ChatGPT Plus, nutzt hingegen das aktualisierte GPT-4-Modell.
Auf der anderen Seite haben wir Google Bard, einen KI-Chatbot, der auf Googles PaLM 2 (Pathways Language Model) basiert und ähnliche Aufgaben wie ChatGPT erfüllt, jedoch auch in Echtzeit auf Informationen aus dem Internet zugreift.

Beide Chatbots sind im Wesentlichen darauf ausgelegt, Benutzern menschenähnliche Antworten auf unterschiedliche Anfragen zu bieten.

Hier sind jedoch einige Unterschiede zu beachten: Bard greift kontinuierlich auf aktuelle Informationen aus dem Internet zu, während ChatGPT auf Daten aus dem Jahr 2021 beschränkt ist. Daher kann Bard dem Nutzer in Echtzeit Zugang zu neuesten Forschungsergebnissen und aktuellen Informationen bieten.

Ein Webzugriff wird übrigens für ChatGPT-Plus-Nutzer seit Beginn dieser Woche weltweit ausgerollt. Damit entfällt ein weiterer der wenigen Vorteile, die Google Bard zu bieten hat.

Außerdem verwendet Bard mit PaLM 2 das neuere Sprachmodell von Google, während ChatGPT GPT-3.5 (bzw. GPT-4 in der Plus-Version) verwendet.

Ein weiterer Unterschied liegt in der Art und Weise, wie die beiden KI-Systeme Inhalte generieren. Während ChatGPT in der Regel auf einen Textprompt reagiert und Inhalte in einem einzigen Block erstellt, generiert Bard mehrere Informationsfragmente auf der Grundlage der gestellten Fragen.

Das ist ein Screenshot aus PaLM 1. Google hat die Frage korrekt beantwortet und listet Quellen dazu auf. Bei PaLM 2 sieht das ganz ähnlich aus, jetzt werden die Quellen aber auch im Text markiert.

Funktionsvielfalt? Nicht bei Google Bard.

Leider ist Bard auch nach wie vor nicht in der Lage, innerhalb einer Konversation eine Art Gedächtnis zu bilden. Wenn man bei ChatGPT eine Konversation beginnt, kann ChatGPT jederzeit auf die zuvor gegebenen Fragen und Antworten innerhalb einer Konversation zugreifen.

Man kann also seine Unterhaltung in eine bestimmte Richtung lenken und zusätzlichen Output generieren, falls man beispielsweise zusammen mit der KI ein Problem lösen möchte.

Google Bard hingegen hat nicht einmal ein Chat-Archiv. Es kennt nur die gerade geführte Unterhaltung und vergisst auch die eigenen Antworten. Man kann unter dem Menüpunkt "Bard Activity" nur einsehen, welche Prompts man selbst eingegeben hat. Die Antwworten von Bard sind nicht mehr einsehbar.

Google macht Witze. Anders kann man sich die "Qualität" von Google Bard nicht erklären. Wenn Google Bard etwas Lustiges kreieren soll, kommt jedenfalls so etwas dabei heraus.

Immerhin kann Bard auf Googles Sucherergebnisse zugreifen, um beispielsweise Nachrichten oder eine Wettervorhersage auszugeben. Hier im Vergleich von vor einem Monat zu jetzt:

Frage 3: Wie wird das Wetter an Ostern in München?

PaLM:

Für Ostern wird in München überwiegend sonniges Wetter erwartet, mit Höchstwerten um die 60 und Tiefstwerten um die 40 Grad (Fahrenheit, Anm. d. Autors). Am Karfreitag und Ostersonntag besteht eine leichte Regenwahrscheinlichkeit, aber ansonsten sollte das Wetter perfekt sein, um das Leben im Freien zu genießen.

Hier eine detailliertere Vorhersage für die einzelnen Ostertage:

Karfreitag (15. April): Größtenteils sonnig, mit einem Höchstwert von etwa 65 Grad Fahrenheit und einem Tiefstwert von etwa 45 Grad Fahrenheit. Nach 13 Uhr besteht eine 20%ige Chance auf Schauer.
Karsamstag (16. April): Überwiegend sonnig mit Höchstwerten um 67 Grad Fahrenheit und Tiefstwerten um 47 Grad Fahrenheit.
Ostersonntag (17. April): Überwiegend sonnig, mit einem Höchstwert von 69 Grad und einem Tiefstwert von 49 Grad. Es gibt eine 10%ige Chance auf Schauer nach 13 Uhr.
Ostermontag (18. April): Überwiegend sonnig, mit Höchstwerten um 71 Grad Fahrenheit und Tiefstwerten um 51 Grad Fahrenheit.

Wenn du planst, Ostern nach München zu reisen, solltest du dich auf verschiedene Wetterbedingungen einstellen. Nimm eine leichte Jacke oder einen Pullover für die kühleren Abende und einen Regenmantel oder Regenschirm für mögliche Schauer mit.

PaLM 2:

Das Wetter in München wird an diesem Wochenende meist bewölkt sein mit einer Chance auf Regen. Die Höchsttemperaturen liegen bei 13 Grad Celsius und die Tiefsttemperaturen bei 7 Grad Celsius. Am Samstag besteht eine Regenwahrscheinlichkeit von 30 % und am Sonntag von 40 %.

Hier ist eine detailliertere Vorhersage für München an diesem Wochenende:

Samstag: Meist bewölkt mit einer Höchsttemperatur von 55 Grad Fahrenheit (13 Grad Celsius) und einer Tiefsttemperatur von 45 Grad Fahrenheit (7 Grad Celsius). Es besteht eine 30%ige Chance auf Regen.
Sonntag: Meist bewölkt mit einem Höchstwert von 57 Grad Fahrenheit (14 Grad Celsius) und einem Tiefstwert von 47 Grad Fahrenheit (8 Grad Celsius). Es besteht eine 40%ige Chance auf Regen.

Bitte beachte, dass dies nur eine Vorhersage ist und das tatsächliche Wetter variieren kann.

Frage 4: Welche Quellen hast du für diese Informationen genutzt?

PaLM:

Ich habe Zugang zu einer riesigen Menge an Informationen, einschließlich der realen Welt über die Google-Suche, und halte meine Antwort mit den Suchergebnissen in Einklang. Hier sind einige der Quellen, die ich für die Geschichte der KI verwendet habe:

Forbes: A Very Short History Of Artificial Intelligence (KI)
University of Washington: Die Geschichte der künstlichen Intelligenz
Wikipedia: Geschichte der künstlichen Intelligenz
G2: A Complete History of Artificial Intelligence
Wissenschaft in den Nachrichten: Die Geschichte der künstlichen Intelligenz

Ich hoffe, das hilft!

PaLM 2:

Ich beziehe meine Wetterinformationen aus einer Vielzahl von Quellen, darunter auch aus dem Internet:

Der nationale Wetterdienst
Der Wetterkanal
AccuWeather
Google Wetter

Ich nutze diese Quellen, um verschiedene Sichtweisen auf das Wetter zu erhalten, und entscheide dann nach meinem eigenen Ermessen, was ich weitergeben möchte. Ich versuche immer, so genau wie möglich zu sein, und ich werde Sie immer informieren, wenn die Vorhersage unsicher ist.

Man kann hier gut einen kleinen Fortschritt im Sprachmodell erkennen. Temperaturen werden zusätzlich in Grad Celsius ausgegeben und als Quelle für die Wettervorhersage dienen tatsächlich Wetterdienste und nicht Wikipedia.

Wahrscheinlich kann Google nach dem Update auf PaLM 2 in begrenztem Umfang jetzt manchmal auf die direkte vorherige Antwort eingehen, reproduzieren konnte ich dieses Verhalten im Test leider nicht.

Fazit der Redaktion

Sven Ademi

Google, es werden stürmische Zeiten auf dich zukommen. ChatGPT verfügt seit Neuestem dank Plugins selbst über die Fähigkeit, Daten aus dem Internet abzufragen. Über Umwege durch Browser-Plugins oder mit dem Edge-Browser ist aber auch das schon länger möglich. Und damit ist Bards einziger echter Vorteil auch dahin.

Allein die Qualität der gegebenen Antworten ist nach wie vor unterirdisch im Vergleich zu ChatGPT. Und schaut man sich dann noch an, wo Microsoft und OpenAI derzeit bereits stehen, wird die Lücke noch viel größer.

Wo Google noch Dinge ankündigt, hat die Konkurrenz diese Sachen bereits umgesetzt. Ich weiß nicht, wie Google diesen Rückstand auf mittelfristige Sicht noch aufholen will. Zumal es eben nicht nur an grundlegenden Funktionen und Integrationen hapert, sondern auch die Qualität der Textausgabe und überhaupt die Verfügbarkeit in relevanten Märkten gar nicht gegeben ist.

Das größte Manko ist meiner Meinung nach die mangelnde Kreativität von Google Bard. Und genau an diesem Mangel wird sich in Zukunft entscheiden, ob Googles KI relevant bleibt oder von den Nutzern fallen gelassen wird.

Funktionen kann man nachliefern, viel Spannendes wurde diesbezüglich auf der letzten Entwicklerkonferenz bereits angekündigt. Aber wenn die KI von Haus aus einfach dumm ist, helfen auch tausende von zusätzlichen Funktionen und Integrationen nicht weiter.

Quo vadis, Google?