Bestanden mit 3+: ChatGPT nimmt erfolgreich an Jura-Prüfung teil

KI und ChatGPT sind und bleiben in aller Munde. Nahezu täglich finden sich neue Anwendungsfelder für die KI von OpenAI. Deren neueste Errungenschaft: ChatGPT besteht die Prüfung der Jura-Universität Minnesota - wenn auch nur knapp.

Denn während sich ChatGPT mit gut formulierten Texten durch die Prüfung retten konnte, sorgten vor allem schlechte Mathe-Ergebnisse dafür, dass es am Ende nur für ein mittelmäßiges Ergebnis reichte.

ChatGPT hat eine Mathe-Schwäche

Jonathan Choi, Professor an der University of Minnesota Law School, hatte die Idee für das Experiment. Ziel des Projektes war es, herauszufinden, wie gut sich ChatGPT als Lerntool für angehende Juristen eignen könnte.

Dafür gab er dem KI-Sprachmodell denselben Test, den auch die Studenten bestehen mussten. Aufgegliedert war dieser in 95 Multiple-Choice-Fragen und zwölf Textaufgaben. Anschließend wurde der Test unter die Testergebnisse der anderen Studenten gemischt und den Korrektoren übergeben. 

Mehr zum Thema

Was ist ChatGPT? So funktioniert das mächtige KI-Tool

von Duy Linh Dinh

Der Bot erhielt für seine Prüfung eine Gesamtnote von C+, was in Deutschland der Schulnote 2,7 entspricht. Das Ergebnis reichte aus, um die Prüfung zu bestehen. Allerdings reiht sich ChatGPT damit eher unter den schlechteren Studenten ein. Vor allem Multiple-Choice-Fragen aus dem Themenfeld der Mathematik schienen der KI starke Schwierigkeiten zu bereiten. 

Doch auch bei den Textaufgaben konnte der Bot nicht durchgehend glänzen. Die Aufsätze, die ChatGPT verfasst hatte, waren zwar gut artikuliert und aufgebaut. Doch die KI hatte Schwierigkeiten, offene Fragen zu beantworten, Probleme zu identifizieren und schweifte oft vom Thema ab.

Eine Eigenschaft von OpenAIs Sprachmodell ist die Angewohnheit, Dinge ausführlich zu erklären, obwohl nicht danach gefragt wurde. ChatGPT lieferte in der Prüfung oft zuerst die korrekte Antwort, nur um dann mit den nächsten Absätzen komplett an der Aufgabenstellung vorbeizuschwafeln.

Wie der Bot Sätze formulierte und sich dabei häufig wiederholte, war so markant, dass zwei der drei Korrektoren die künstliche Natur des Studenten erkannten. 

Link zum Twitter-Inhalt

Für Jonathan Choi zeigte sich ChatGPT im Test nicht als besonders guter Jurastudent. Jedoch kann er sich vorstellen, dass derartige Sprachmodelle mit mehr menschlichem Input ein nützliches Lernwerkzeug für die Jurastudenten werden können. 

Auch für den Alltag kann der Bot als Hilfsmittel verwendet werden. Wir zeigen euch 14 Wege, wie man ChatGPT kreativ nutzen kann:

Macht euer Leben leichter mit diesen 14 Wegen ChatGPT im Alltag zu nutzen

Unsere Frage an die Studenten und Schüler unserer Community: Habt ihr den Bot schon einmal als Lernwerkzeug für die Schule oder Uni verwendet? Hat es euch geholfen oder musstet ihr so oft nachhaken und prüfen, dass es am Ende mehr Arbeit bereitet hat? Schreibt es uns in die Kommentare!