KI statt neue Forschung: Dutzende wissenschaftliche Texte wurden vermutlich von ChatGPT und nicht von Menschen verfasst

Eigentlich soll uns die KI im Alltag unterstützen - in diesem Fall macht sie unser Leben aber eher schwer. (Symbolbild, Quelle: Adobe Stock - ipopba)

In den vergangenen Wochen gab es eine rege Diskussion über den Einsatz von KIs bei wissenschaftlichen Studien. Auch das Magazin 404Media berichtete am 18. März 2024 über fragwürdige ChatGPT-Phrasen bei renommierteren Publishern.

Natürlich sollen künstliche Intelligenzen unseren Alltag erleichtern – doch welchen Schaden richten sie an, wenn sie offenkundig ungeprüft in wissenschaftlichen Arbeiten und Studien eingesetzt werden? Eine Spurensuche.

Warum KI-generierte Texte in Studien ein Problem sind

Künstliche Intelligenzen sind größtenteils dazu entwickelt worden, unseren Alltag zu unterstützen. ChatGPT kann uns beispielsweise E-Mail-Texte verfassen. Allerdings gibt es auch die Möglichkeit der KI folgende Aufgabe zu geben: Schreibe mir eine wissenschaftliche Studie über Regenwürmer.

Die KI bedient sich dann aus bestehenden Quellen aus dem Internet oder ihrer erlernten Datenbank – sie kann also kein neues Wissen im klassischen Forschungs-Sinne generieren oder eigene Forschung betreiben. Die KI gibt also nur bereits bestehendes oder erlerntes Wissen wieder.

Mit anderen Worten ist es fremdes, geklautes Wissen und kann potentiell Fehler enthalten.

Laut dem Magazin 404Media gehen auf Twitter zu diesem Thema aktuell mehrere X-Postings (ehemals Twitter) viral, die diesen Zustand kritisieren:

Link zum Twitter-Inhalt

So schreibt die Verfasserin dieses Posts:

Wir haben es ebenfalls getestet. Bei Google Scholar bekommen wir rund 188 Ergebnisse, die den Satz As of my last knowledge update beinhalten. Das ist eine typische ChatGPT-Phrase, die dem Nutzer klar machen soll, wo sich die Wissensgrenze der KI befindet.

Denn: ChatGPT verwendete lange Zeit einen festgelegten Offline-Wissenspool mit zeitlichem Rahmen und wurde erst später direkt mit dem Internet verbunden.

Wichtig: Wir konnten bei der entsprechenden Studienzahl zeitlich nicht überprüfen, ob es sich tatsächlich um generierte Inhalte handelt. Allerdings finden sich allein bei Google Scholar über 170 Studien, die mit der klassischen KI-Phrase nach 2020 publiziert wurden.

Man kann also mit einer hohen Wahrscheinlichkeit davon ausgehen, dass zumindest Teilabschnitte mit den entsprechenden Formulierungen KI-unterstützt generiert wurden.

GameStar PC Oster Edition Full-HD

Schnäppchen-PC für maximale Details und hohe FPS

RX 7600 XT, Ryzen 7 5700X3D, 16 GB DDR4, 1000 GB SSD

• Gaming-CPU mit 3D-V-Cache™-Technologie
• Zukunftssicher mit 16 GB VRAM
• FSR 3-Support

• Nicht für WQHD geeignet

1099 €

zum Shop

Als Einschränkung gilt dabei: Einige Studien handeln selbst über KI und eben jene Formulierungshilfen. Auf der anderen Seite kann auch vermutet werden, dass die Dunkelziffer deutlich höher liegen wird. Die entsprechende KI-Phrasen-Spur kann natürlich nachträglich verwischt werden.

Die Mühe scheinen sich viele Autoren wie Publizisten allerdings nicht einmal zu machen. Ein weiteres Twitter-Beispiel führte 404Media hiermit auf:

Link zum Twitter-Inhalt

Hier ist eine mögliche Einleitung zu deinem Thema steht hier als KI-Satz sogar direkt am Anfang der veröffentlichten Studie.

Das Problem: Laut 404Media handelt es sich oft um kleinere Paper Mills, also Zeitschriften mit niedrigem redaktionellem Standard. Dort wird teilweise gegen Geld eine schnelle Publikation versprochen und der Inhalt wenig bis gar nicht geprüft.

Aber auch große Magazine wie das renommierte Nature kämpfen gegen die Flut an Schein-Studien. Laut ihren Aussagen wurden allein 2023 etwa 10.000 Studien zurückgezogen oder abgewiesen.

Weitere Science-Artikel:

Nivida simuliert gerade unsere Erde - nicht für neue Games, sondern für verbesserte Wetterberichte

von Kevin Schmitz

Hat der Todesstern aus Star Wars genug Energie, um unsere Erde zu zerstören? Mit einer Formel kann man die benötigte Power errechnen

von Kevin Schmitz

So könnt ihr eine Studie mit drei einfachen Tricks überprüfen

Natürlich sind KI-Phrasen nicht der einzige Hinweis auf eine fehlerhafte Studie. Falls ihr genaue Quellen für eure eigene wissenschaftliche Arbeit, ein Referat oder ähnliches braucht oder nicht sicher seid, ob ihr dem Geschriebenen einer Studie vertrauen könnt, gibt es drei einfache Tricks:

Trick 1: Sample Size prüfen

Sample Size meint die Anzahl an Studienteilnehmer. Je mehr Patienten beispielsweise an einer klinischen Prüfung teilgenommen haben, desto akkurater lässt sich ein Ergebnis festlegen. Meist lässt sich diese Zahl im Abschnitt der Ergebnisse ablesen.

Wenn ihr also in den Ergebnissen einer Studie lest, dass lediglich 8 Patienten einen neuen Inhalator getestet haben, ist die Aussagekraft logischerweise niedriger als bei einer Sample Size von 400 oder mehr.

Trick 2: Wie hoch ist der Impact-Faktor des publizierenden Mediums?

Wichtig: Der Impact-Faktor (IF) ist kein direktes Qualitätsmerkmal. Die Zahl sagt aus, wie oft die Artikel und Publikationen eines Mediums in anderen wissenschaftlichen Publikationen pro Jahr zitiert werden.

In der Praxis wird der IF allerdings oft von Regierungen, Bibliotheken oder Hochschulen zur Einschätzung des Mediums verwendet. In der Regel reicht es, wenn ihr zum Beispiel Impact-Factor Nature Magazin googelt. Die Faustformel: Je höher der Wert, desto besser. Werte über 10 gelten als herausragend.

Für Interessierte: Eine genauere Anleitung hat das Helmholz-Institut veröffentlicht.

Trick 3: Hirsch-Faktor der Autoren prüfen

Der Hirsch-Faktor oder -Index sagt ähnlich zum Impact-Faktor für Medien aus, wie oft ein Autor in einer weiteren wissenschaftlichen Arbeit rezitiert wurde. Ein hoher H-Index bedeutet also, dass der Autor von vielen Wissenschaftlern als vertrauenswürdige Quelle eingestuft wurde und die Arbeiten des Autors deshalb oft rezitiert werden. So sieht das aus:

So geht's: Geht dafür auf Google Scholar. Hier könnt ihr im Suchfeld nach dem Wissenschaftler suchen, zum Beispiel Stephen Hawking. Klickt dann auf das Profil. Dann sollte euch Google Scholar Daten über die genaue Anzahl der Rezitationen geben sowie den H-Index auf der rechten Seite.

Beliebt bei GameStar

1

YouTuber bestellt »8K-Gaming-Grafikkarte« für 100 Dollar bei Wish und bekommt 1 FPS in Cyberpunk 2077

von Nils Raettig

2

Der König unter den Gasgrills kommt nicht von Weber und wird auf Amazon vergöttert!

von GameStar Deals

3

Filmfehler in Terminator 2? Wie konnte ich die zusätzlichen Hände nur all die Jahre übersehen?

von Alexander Köpf

Natürlich sind das ebenfalls nur ein paar Strohhalme der Sicherheit. Vor Fälschungen ist man leider nie ganz gefeit. Doch mit den richtigen Tricks, können wir immerhin ein wenig dagegen vorgehen.

Sind euch schon ähnliche Missstände aufgefallen? Kennt ihr weitere Tricks zur Einordnung von Studien? Dann schreibt sie gerne in die Kommentare.