KI aus dem Jahr 1930: Dieses Modell kennt weder das Internet noch Elvis – und das ist der Punkt

Wie würde eine KI aus dem Jahr 1930 mit modernen Problemen umgehen? Diese Frage wollen Forschende nun beantworten. (Bildquelle: Adobe Stock Matej | Wiki Media Commons)

Stellt euch vor, ihr unterhaltet euch mit jemandem, der im Jahr 1930 eingeschlafen ist und gerade erst aufgewacht ist. Kein Wissen über KI, keine Kenntnis von Atomwaffen, keine Ahnung, wer Elvis ist. 

Genau das ist das Konzept hinter »talkie«, einem Sprachmodell, das ausschließlich auf Texten trainiert wurde, die vor dem 1. Januar 1931 veröffentlicht wurden.

Hinter dem Projekt stecken Nick Levine, David Duvenaud und Alec Radford, einer der Miterschaffer der ursprünglichen GPT-Modelle bei OpenAI.

Was ist ein »Vintage-Sprachmodell« überhaupt?

Moderne KI-Modelle wie ChatGPT wurden auf unvorstellbaren Mengen an Texten aus dem Netz trainiert: Millionen von Webseiten, Büchern, wissenschaftliche Arbeiten, Reddit-Threads und vieles mehr.

Das bedeutet aber auch: Sie haben unzählige Wissensquellen in sich aufgesogen, die sich gegenseitig beeinflussen.

Talkie macht das Gegenteil. Das Modell mit 13 Milliarden Parametern und 260 Milliarden Trainings-Tokens kennt ausschließlich:

• Bücher und Zeitungen aus der Zeit vor 1931
• Wissenschaftliche Journale des 19. und frühen 20. Jahrhunderts
• Patentschriften, Gerichtsakten und Periodika aus der Ära
• Alles davon ausschließlich auf Englisch

Das klingt nach einer unnötigen Einschränkung, aber für die Forscher ist es genau das, was das Modell so wertvoll macht.

Aber warum? Der Sinn dahnter

Die Forscher nutzen die Talkie für ein fundamentales Experiment: Was bleibt von der Intelligenz übrig, wenn man ihr das gesamte Wissen der modernen Welt wegnimmt? 

Durch den harten Cutoff im Jahr 1930 ist das Modell per Definition frei von moderner Datenkontamination. Das erlaubt es, die KI auf ihre Generalisierungsfähigkeit zu prüfen. Kann sie allein durch logische Schlussfolgerungen Konzepte wie Python-Code oder physikalische Theorien »wiederentdecken«, die erst Jahre später erfunden wurden?

Coding im Jahr 1930? Machbar!

Die Forscher haben das unkontaminierte Wissen der KI genutzt, um einen faszinierenden Versuch zu starten: Sie haben talkie einige Beispiele für Python-Code gezeigt und dann geschaut, ob das Modell selbst neue Programme schreiben kann. 

Das Ergebnis: talkie kann einfache Programme schreiben, obwohl es das Konzept digitaler Computer nie »gelernt« hat. Das Ergebnis seht ihr hier:

Die technischen Hürden: Nicht alles läuft rund

Das Experiemnt ist zwar interessant, doch definitiv nicht lückenlos, wei die Forscher selbst zugeben:

1. Zeitliche Datenlecks Selbst mit strengster Filterung hat talkie Dinge gelernt, die es nicht wissen sollte. Die Version mit 7 Milliarden Parametern wusste bereits von Franklin D. Roosevelt als Präsident, obwohl er erst 1933 gewählt wurde. 

Das Modell mit 13 Milliarden Parametern kennt sogar Details über den Zweiten Weltkrieg und die Vereinten Nationen. Alte Texte mit modernen Fußnoten oder falschen Metadaten verfälschen das Training.

2. Qualität der Texterkennung: Alle Texte aus der Zeit vor 1931 mussten von physischen Quellen digitalisiert werden. Das Problem: Klassische Texterkennungs-Systeme (OCR)  schlagen bei historischen Dokumenten regelmäßig fehl. 

Moderne KI-basierte OCR-Systeme wiederum halluzinieren moderne Fakten in die alten Texte hinein. Die Forscher messen, dass die schlechte Qualität die Lerneffizienz auf gerade einmal 30 Prozent senkt.

3. Post-Training ohne moderne Daten Um aus einem Basismodell einen Gesprächspartner zu machen, braucht man normalerweise Beispiele für gute Konversationen. Für talkie nutzten die Forscher historische Etikette-Bücher, Kochbücher und Briefschreibe-Ratgeber Texte mit klarer Struktur aus dem 19. und frühen 20. Jahrhundert.

Wohin geht die Reise?

Das Team hat ehrgeizige Pläne:

• Für diesen Sommer plant es ein Modell auf GPT-3-Niveau.
• Das verfügbare historische Wissen soll auf über eine Billionen Tokens ausgebaut werden.
• Eine mehrsprachige Erweiterung über Englisch hinaus ist geplant.
• Eine verbesserte, eigene OCR-Lösung für historische Dokumente ist in Entwicklung.

Neben konkreten Vorhaben wollen die Forscher auch bestimmte Fragen beantworten:

• Wie viel von dem, was wir über moderne KI-Modelle wissen, gilt nur deshalb, weil alle auf denselben Daten trainiert wurden?
• Kann eine KI über ihren Wissenshorizont hinausdenken?
• Was sagt ein Modell, das die Welt von 1930 kennt, über die Welt von 2026?

Übrigens: Der CEO von Nvidia ist der Ansicht, dass wir uns in einer neuen industriellen Revolution befinden, in der uns die KI nicht ersetzen, sondern uns bis ins Detail kontrollieren wird

Wenn ihr neugierig geworden seid: Auf talkie-lm.com könnt ihr direkt mit dem Modell chatten und eine KI befragen, die eure Welt (größtenteils) nicht kennt.

Was haltet ihr von der Idee, der Forscher? Ist es ein spannendes Experiment mit Mehrwert oder ist das für euch eher sinnlos? Schreibt es gerne in die Kommentare!