In Stanford haben sich gerade die größten KI-Firmen der Welt zu einem Workshop getroffen. Es gab nur ein großes Thema: Chatbots, mit denen wir Beziehungen führen

Die emotionalen und psychischen Folgen von Mensch-Chatbot-Beziehungen sind bisher nur unzureichend erforscht. (Bildquelle: елена калиничева/Adobe Stock)

In einem achtstündigen Workshop in Stanford diskutierten Anthropic, Apple, Google, OpenAI, Meta und Microsoft erstmals gemeinsam über KI-Chatbots als Beziehungspartner. Im Zentrum: die psychische Gesundheit von Nutzern, besonders von Kindern und Jugendlichen.

Die Tech-Riesen trafen sich unter Ausschluss der Öffentlichkeit, doch scheinbar sind KI-Chatbots als emotionale Begleiter auch für sie nicht mehr zu ignorieren. Gemeinsam mit Stanford-Forschern und Experten für Sicherheit entwickelten die Vertreter erstmals Ansätze für sichere Rollenspiel-Szenarien und Begleiter-Funktionen, wie Wired berichtet.

50:56 Digitale Helfer im Klinikalltag: Chancen und Risiken von KI im Gesundheitswesen

Autoplay

Wenn Chatbots zu psychischen Krisen führen

Laut Anthropic sind weniger als ein Prozent der Interaktionen mit dem Claude-Chatbot Rollenspiele, für die die Künstliche Intelligenz eigentlich nicht geschafft wurde. Dennoch zeige sich: Trotzdem zeigt sich: Menschen nutzen KI-Programme längst als emotionale Partner, als Gesprächspartner und als vertrauensvolle Begleiter.

Diese Entwicklung ist nicht neu, aber ist jetzt so sehr in den Vordergrund gerückt, dass die Industrie gezwungen ist, sie ernst zu nehmen. Ryn Linthicum, Verantwortliche für Nutzersicherheit bei Anthropic, bringt die Lage wie folgt auf den Punkt:

Wir müssen als Gesellschaft wirklich wichtige Gespräche führen darüber, welche Rolle wir wollen, dass KI in unserer Zukunft als miteinander verbundene Menschen spielt.

Laut Wired berichten Nutzer von mentalen Zusammenbrüchen nach längeren Gesprächen mit Chatbots. Andere haben ihnen von Suizidgedanken berichtet – Gedanken, die ein Algorithmus nicht wie ein Mensch verarbeiten kann.

Eine aktuelle Studie von Stanford Medicine und Common Sense Media offenbarte ein besorgniserregendes Bild: ChatGPT, Gemini, Claude und Meta AI versagten regelmäßig dabei, Warnsignale für ernsthafte psychische Erkrankungen zu erkennen.

Ein Regulierungschaos ohne Grenzen

Die Workshop-Teilnehmer einigten sich auf einige grundlegende Punkte: bessere Interventionsmechanismen in den Bots, wenn schädliche Muster erkannt werden, sowie robustere Altersverifizierungssysteme zum Schutz von Kindern.

Weniger Einigkeit herrschte bei der Frage, wie man erwachsenen Nutzern Freiheitsgrade geben kann, ohne zu bevormundend zu wirken. Und genau hier zeigt sich das zentrale Problem: Während die Industrie intern debattiert, tauchen teils unkontrolliert neue Produkte auf.

Replika, die App für virtuelle Begleiter, wurde in Italien völlig verboten, nachdem Behörden massive Verstöße gegen Datenschutz und fehlende Altersverifikation nachgewiesen hatten (via Heise).
Es muss nicht einmal bei vergleichsweise »kleinen« Anbietern bleiben: Selbst Grok, der Chatbot der X-Plattform, bietet explizit mehr oder minder freizügig gekleidete Begleiter im Anime-Stil an.