KI-Sicherheitssystem verwechselt Chipstüte mit Waffe und schickt deshalb Polizisten an eine Highschool

An dieser Highschool in Baltimore fand der Einsatz statt. (Bild: WBAL)

Sicherheitssysteme mit KI sind im Kommen und werden in den USA schon jetzt an vielen Orten genutzt.

Bei Missverständnissen kann es aber gefährlich werden, wie kürzlich ein Schüler aus der Stadt Baltimore am eigenen Leib erfahren musste.

Polizeieinsatz wegen Chipstüte

Der betroffene Schüler saß laut dem Bericht des Guardian mit ein paar Freunden abends vor seiner Highschool, als plötzlich mehrere Polizeifahrzeuge vorfuhren.

Bewaffnete Polizisten kamen auf die Gruppe zu und forderten den Schüler auf, sich auf den Boden zu legen.

50:56 Digitale Helfer im Klinikalltag: Chancen und Risiken von KI im Gesundheitswesen

Autoplay

Ihm wurden Handschellen angelegt und seine Sachen wurden durchsucht. Schnell konnte festgestellt werden, dass er keine Waffe bei sich trug, weshalb er wieder befreit wurde.

Das war passiert:

An der Schule wurde im vergangenen Jahr ein neues Sicherheitssystem installiert. Eine KI wertet dabei die Bilder der Überwachungskameras aus und sucht nach Gegenständen, die einer Waffe ähnlich sehen.
In diesem Fall hatte der Schüler allerdings nur eine Chipstüte in der Hand, die KI schlug trotzdem Alarm. In der Folge gab es wohl ein Missverständnis bei den zuständigen Instanzen, wie CNN berichtet.
Demnach sendet die KI einen Bericht an die Sicherheitsabteilung des Schulbezirks, wenn ein waffenähnlicher Gegenstand entdeckt wurde. Dort wird das Bild dann von einem Mitarbeiter überprüft, der dann entscheidet, ob der Alarm gerechtfertigt ist.

Tatsächlich hatte der zuständige Mitarbeiter den Alarm abgebrochen, das hatte die Schulleitung, die ebenfalls eine Alarmmeldung bekommt, aber nicht rechtzeitig mitbekommen. Sie hat anschließend, wie im Protokoll vorgesehen, die Behörden verständigt.

Derzeit beliebt bei GS Tech

Die USA hat es gerade unmöglich gemacht, dass sich ihre Einwohner einen neuen Router kaufen

von Jonas Herrmann

Laut Psychologie haben diejenigen, die in den 60er- und 70er-Jahren aufgewachsen sind, mentale Stärken entwickelt, die durch heutige Technik verloren gehen

von Nils Raettig

Es soll immer mehr Menschen geben, die ihren Autoschlüssel »aus gutem Grund« in Alufolie einwickeln: Wie gut ist der Grund wirklich?

von Nils Raettig

Die Polizei selbst wusste offenbar nicht, womit sie es zu tun hat und ging daher so vor, wie sie es in einem Ernstfall eben tun müsste.

Eine Verkettung von unglücklichen Umständen, die sicher auch schlimmer hätte ausgehen können, etwa wenn der Schüler Widerstand geleistet hätte oder in Panik ausgebrochen wäre.

KI als Hilfsmittel: Der Fall zeigt, dass KI zwar ein mächtiges Werkzeug sein kann, aber die Kontrolle durch Menschen noch lange nicht ersetzt werden kann.

Ein Programm kann deutlich schneller und deutlich mehr Bilder analysieren, macht dabei aber eben auch Fehler, die einem Menschen kaum unterlaufen würden.