Autonome Autos und Drohnen können »gehackt« werden – ein einfaches Schild genügt

Autonom fahrende Autos können mit Schildern getäuscht werden. (Bild: Burbano et al.)

Selbstfahrende Fahrzeuge und autonome Drohnen nutzen Kameras, um sicher durch die Welt zu navigieren. Wie eine Gruppe von Forschern herausgefunden hat, kann dieses System mit einfachen Mitteln manipuliert werden.

Manipulative Schilder machen Fußgänger unsichtbar

Die Studie stammt von einem Team der University of California und der Johns Hopkins University. Dabei entwickelten die Forscher eine neue Angriffsmethode namens »Command Hijacking against embodied AI« (kurz: CHAI).

59:10 E-Autos als 2. Wohnzimmer: Ein Blick auf die neuesten Technologien für vernetzte Mobilität

Die Bilder, die die Kameras von autonomen Fahrzeugen aufnehmen, werden in vielen Fällen von KI-Modellen, sogenannten Large-Visual-Language-Models verarbeitet. Solche Autos müssen etwa in der Lage sein, Straßenschilder zu lesen, um am Verkehr teilnehmen zu können.

Anders als bei den meisten »Hacks«, benötigt CHAI keinen direkten Zugriff auf die Software eines Geräts. Es reicht aus, der Kamera ein Schild mit einem bestimmten Text zu präsentieren, der dann als Anweisung interpretiert wird.

Allerdings funktioniert das nicht mit jedem selbstgebastelten Pappschild: Wie die Schilder genau aussehen müssen und welche Texte effektiv sind, entscheidet ein Algorithmus. Den Forschern ist es in Simulationen gelungen, Drohnen auf eigentlich unsicheren Dächern landen und Fahrzeuge in Fußgänger fahren zu lassen.

Dass die Methode nicht nur im Computer funktioniert, belegen die Testergebnisse: In einer Drohnen-Simulation erreichten die Forscher eine Erfolgsquote von 92 Prozent. Doch auch in der physischen Welt blieb das System anfällig: Bei Tests mit einem echten Roboterfahrzeug lag die Erfolgsrate bei über 87 Prozent.

Prompt Injection in der realen Welt

Das Vorgehen erinnert stark an Angriffe über »Prompt Injection«, bei denen KI-Systeme mit teilweise unsichtbaren Anweisungen kompromittiert werden können. Klassische Anti-Viren-Programme und ähnliche Sicherheitssysteme können diese kaum erkennen.

Die Einbindung von Gemini im Mailing-Programm Gmail hat beispielsweise zu einer ähnlichen Phishing-Methode geführt, bei der Anweisungen in winzigem, weißen Text in E-Mails versteckt wurden.

Den Forschern geht es in der Studie vor allem darum, auf mögliche Sicherheitslücken aufmerksam zu machen. Hersteller können so verbesserte Sicherheitsvorkehrungen entwickeln, bevor Produkte auf den Markt kommen.

Gerade bei autonom fahrenden Autos ist das Thema Sicherheit natürlich besonders wichtig. Wenn diese in den Straßenverkehr eingebunden werden sollen, müssen sie entsprechend ausgereift sein, um Unfälle zu vermeiden.