Wenn ihr eine der wohl beliebtesten KI-Funktion in Gmail nutzt, kann das böse enden: Google warnt vor fieser Phishing-Methode

Eine neue Masche nutzt KI-Zusammenfassungen in Gmail aus.

Künstliche Intelligenz verändert gerade in Windeseile, wie Menschen mit dem Internet und technischen Geräten interagieren. Vieles wird durch KI schneller und einfacher, es gibt aber auch Risiken, weil die Technologie teilweise noch Fehler macht.

Fiese Masche nutzt Gemini in Gmail

In einem Post im Google Security Blog hat das Google GenAI‑Sicherheitsteam schon Mitte Juni auf die Gefahr durch sogenannte »indirekte Prompt‑Injection« hingewiesen. Dabei wird ein KI-Feature im Mailing-Dienst Gmail ausgenutzt.

1:32 Neuer Pixel Drop im Juni 2025: Das steckt drin

So funktioniert die Masche: Gmail-Nutzer können sich Mails bequem von Gemini zusammenfassen lassen. Gerade im Arbeitsumfeld soll das Feature für Entlastung sorgen. Mails können so simpel kategorisiert werden und man sieht beispielsweise auf einen Blick, was wichtig und was nur Werbung ist.

Angreifer können sich diese Zusammenfassungen aber offenbar zunutze machen. Sie verstecken nämlich heimlich Anweisungen für die KI ganz unten, indem sie diese mit Schriftgröße Null und in Weiß gestalten. Die Anweisungen sind dadurch faktisch unsichtbar, allerdings nicht für Gemini.

Der KI-Assistent kann diese Prompts natürlich trotzdem lesen und den Anweisungen Folge leisten. Angreifer können so Mails umleiten und im Namen des Konto-Besitzers verschicken, nach Passwörtern fragen und sensible Informationen abgreifen.

Die Masche nutzt eine bekannte Schwäche von Sprachmodellen aus. Externe Datenquellen werden dabei ohne ausreichende Kontextkontrolle verarbeitet.

Gegenmaßnahmen: Google arbeitet offenbar schon mit Hochdruck an einer Lösung für das Problem und hat bereits mehrere Maßnahmen veröffentlicht. In den Zusammenfassungen von Gemini werden beispielsweise verdächtige Links ausgeblendet und es gibt eine Warnung, wenn verdächtige Prompts entdeckt werden.

Derzeit beliebt bei GS Tech

Die USA hat es gerade unmöglich gemacht, dass sich ihre Einwohner einen neuen Router kaufen

von Jonas Herrmann

Laut Psychologie haben diejenigen, die in den 60er- und 70er-Jahren aufgewachsen sind, mentale Stärken entwickelt, die durch heutige Technik verloren gehen

von Nils Raettig

Es soll immer mehr Menschen geben, die ihren Autoschlüssel »aus gutem Grund« in Alufolie einwickeln: Wie gut ist der Grund wirklich?

von Nils Raettig

Zudem wird eine Nutzerbestätigung eingeholt, bevor etwa Kalendereinträge oder Ähnliches einfach gelöscht werden. Weitere Gegenmaßnahmen sollen folgen. Zudem versichert Google, dass die Masche in der Praxis noch nicht vorgekommen sein soll.

Dass die Möglichkeit überhaupt existiert, zeigt, welche noch unbekannten Risiken mit der Verbreitung von KI einhergehen. In Zukunft sollen KI-Assistenten im besten Fall direkt mit Webseiten interagieren und etwa Tickets bestellen oder Reservierungen tätigen können. Die Sicherheit der User sollte dabei stets gewährleistet sein.