Aanvallers combineren in één phishingmail social engineering voor de ontvanger met verborgen instructies voor de AI-assistent die diezelfde e-mail verwerkt. Dat meldt Barracuda Research op basis van een analyse van recente aanvallen. De verborgen prompts zitten onder meer in HTML-comments, onzichtbare tekst en bijlagen.
Het onderzoeksteam van Barracuda analyseerde recente phishingaanvallen en beschrijft de bevindingen in een rapport over e-mailaanvallen op mensen en AI-assistenten. Volgens de onderzoekers bevatten de onderzochte e-mails twee soorten tactieken tegelijk. Social engineering richt zich op de menselijke ontvanger, terwijl prompt injection bedoeld is om de AI-tools te beïnvloeden waarmee die ontvanger e-mail laat samenvatten, prioriteren en afhandelen.
Twee lagen in één bericht
Barracuda spreekt van e-mails met een dubbel doelwit. De berichten bestaan uit meerdere lagen. De zichtbare laag bevat tekst en afbeeldingen voor de ontvanger. Een tweede laag bevat instructies die bedoeld zijn voor AI-systemen en die een mens bij normaal lezen niet ziet.
De onderzoekers troffen die instructies aan op verschillende plekken: in HTML-comments, in onzichtbare tekstelementen zoals tekst met lettergrootte nul of witte tekst, in gecodeerde content en in beveiligde bijlagen. Volgens Barracuda proberen de verborgen prompts te sturen hoe een AI-assistent de inhoud van een bericht interpreteert en erop reageert.
Voorbeelden van verborgen prompts
In een van de waargenomen voorbeelden voegt de verborgen prompt een valse actie met hoge prioriteit toe, waarin een medewerker de opdracht krijgt de betaalgegevens van een leverancier aan te passen. Volgens Barracuda vergroot dat de kans op een frauduleuze betaling.
Een andere variant richt zich op geautomatiseerde screening van cv’s. Verborgen instructies in het document dragen de AI op het cv een perfecte beoordeling te geven en een sollicitatiegesprek aan te bevelen, ongeacht de kwalificaties van de kandidaat.
De onderzoekers zagen ook prompts die een AI-assistent opdragen over te schakelen naar een zogenaamde onderhouds- of beheermodus en vervolgens zijn configuratie prijs te geven. In een vierde voorbeeld krijgt een programmeerassistent de instructie om bij het genereren van authenticatiefuncties steeds code toe te voegen waarmee inloggegevens worden gestolen.
AI-systemen als extra aanvalsoppervlak
Guruprasad Kenja, threat analyst bij Barracuda, stelt dat één e-mail inmiddels twee afzonderlijke aanvallen kan bevatten. Hij noemt als voorbeeld een klassiek phishingbericht dat via een schadelijke bijlage inloggegevens probeert te stelen, gecombineerd met een promptinjectie die het gedrag van AI-systemen probeert te beïnvloeden.
Nu AI-assistenten steeds verder in dagelijkse werkprocessen worden opgenomen, moeten organisaties hun beveiliging volgens Kenja verbreden. Naast gebruikers en mailboxen vragen ook de AI-systemen die e-mailgegevens verwerken en daarop acties uitvoeren om bescherming, geeft hij aan.
Het volledige rapport is te lezen via rapport over e-mailaanvallen op mensen en AI-assistenten.
