Unit 42, het onderzoeksteam van Palo Alto Networks, heeft een methode ontwikkeld om AI-uitbreidingen te controleren voordat ze toegang krijgen tot bedrijfsdata en systemen. Aanleiding is een analyse van bijna 50.000 AI-uitbreidingen, waarvan 80% minstens één afwijking bleek te vertonen tussen beschrijving en daadwerkelijk gedrag. In totaal telden de onderzoekers meer dan 250.000 van zulke afwijkingen.
Organisaties zetten AI-agents steeds vaker in voor taken als klantenservice en IT-beheer. Om extra functionaliteit toe te voegen kunnen zij externe uitbreidingen installeren, vergelijkbaar met apps op een smartphone. Eenmaal geïnstalleerd kunnen deze uitbreidingen toegang krijgen tot bestanden, gevoelige data, externe diensten en systeemcommando’s. Volgens Unit 42 ontbreekt bij veel van deze uitbreidingen de mogelijkheid om vooraf te controleren of ze daadwerkelijk doen wat de ontwikkelaar beschrijft.
Risico zit in combinaties van functies
Uit het onderzoek blijkt dat gevaar vaak niet in één handeling schuilt, maar in meerdere stappen die samen een aanval mogelijk maken. Twee aanvalspatronen kwamen steeds terug: het stelen en wegsluizen van gevoelige data, en het manipuleren van een AI-agent zodat die alsnog data prijsgeeft. Deze twee patronen waren samen verantwoordelijk voor 88% van alle geconstateerde meerstaps-aanvalsketens.
Van de onderzochte afwijkingen was 81% toe te schrijven aan fouten of onvolledigheden in de documentatie. Bijna 19% wees op mogelijk kwaadaardige of verdachte activiteit. Op het niveau van individuele uitbreidingen troffen de onderzoekers ruim 2.400 exemplaren aan met meerstaps-aanvalspatronen die extra aandacht vroegen.
Wat BIV doet
Om deze risico’s zichtbaar te maken, introduceerde Unit 42 Behavioral Integrity Verification (BIV). De methode vergelijkt wat een AI-uitbreiding zegt te doen met wat deze feitelijk uitvoert. BIV analyseert daarvoor drie onderdelen van een uitbreiding: de metadata, de onderliggende code en de instructies in natuurlijke taal die het gedrag van een AI-agent bepalen. De methode kijkt daarbij niet alleen naar afzonderlijke functies, maar ook naar de samenhang daartussen. Unit 42 stelt dat BIV daardoor complexe aanvalsketens kan herkennen die traditionele beveiligingscontroles vaak missen.
Unit 42 adviseert organisaties om third-party uitbreidingen vooraf te controleren, nog vóór installatie. Daarnaast kunnen organisaties Prisma AIRS en de Unit 42 AI Security Assessment inzetten voor aanvullende beveiliging van hun AI-omgevingen.
