Microsoft-CEO Satya Nadella roept organisaties in een essay op X op om frontier-AI-modellen te behandelen als een insider risk. Volgens hem horen AI-modellen dezelfde controles te krijgen als medewerkers met toegang tot bedrijfssystemen. Nadella formuleert daarvoor zeven principes voor toezicht en beheersing.
Nadella stelt dat bedrijven AI-modellen niet langer moeten zien als een assistent die zonder meer te vertrouwen is. Hij beschrijft ze als een interne actor die, net als een menselijke medewerker, fouten kan maken, gecompromitteerd kan raken of onvoorspelbaar gedrag kan vertonen. Hij wijst daarbij op een verschil met traditionele software. Die is via code stap voor stap te herleiden. Bij grote AI-modellen zijn uitkomsten vaak niet te koppelen aan specifieke trainingsdata of gewichten in het netwerk.
Volgens Nadella vormt dat een risico nu deze modellen toegang krijgen tot gevoelige bedrijfsdata en de bevoegdheid krijgen om acties uit te voeren. Dat geldt in het bijzonder voor agentic systems: AI die zelfstandig handelingen uitvoert in bedrijfsomgevingen.
Verantwoordelijkheid blijft bij de organisatie
Nadella vindt dat het tijd is om de vertrouwensarchitectuur rond AI opnieuw te beoordelen. Organisaties kunnen volgens hem de verantwoordelijkheid voor wat AI namens hen doet niet uitbesteden. Toezeggingen van een modelleverancier nemen die plicht niet weg.
De topman waarschuwt ook voor een aanpak waarin AI zichzelf controleert. Dan ontstaat volgens hem een stapeling van ondoorzichtige systemen: een model binnen een besturingslaag die zelf ook ondoorzichtig is en die weer door een ander model wordt bewaakt.
Controle buiten het model
Als alternatief grijpt Nadella terug op een principe uit de informatiebeveiliging dat stamt uit de jaren zeventig: scheid de controle over een systeem van het systeem zelf. Regels, grenzen en toegangsrechten horen volgens hem buiten het AI-model te worden ingericht. Het model mag de mechanismen die zijn permissies handhaven niet kunnen omzeilen of aanpassen.
Hij trekt de vergelijking met personeel. Een medewerker krijgt ook geen onbeperkte toegang tot alle systemen en werkt binnen vastgelegde protocollen. Voor AI gelden volgens Nadella dezelfde basisregels: identiteit vaststellen, privileges beperken, alle acties vastleggen en grenzen stellen.
Zeven principes
Voor containment en governance rond niet-deterministische modellen formuleert Nadella zeven principes. Het eerste is diversiteit van modellen: geen enkel model mag de enige afhankelijkheid zijn voor een kritiek proces of zijn eigen werk verifiëren. Het tweede is observeerbaarheid, waarbij elke relevante actie van een model een onveranderlijk en door mensen leesbaar spoor achterlaat. Het derde is verifieerbaarheid: systemen worden continu getest op fouten, aanvallen en randgevallen, en dus ook op scenario’s waarin iets misgaat.
Daarnaast noemt hij onafhankelijke controle, waarbij de organisatie zelf bepaalt wat een model mag openen en uitvoeren, en onafhankelijke auditability, waarbij het toezicht op het gedrag van een model volledig losstaat van het model zelf. Het zesde principe is containment. Organisaties gaan ervan uit dat een model gecompromitteerd kan raken en beschikken over een noodrem waarmee een gemachtigde persoon een model midden in een taak kan onderbreken of uitschakelen. Het zevende principe is transparantie bij incidenten: storingen snel melden en de lessen delen met de rest van de sector.
Minder vertrouwen nodig
Nadella benadrukt dat het probleem niet ligt in kwaadwillende modellen. Complexe systemen zijn volgens hem per definitie kwetsbaar voor fouten en manipulatie. Hij sluit zijn betoog af met de stelling dat het meest betrouwbare AI-systeem niet het systeem is met het model dat het meeste vertrouwen geniet. Het is volgens hem het systeem waarbij je het model zo weinig mogelijk hoeft te vertrouwen.
