Onderzoeksbureau Gartner verwacht dat de kosten voor AI-inferentie per agentic workflow tot 2028 met meer dan een factor vijf toenemen. Dalende prijzen per token compenseren dit niet, omdat AI-toepassingen tegelijkertijd complexer worden en meer tokens verbruiken. Gartner noemt dit fenomeen de Inference Paradox: betere kostenefficiëntie per eenheid leidt toch tot hogere totale AI-uitgaven.
Gartner, Inc. voorspelt dat de inferentiekosten per agentic workflow tot 2028 met meer dan vijfhonderd procent stijgen. Het onderzoeksbureau baseert deze verwachting op een analyse van de ontwikkeling van AI-modellen en het gebruik daarvan in bedrijfsapplicaties. Volgens Gartner verschuiven AI-producten van ondersteunende functies naar systemen die zelfstandig meerstaps taken uitvoeren, wat een nieuwe uitdaging vormt voor de marges van productverantwoordelijken.
Inference paradox
Will Sommer, senior director analyst bij Gartner, stelt dat productverantwoordelijken niet kunnen rekenen op efficiëntere tokenprijzen om AI-kosten binnen de perken te houden. Volgens Sommer vraagt elke nieuwe generatie AI-mogelijkheden om meer tokens, en vaak ook duurdere tokens. Hij verwacht dat er geen universeel model komt dat deze kostenstijging structureel oplost, waardoor bedrijven volgens hem toe moeten naar het ontwikkelen en onderhouden van meerdere modellen naast elkaar.
Gartner onderscheidt drie ontwikkelingen die de tokeneconomie bepalen. Ten eerste verbeteren de kostprijzen van basismodellen snel. Ten tweede maakt deze efficiëntie het mogelijk om krachtigere en duurdere modellen in te zetten voor complexere toepassingen. Ten derde verbruiken geavanceerde AI-workflows aanzienlijk meer tokens dan eenvoudige chatbotinteracties, wat de totale inferentiekosten opdrijft.
Deze combinatie zorgt er volgens Gartner voor dat tokens weliswaar goedkoper worden per eenheid, maar niet in hetzelfde tempo als de complexiteit en kosten van AI-toepassingen toenemen. Het bureau noemt dit de Inference Paradox: verbeterde kostenefficiëntie per eenheid leidt toch tot hogere totale AI-uitgaven, zonder dat daar een voorspelbaar rendement tegenover staat.
Chatbot versus AI-agent
Sommer illustreert het verschil tussen een eenvoudige chatbot en een AI-agent. Waar een chatbot een vraag leest en een waarschijnlijk passend antwoord genereert, moet een AI-agent voortdurend redeneren, onderhandelen en zichzelf controleren, aldus Sommer. Deze extra stappen tellen op in kosten. Gartner meldt dat het routeren van een taak naar een redenerend AI-model de inferentiekosten voor aanbieders met minstens een factor vijf verhoogt ten opzichte van een basale chatbotinteractie, met verdere stijgingen naarmate taken complexer worden.
Gevolgen voor productstrategie
Om rendement te halen uit geavanceerde AI-toepassingen zoals redenerende agents, is volgens Gartner ofwel een aanzienlijk hoger rendement nodig ten opzichte van eenvoudigere modellen, ofwel een doordachte inzet van inferentie-tiering, routering en orchestratie. Daarmee kunnen complexe taken worden afgestemd op de meest kostenefficiënte vorm van intelligentie die voldoende is voor de taak. Gartner geeft aan dat beide routes haalbaar zijn, maar wel gepaard gaan met aanzienlijke inspanning binnen complexe workflows.
Sommer waarschuwt dat het standaard inzetten van generieke autonome AI leidt tot ongecontroleerde kostenstijgingen die veel hoger uitvallen dan bij geoptimaliseerde productecosystemen. Gartner-klanten kunnen aanvullende analyse over dit onderwerp raadplegen in het rapport The Inference Paradox: Inference Tiering Is Critical to Protect Margins. Gartner presenteert verdere inzichten over de economie van AI tijdens de Gartner IT Symposium/Xpo-conferenties die dit najaar plaatsvinden in onder meer Orlando, Barcelona en Yokohama.
