AI is niet meer weg te denken uit de hedendaagse maatschappij. De snelheid waarmee deze nieuwe technologie de wereld verovert is ongekend en verslaat zelfs de stormachtige opmars van het internet in de tweede helft van de jaren ’90. Klanten kloppen steeds vaker aan de deur en vragen om ‘iets met AI’. Reden voor MSP Business om eens dieper te duiken in de achterkant. Waarmee moet je als MSP rekening houden wanneer je AI-oplossingen en -tools implementeert bij je klant? Wat zijn eigenlijk de kosten en hoe bereken ik dat door? In deze negendelige serie krijg je antwoord op al deze vragen.
Als je AI-tools inzet in je bedrijf, of ze doorverkoopt aan klanten, kom je vroeg of laat een term tegen die weinig uitleg krijgt maar wél bepaalt hoeveel je betaalt, hoe slim een model zich gedraagt en waar de grenzen liggen: de token, een begrip dat direct raakt aan kosten, prestaties en verwachtingen.
Een taalmodel leest en schrijft geen tekst zoals jij dat doet. Het werkt met tokens: stukjes tekst die ergens tussen een letter en een woord in zitten. Een gangbare vuistregel is dat één token overeenkomt met ongeveer vier tekens, of driekwart woord. Dat betekent dat duizend tokens ruwweg 750 woorden zijn, of anderhalve pagina tekst.
Eenvoudige woorden zoals “hallo” of “server” zijn vaak één token. Langere of zeldzame woorden worden opgesplitst. “Informatiebeveiliging” levert vermoedelijk vier of vijf tokens op. Spaties, leestekens en opmaakelementen tellen apart mee.
Het onderliggende principe heet Byte Pair Encoding: het model heeft geleerd welke lettercombinaties zo vaak voorkomen dat ze een eigen eenheid verdienen. Veelgebruikte stukjes tekst worden één token, zeldzame combinaties worden opgesplitst. Dat is efficiënter dan werken met losse letters, en nauwkeuriger dan werken met hele woorden.
Waarom Nederlands duurder is dan Engels
Hier zit iets wat MSP’s die werken voor Nederlandse klanten concreet merken: Nederlandse tekst kost meer tokens dan Engelse. De modellen zijn voor een groot deel getraind op Engelstalige data, waardoor Engelse woorden vaker als één token worden herkend. Nederlandse samenstellingen als “beheerplatform” of “netwerkinfrastructuur” worden opgesplitst in meer stukjes.
Het verschil is niet dramatisch, maar bij intensief gebruik loopt het op. Een Nederlandse prompt van honderd woorden vraagt gemiddeld twintig tot dertig procent meer tokens dan dezelfde tekst in het Engels. Als je op grote schaal automatiseert, telt dat mee in de rekening.
Kosten en limieten
De meeste mensen maken kennis met AI via een abonnement, zoals Claude Pro of ChatGPT Plus. Daarbij betaal je een vast bedrag per maand en zit er een limiet op hoeveel je kunt gebruiken, uitgedrukt in berichten per tijdsvenster of in totale rekenkracht. Handig voor individueel gebruik, maar minder geschikt als je AI wilt inbouwen in een werkproces of tool.
Dat is waar de API om de hoek komt kijken. Via een API spreek je het model rechtstreeks aan vanuit software, zonder tussenkomst van een gebruikersinterface. Je betaalt per token, precies voor wat je gebruikt. Dat maakt de API geschikt voor automatisering op schaal. Denk aan een helpdesktool die automatisch tickets samenvat, of een rapportgenerator die elke nacht draait.
Bij gebruik via een API betaal je per token, input en output apart. Wat je instuurt aan prompt kost geld, wat het model teruggeeft ook. Dat klinkt abstract, maar het heeft directe gevolgen voor hoe je een toepassing bouwt. Een systeem dat lange instructies meestuurt bij elk verzoek, of dat uitgebreide HTML-output genereert, verbruikt meer tokens dan een strakke, sobere opzet.
De andere kant van tokens is het contextvenster: de hoeveelheid tekst die een model tegelijk kan verwerken en onthouden. Dat venster wordt uitgedrukt in tokens. Een model met een contextvenster van 200.000 tokens kan ruwweg 150.000 woorden tegelijk verwerken, meer dan de meeste romans. Maar zodra je daar overheen gaat, valt het begin van het gesprek weg. Het model vergeet het als het ware. Dat is relevant als je AI inzet voor langlopende processen of grote documenten.
Wat je er praktisch mee doet
Je hoeft geen tokenexpert te worden om AI goed in te zetten. Maar een paar dingen zijn de moeite waard om te onthouden. Korte, heldere prompts zijn niet alleen prettiger voor de gebruiker, ze zijn ook goedkoper. Onnodige opmaak, herhalingen en overbodige context tellen allemaal mee. En als je een AI-toepassing evalueert of inkoopt voor klanten, vraag dan naar de tokenlimieten en tarieven. Die bepalen mede of een oplossing bij die schaal nog rendabel is.
Tokenisatie is de basis waarop alles rust. De volgende aflevering gaat over wat er met die tokens gebeurt zodra ze er zijn: het contextvenster, het werkgeheugen van een model, en wat dat betekent voor de manier waarop AI taken uitvoert.
Dit is de eerste aflevering in de reeks ‘AI onder de motorkap’, waarin MSP Business de technologie achter AI stap voor stap uitlegt. Zonder marketingjargon, met de diepgang die je nodig hebt om er als IT-dienstverlener mee te werken, over te praten en op te bouwen.
