AI is niet meer weg te denken uit de hedendaagse maatschappij. De snelheid waarmee deze nieuwe technologie de wereld verovert is ongekend en verslaat zelfs de stormachtige opmars van het internet in de tweede helft van de jaren ’90. Klanten kloppen steeds vaker aan de deur en vragen om ‘iets met AI’. Reden voor MSP Business om eens dieper te duiken in de achterkant. Waarmee moet je als MSP rekening houden wanneer je AI-oplossingen en -tools implementeert bij je klant? Wat zijn eigenlijk de kosten en hoe bereken ik dat door? In deze negendelige serie krijg je antwoord op al deze vragen.
Vorige afleveringen:
Wat is een token en waarom moet jij dat weten?
Het geheugen van AI
Welk model kies je wanneer?
Betere vragen, betere antwoorden
Een taalmodel weet veel, maar niet alles. Het is getraind op een grote hoeveelheid tekst van het internet, boeken en andere bronnen, tot een bepaald moment in de tijd. Wat daarna is gebeurd, kent het niet. En wat intern bij jouw organisatie of bij je klant leeft, heeft het nooit gezien. Jouw runbooks, je escalatieprocedures, je klantspecifieke afspraken: dat zit niet in het model.
Maar daar is een oplossing voor: Retrieval-Augmented Generation, afgekort RAG. De naam klinkt technischer dan het concept is.
Hoe RAG werkt
Het basisidee is eenvoudig. In plaats van het model te vragen iets uit zijn eigen training te halen, geef je het de relevante informatie mee op het moment dat je een vraag stelt. Je bouwt een systeem dat eerst zoekt in een kennisbank, de meest relevante fragmenten ophaalt en die meestuurt in de prompt. Het model gebruikt die fragmenten als context voor zijn antwoord.
Stel dat een helpdeskmedewerker een vraag stelt over een specifieke klantconfiguratie. Het RAG-systeem zoekt in de interne documentatie naar relevante passages over die klant of dat type configuratie, voegt die toe aan de vraag en stuurt het geheel naar het model. Het model genereert een antwoord op basis van zowel zijn algemene kennis als de specifieke informatie die is meegegeven.
Het model wordt hierdoor niet slimmer, het krijgt gewoon betere informatie aangeleverd. Het verschil zit in de input, niet in het model zelf.
Wat kun je ermee?
Ten eerste intern: het ontsluiten van je eigen kennis. MSP’s beheren doorgaans veel informatie die verspreid zit over ticketsystemen, wiki’s en gedeelde schijven. Netwerktopologieën, afspraken over responstijden, escalatiepaden. Een taalmodel zonder toegang tot die informatie kan er niets mee doen. Met RAG maak je die kennisbank doorzoekbaar en koppel je hem aan het model, zodat medewerkers sneller het juiste antwoord vinden zonder elk document zelf te hoeven doorzoeken.
Ten tweede extern: RAG als propositie richting klanten. Een advocatenkantoor dat zijn contractenarchief doorzoekbaar wil maken, een zorginstelling die medewerkers snel toegang wil geven tot protocollen en richtlijnen, een productiebedrijf dat technische documentatie wil ontsluiten. In al die gevallen bouw jij als MSP het systeem, maar is de kennisbank van de klant. Dat maakt RAG tot een concrete dienst die je kunt aanbieden, niet alleen een techniek die je intern gebruikt.
Wat je nodig hebt
Een RAG-systeem bestaat uit drie onderdelen. Ten eerste een kennisbank: de documenten, procedures of data die je wilt ontsluiten. Ten tweede een zoeklaag die relevante fragmenten kan ophalen op basis van een vraag. De meest gangbare aanpak gebruikt vectoropslag, een manier om tekst om te zetten in wiskundige representaties waarmee je op betekenis kunt zoeken in plaats van op exacte trefwoorden. Ten derde het taalmodel zelf, dat de opgehaalde fragmenten verwerkt en een antwoord formuleert.
Voor MSP’s die zelf geen softwareontwikkelaars in dienst hebben, zijn er kant-en-klare platforms die dit soort architectuur aanbieden zonder dat je alles zelf hoeft te bouwen. De kostenstructuur is wel iets om goed te doorgronden, want die bestaat uit meerdere lagen.
Het bouwen en integreren van het systeem is grotendeels eenmalig werk: de koppeling met de kennisbank, de zoeklaag inrichten, de verbinding met het model leggen. Dat is projectwerk, of je het nu zelf uitvoert of uitbesteedt aan een partner.
De vectordatabase, waar de geïndexeerde documenten in worden opgeslagen, kent doorgaans een abonnementsmodel op basis van de hoeveelheid opgeslagen data en het aantal zoekopdrachten per maand. Bij een bescheiden kennisbank en beperkt gebruik stelt dat weinig voor, maar bij grote documentcollecties of intensieve inzet is het een serieuze kostenpost.
Het omzetten van documenten naar vectoren, het zogeheten embedden, kost ook tokens. Dat gebeurt eenmalig bij het inladen van de kennisbank, maar ook steeds opnieuw als documenten worden bijgewerkt of toegevoegd. En het taalmodel zelf blijft gewoon per token betaald bij elke zoekopdracht die een gebruiker stelt.
Voor klanten betekent dit dat een RAG-oplossing niet alleen een bouwbudget vraagt, maar ook een doorlopende exploitatiekost kent. Die is bij bescheiden gebruik goed te overzien, maar vraagt wel om een bewuste afweging voordat je tekent.
Wat RAG niet oplost
RAG is zo goed als de kennisbank die eraan ten grondslag ligt. Als de documentatie verouderd is, onvolledig of inconsistent, reflecteert het model dat in zijn antwoorden. Garbage in, garbage out geldt hier onverminderd.
Dat geldt zowel voor je eigen documentatie als voor die van klanten. De invoering van een RAG-systeem leidt dan ook vrijwel altijd tot een gesprek over de kwaliteit van de onderliggende informatie. Bij klanten is dat gesprek soms ongemakkelijk, maar wel waardevol. Een RAG-systeem dat werkt op slechte documentatie geeft zelfverzekerd verkeerde antwoorden, en dat is lastiger te corrigeren dan een medewerker die zegt dat hij het niet weet.
De volgende aflevering gaat over fine-tuning: wanneer heeft het zin om een model aan te passen op jouw situatie, en wanneer is het een kostbare omweg?
Dit is de vijfde aflevering in de reeks ‘AI Business Basics’, waarin MSP Business de technologie achter AI stap voor stap uitlegt. Zonder marketingjargon, met de diepgang die je nodig hebt om er als IT-dienstverlener mee te werken, over te praten en op te bouwen.
