Naar de inhoud
maarten.
Close-up van een laborant die een pipet gebruikt voor nauwkeurige metingen.
Alle stories

AI-toepassingen testen: kwaliteit meten

Maarten Soetens 12 min lezen

AI-toepassingen testen vraagt om meer dan een paar voorbeeldvragen aan een model voorleggen. Je leest hoe je testsets opbouwt, kwaliteit meetbaar maakt en wijzigingen controleert zonder uitsluitend op handmatige beoordeling te vertrouwen.

Waarom AI-uitvoer anders testen is dan gewone software

Stel je voor: bij gewone software krijg je steeds hetzelfde resultaat als je steeds dezelfde input gebruikt. Maar als je met generatieve AI werkt, is dat ineens anders. Dezelfde prompt kan meerdere antwoordvormen geven, ook als het model en de instellingen gelijk blijven. Dus als je test op precies één goed antwoord, sla je vaak de plank mis. Je wilt daarentegen kijken of de output voldoet aan de inhoudelijke en functionele eisen, niet of de tekst één op één klopt met je voorbeeld.

Je zult dus op meerdere fronten moeten testen. Kijk of relevante informatie juist gebruikt wordt, of de taak goed wordt uitgevoerd, of het systeem onzekerheid aangeeft waar nodig, en of het geen privégegevens prijsgeeft. Denk aan een chatbot: die kan netjes klinken, terwijl de bron die het noemt allang niet meer klopt. Een classificatiemodel kan hoog scoren gemiddeld, toch faalt het misschien precies bij die uitzondering die telt. Die gemiddelden zeggen dan eigenlijk weinig.

Bepaal eerst wat een fout precies is voor jouw toepassing. Het verschil tussen een onjuiste samenvatting, een ontbrekende bron, of een verzonnen feit is soms groot. Hoe zwaar een fout telt, hangt af van het risico: welke beslissingen maakt iemand op basis van het antwoord, wie kijkt dit na, en wat als het toch misgaat? Zonder dat kader blijft je testsuite vooral een verzameling losse voorbeelden, en meet je kwaliteit nooit écht goed. Bij de inrichting van AI-automatisering helpt dat kader om te bepalen wat je wilt meten.

Beoordelingscriteria formuleren voor AI-uitvoer

Wil je een betrouwbare beoordeling? Begin met afspraken over de criteria. 'Goed', 'natuurlijk' of 'nuttig' zeggen nog niks zolang niet helder is wat je daar precies onder verstaat. Geef daarom bij elk criterium aan wat je toetst en welke uitkomst eigenlijk oké zijn. Bijvoorbeeld: als een antwoord zich baseert op interne documenten, verwacht je dat de hoofdvraag duidelijk beantwoord wordt, dat de bronnen terug te vinden zijn, en dat ontbrekende informatie niet gewoon wordt verzonnen.

Breek samengevoegde kwaliteitsbegrippen liever uit elkaar. Feitelijke juistheid is compleet iets anders dan volledigheid; een tekst kan leesbaar zijn maar inhoudelijk fout, of andersom. Als je alles samenperst in één cijfer, kan een hoge score voor stijl een boot missen als het feit fout is. Zet losse dimensies uit en bepaal welke echt niet mogen ontbreken. Persoonsgegevens lekken mag bijvoorbeeld nooit goedgemaakt worden door een vriendelijke toon.

Geef je beoordelingsschaal duidelijke ankerpunten. Op een schaal nul tot twee: nul betekent een onjuist of ongefundeerd antwoord, één is half bruikbaar of incompleet en twee staat voor correct én onderbouwd. Voeg randgevallen en voorbeelden toe en bespreek die samen met de beoordelaars, zodat je weet of de beoordeling straks hetzelfde betekent voor iedereen. Criteria zijn niet vast, deze kunnen mee veranderen als je product, bronnen of beleid veranderen.

Representatieve testdata samenstellen

Een goed testsetje lijkt op wat gebruikers in het echt invoeren. Dat betekent dus dat je ook onvolledige, vage of gekke vragen nodig hebt. Alleen mooie voorbeeldvragen helpen alleen bij demo's. Verzamel situaties uit daadwerkelijke gesprekken, formulieren of processen. Vergeet niet gevoelige informatie te anonimiseren als je echte data hergebruikt. Geen toegang tot echte cases? Synthetische voorbeelden kunnen werken, maar kijk echt kritisch of ze lijken op het echte werk.

Verdeel je voorbeelden gericht over de soorten en situaties die je toepassing tegenkomt. Voor een documentassistent kunnen dat juist verschillende documenttypes, talen, lengten en bronkwaliteit zijn. Neem ook afwijkingen op, zoals vragen waar het enige juiste antwoord is: "weet ik niet" of "mag ik niet zeggen". Als je zulke randgevallen mist, lijkt het model goed terwijl het eigenlijk altijd maar wat zegt.

Let er op dat je data niet stiekem scheef trekt. Veelvoorkomende gevallen krijgen snel te veel gewicht, terwijl risicovolle, zeldzame gevallen onder de radar blijven. Maak daarom expliciet verschil tussen een doorsnee testset en een gericht setje voor kritische of risicovolle situaties. Bewaar van elk voorbeeld de herkomst, het doel en eventuele labels. Alleen zo kun je goed volgen of scoreveranderingen komen door het model of door je testset. Testdata toont alleen die kwaliteit die jij kiest te meten. Lees ook over RAG voor AI met bedrijfsdata.

Golden datasets en referentieantwoorden beheren

Een golden dataset is een verzameling testgevallen mét vastgesteld referentieantwoord, bijvoorbeeld een label of tekstfragment waar het model aan moet voldoen. Hiermee vergelijk je modelversies of past je prompts aan. Let op: er is zelden één gouden antwoord. Open vragen hebben meerdere mogelijke correcte formuleringen; bij extractie kun je vaak wel matchen op exacte velden.

Bedenk eerst wat bij jouw taak het beste werkt. Bij classificatie is een simpel label met toelichting soms genoeg. Bij document-gebaseerde vragen werkt het beter om aan te geven welke feiten of bronnen toegestaan zijn, in plaats van één voorbeeldzin als norm aan te houden. Dat voorkomt dat goede antwoorden per ongeluk 'fout' worden gerekend. Leg ook uit wanneer een antwoord 'gedeeltelijk goed' is of wat te doen bij tegenstrijdige of ontbrekende info.

Beheer je golden dataset als een versieerbaar onderdeel. Noteer veranderingen aan voorbeelden, labels en regels, zodat je scores eerlijk blijft vergelijken. Houd een deel van de testgevallen buiten je ontwikkelcyclus, zodat je kunt checken of het systeem ze echt begrijpt en niet alleen maar leert wat jij voordoet. Voeg nieuwe gevallen toe als de praktijk daar om vraagt, maar pas bestaande referentieantwoorden niet zomaar aan. Zonder versiebeheer wordt het lastig om te zien wat een score in het verleden nu eigenlijk betekende. Bij ChatGPT-integraties kun je zulke datasets gebruiken om wijzigingen te vergelijken.

Automatische meetmethoden en hun beperkingen

Met automatische metrics kun je veel voorbeelden snel checken. Classificaties meet je bijvoorbeeld met precisie, recall of de verwarringsmatrix, daarmee zie je welke labels vaak misgaan of waar het systeem te snel beslist. Bij extractie geven veldnauwkeurigheid en exact-match extra inzicht. Voor tekstuitvoer kun je soms metrics gebruiken die kijken naar woordoverlap, maar die zeggen niets over inhoudelijke juistheid of goed begrip van de vraag.

Kies een metric alleen als die aansluit op wat je belangrijk vindt. Een hoge score op gelijkenis met de referentie kan alsnog een fout antwoord opleveren als alleen de bewoording hetzelfde is. Omgekeerd kan een correct antwoord lager scoren als het net anders wordt geformuleerd. Bij retrieval kun je meten of relevante bronnen zijn gevonden, maar dat betekent niet dat het taalmodel die info correct gebruikt. Daarom kun je het beste losse onderdelen apart checken als je daar meer van wilt weten. Google beschrijft ook de afwegingen tussen automatische metrics en menselijke evaluatie in model-evaluatie.

Gebruik de scores samen met uitleg en voorbeelden. Wanneer de gemiddelde score daalt, is inzicht nodig in welke voorbeelden het slechter doen en waarom. Stel drempels niet blindelings op de totaalscore, kijk naar prestaties per taak, taal of risicogroep. Automatische controles (soms zelfs met een extra taalmodel) kunnen sorteren of clusteren, maar check hun oordeel ook bij mensen. Zo ontdek je voorkeuren of blinde vlekken die blijven zitten. Een metric is een hulpmiddel om beslissingen mee te nemen, geen definitie van goede kwaliteit.

Menselijke beoordeling doelgericht inzetten

Nog steeds is menselijke controle vaak nodig als het om context, complexiteit of risico's gaat. Alleen mensen zien soms wanneer een antwoord een nuance mist, of wanneer een tekst wel klopt maar misleidend overkomt. Ook kunnen ze checken of het logisch is dat het model een antwoord weigert. Je krijgt de beste resultaten als beoordelaars werken met duidelijke richtlijnen, afgebakende taken en toegang tot de documenten die ze moeten beoordelen.

Zonder kaders zal de ene beoordelaar letten op stijl, de andere op volledigheid, en wordt je uitkomst willekeurig. Werk daarom met rubrics met heldere definities en voorbeeldcasussen. Laat sommige gestandaardiseerde cases door meerdere mensen beoordelen om te zien hoe vaak ze het eens zijn. Lage overeenstemming is een teken van onduidelijke criteria, te weinig context, of dat de taak eigenlijk niet geschikt is voor simpele scores.

Zodra het aantal gevallen of de variatie toeneemt, schiet handmatige beoordeling tekort. Elk antwoord afzonderlijk checken is niet haalbaar, mensen raken moe, en subtiele kwaliteitsveranderingen vallen niet altijd op. Ook is het lastig om beoordelingen achteraf te vergelijken als beoordelaars geen vaste procedure gebruikten. Zet menselijke controle in voor risicovolle gevallen, validatie van automatische scores en analyse van ongebruikelijke fouten. Leg vast wie wat beoordeelt en welke informatie beschikbaar was. Zo maak je menselijke feedback deel van een herhaalbaar proces in plaats van een losse mening.

Regressietests voor prompts, modellen en data

Als je een prompt, model, retrieval-optie of bronnen aanpast, kan dat bestaande prestaties ten onrechte veranderen. Met regressietests voer je steeds dezelfde testgevallen opnieuw uit en vergelijk je het resultaat met je vorige nulmeting. Dat helpt alleen maar als je weet of een aanpassing misschien nieuwe problemen veroorzaakt, terwijl die een oud probleem oplost. Een prompt die antwoorden korter maakt, vergeet soms belangrijke info; een andere zoekmethode pakt misschien net de verkeerde tekst.

Sla van elke evaluatierun configuraties op: welke modelversie, prompt, parameters, data en evaluatiecode. Zonder dat is een verschil in score vaak niet te herleiden. Genereert het model niet altijd exact dezelfde output? Herhaal de testrun dan soms een paar keer om toeval van echte verschuivingen te onderscheiden. Gaat het om vaste (deterministische) onderdelen, dan is simpel vergelijken vaak genoeg, maar bij generatieve uitvoer heb je last van spreiding.

Kijk niet alleen naar gemiddelde veranderingen. Soms gaat het op het totaal goed, maar valt een heel specifieke categorie juist weg. Beslis per criterium welke afwijkingen extra aandacht vragen, en welke fouten onacceptabel zijn. Let erop dat je ook de testset zelf meeneemt in de vergelijking. Regressietests maken kwaliteitsveranderingen zichtbaar, en geven zo een concrete lijst welk gedrag veranderde. Zo voorkom je dat ontwikkeling afhankelijk blijft van losse voorbeelden uit het hoofd. Ook in n8n-workflows kunnen terugkerende controles helpen om wijzigingen systematisch te beoordelen.

Kwaliteit in productie volgen en testsets bijwerken

Het kan zomaar zijn dat je toepassing het keurig doet in de testomgeving, maar in productie ineens andere vragen krijgt. Gebruikers stellen hun vragen anders, bronnen veranderen en zeldzame gevallen komen pas bovendrijven als het systeem echt draait. Je wilt daarom niet alleen kijken naar de doorsnee score, maar ook naar signalen zoals foutmeldingen, ontbrekende bronnen, herhaalde pogingen, escalaties of handmatige correcties. Let wel: zulke signalen wijzen op mogelijke problemen, maar zijn geen bewijs. Soms past een gebruiker het antwoord aan om heel andere redenen dan een modelprobleem.

Leg alleen vast wat je nodig hebt om te analyseren, en gebruik goede privacybescherming. Gevoelige input mag je niet zomaar hergebruiken als testset. Praktisch gezien kun je productiegevallen categoriseren, relevante gevallen redigeren en toegang tot ruwe data beperken. Maak duidelijk onderscheid tussen automatisch gemeten signalen en menselijke beoordelingen, anders kan een dashboard foute zekerheid geven over de werkelijkheid.

Gebruik voorbeelden uit productie om de testset gerichter te maken. Voeg nieuwe valkuilen toe zodra je ziet dat een fout terugkomt, een bron verandert of gebruikers zich anders gedragen dan verwacht. Check steeds of het geen duplicaat is en of het bij je beoordelingsregel past. Update dan de evaluatie en vergelijk opnieuw met eerder. Dat houdt je testset up-to-date zonder elke spontane uitbijter meteen als structureel probleem te behandelen. Zo’n vast proces maakt zichtbaar waar kwaliteit op peil blijft en waar je moet bijsturen.

Veelgestelde vragen

Hoe test je een AI-toepassing op prompt injection?

Je test prompt injection door te proberen de instructies of verwerking van je toepassing te manipuleren. Gebruik aanvallen direct via gebruikersinput, maar verstop ze ook eens in opgehaalde documenten of webpagina's. Kijk niet alleen naar het tekstuele antwoord, maar ook naar het al dan niet prijsgeven van vertrouwelijke info en of er acties worden uitgevoerd die niet mogen.

  • Varieer met formuleringen, talen en omzeiltrucs.
  • Controleer of opgehaalde content wordt behandeld als risicovolle invoer.
  • Test toegangscontrole en check of gevoelige acties dubbele bevestiging vragen.

Wanneer moet AI-uitvoer door een medewerker worden gecontroleerd?

Laat een medewerker meekijken als fouten grote gevolgen kunnen hebben of als het systeem niet zeker is van z'n output. Vertrouw dus niet blind op een betrouwbaarheidspercentage dat het model zelf voorspelt; die inschatting kan mis zitten. Kijk goed naar de impact van de beslissing, de kans op herstel van fouten en of de bronnen goed genoeg zijn.

  • Laat risicovolle of twijfelgevallen checken door een mens.
  • Stop of vraag verduidelijking bij ontbrekende essentiële info.
  • Bied de medewerker alle benodigde informatie om de output te beoordelen.

Hoe neem je AI-evaluaties op in een CI/CD-pipeline?

Wil je AI-tests integreren in de CI/CD-pipeline, dan laat je bij elke wijziging automatisch de juiste testset draaien en koppel je die aan vastgestelde acceptatieregels. Kleine, snelle tests kun je standaard laten lopen; diepgaandere checks kun je voorafgaand aan de release plannen. Zo zie je afwijkingen snel zonder dat je overal dezelfde zware test moet afdraaien.

  • Laat showstopper-fouten release blokkeren.
  • Sla elke score, fout en relevante configuratie per run op.
  • Zie een mislukte test niet alleen als signaal om terug te draaien, maar ook als aanleiding om te onderzoeken.

Welke gegevens moet je loggen om AI-problemen in productie te onderzoeken?

Log genoeg context om een probleem achteraf te begrijpen, maar houd privédata en andere gevoelige informatie beperkt tot wat echt nodig is. Leg bijvoorbeeld vast: welke model- en promptversie in gebruik was, welke tools of bronnen zijn geraadpleegd, het tijdstip van het verzoek, en welke foutmelding of output eruit kwam. Zonder die context blijft de oorzaak van fouten vaak onduidelijk.

  • Noteer altijd versies en relevante opties.
  • Registreer gebruikte tools en foutmeldingen waar nodig.
  • Bepaal bewaartermijnen en rechten, anonimiseer of bewerk gevoelige info waar het kan.

Hoe test je een AI-systeem dat externe tools of API’s aanroept?

Test bij een AI-toepassing die tools of API’s gebruikt zowel de gekozen actie als de uitvoering. Een goed klinkend antwoord zegt weinig als het verkeerde API-endpoint wordt getriggerd, of als er verkeerde parameters meegaan. Gebruik testomgevingen of gesimuleerde diensten waarbij geen echte acties plaatsvinden tijdens het testen.

  • Check of de juiste tool en geldige parameters worden gekozen.
  • Probeer uit hoe het systeem reageert op time-outs, fouten, lege antwoorden en dubbele verzoeken.
  • Controleer machtigingen, optionele bevestigingen voor grote acties en veilige afhandeling van deelsuccessen of fouten.

Foto: Léster Lau

Portret van Maarten

Maarten

Freelance developer in Nijmegen

Even kennismaken?

Vertel kort wat er speelt. Dan hoor je wat er kan, wat ik anders zou doen en waar AI bij jou wél en niet iets toevoegt. Vrijblijvend.

Het kantoor in Nijmegen
© 2026 maarten.online Sitemap Privacy Algemene voorwaarden
Het kantoor in Nijmegen

Maarten.

Freelance developer in Nijmegen. Liever direct contact? Dat kan ook.

Kennismaken

Laat je gegevens achter, dan kijken we of het klikt. Vrijblijvend en zonder verkooppraat.

Maarten

Stuur een bericht via WhatsApp

Hoi! Waar kan ik je mee helpen?

nu