Een taalmodel verwerkt tekst niet woord voor woord, maar in tokens binnen een begrensd contextvenster. Lees hoe die limieten werken en welke gevolgen tokenisatie, lange invoer, samenvatten en tekst opdelen hebben voor de verwerking van je gegevens.
Wat tokens zijn en hoe een taalmodel tekst opdeelt
Je ziet een token als een bouwsteen waarmee een taalmodel tekst verwerkt. Soms is dat een compleet woord, een los leesteken, of zelfs een kort stukje woord. Daarvoor heb je een tokenizer: die zet je tekst om in kleine eenheden zodat het model ermee aan de slag kan. Andersom bouwt het model zijn antwoord ook altijd weer op uit tokens. Het aantal tokens per tekst hangt dus niet gelijk op met het aantal woorden of letters.
Veelgebruikte woorden pikken modellen meestal op als één token. Maar zodra je onbekende namen, lange samenstellingen, een tikfout of iets technisch, zoals "abc_12_X", in je bestand hebt, splitst de tokenizer dat op. Daar kun je lastig een simpele regel op loslaten. Nederlands valt in tokens anders uit dan Engels, afhankelijk van taalstructuur en schrijfwijze. Ook tabellen, codefragmenten of tekst vol leestekens slokken snel extra tokens op. Telwoorden per token? Werkt heel ruw als vuistregel, maar daar kun je in de praktijk behoorlijk naast zitten. Gebruik de tokenizer van je eigen model voor een nauwkeurige schatting, en tel tijdens echte runs, zeker als je te maken hebt met wisselende opmaak of specialistische tekst.
Hoe een contextvenster de ruimte voor een gesprek begrenst
Het contextvenster geeft aan hoeveel informatie het model tegelijk meeneemt tijdens één generatie. Je meet dat in tokens, niet in A4'tjes of woorden. Alles wat je meegeeft, je instructies, de chatgeschiedenis, opgehaalde documenten en de ruimte voor het antwoord, moet samen in dat venster passen.
En nee, een groot contextvenster betekent niet dat een model alles uit een lang gesprek automatisch terugvindt. Je applicatie bepaalt meestal zelf welke berichten opnieuw in de prompt belanden. Bij iedere beurt groeit de invoer doorgaans als je de hele historie meestuurt. Als het venster volloopt, moet je oude berichten schrappen, samenpersen of de aanvraag knippen, anders krijg je fouten of halve antwoorden.
Hoeveel tokens er precies in passen, hangt af van het model en soms zelfs per versie. Sommige API's stellen de limieten los in voor invoer, uitvoer en de totale context. Dus ga nooit zomaar uit van een algemeen maximum. Check steeds de specificaties van je model en tel alles op in je aanvraag. Vergeet niet ruimte over te houden voor het antwoord, anders kan het model niet reageren of wordt je aanvraag geweigerd.
Invoer, instructies en antwoord delen hetzelfde tokenbudget
Een aanvraag naar een model bevat niet alleen de tekst die een gebruiker direct invoert. Je hebt bijna altijd ook een systemprompt, taakomschrijving, opmaakregels, een chatverleden of extra documenten. Ook dat alles gebruikt tokens. En daar moet het antwoord nog bij passen.
Stuur je een lang rapport mee, samen met een uitgebreide taakomschrijving en eerdere berichten? Dan krimpt de ruimte voor het antwoord flink, zelfs al lijkt je contextlimiet ruim. Soms geldt er bovendien nog een aparte limiet voor de uitvoer. Het kan dus zomaar zijn dat je voortijdig stopt of juist niet aan antwoorden toe komt. Je loopt ook het risico dat je met overtollige context toch niet alles kwijt kunt.
Dus: geef elk onderdeel van je aanvraag een eigen budget. Houd in de gaten hoeveel vaste instructietekst, dynamische context en uitvoer er nodig zijn, en log per categorie hoeveel tokens werkelijk worden gebruikt. Zo zie je direct of je vooral ruimte kwijtraakt aan chatgeschiedenis, bronnen of instructies. Loop je tegen je limiet aan, dan kun je gericht kiezen wat eraf kan, bijvoorbeeld alleen oude berichten wissen of juist kiezen welk fragment je meeneemt.
Waarom lange invoer meer verwerking en kosten vraagt
Hoe langer je invoer, hoe meer tokens een model moet doorrekenen. Dat verhoogt vanzelf de verwerking, en soms de kosten, die hangen vaak samen met het aantal tokens dat je verstuurt en ontvangt. Dus: voeg je veel tekst toe, bijvoorbeeld een heel rapport, dan verbruik je meer, ook als het uiteindelijke antwoord kort blijft.
Bovendien duurt het modelleren dikwijls langer. Voordat het antwoord verschijnt, moet het model de hele context verwerken. Hoe snel dat blijft, hangt af van allerlei technische factoren: hardware, batchgroottes, implementatie. Geen vaste rekensom dus. Maar het is wel duidelijk dat onnodig telkens dezelfde lange context versturen voor extra wachttijd en kosten zorgt.
Meer tekst betekent niet vanzelf betere antwoorden. Je kunt juist doorschieten: overbodige details, tegenstrijdige passages, dubbele data. Het gevolg: het model kan minder goed selecteren, antwoorden kloppen niet of halen informatie uit verschillende plekken door elkaar. Zet vooral alleen die context in je aanvraag die met de vraag te maken heeft. Meet en vergelijk per taak hoeveel tokens je echt nodig hebt en wat het oplevert. Soms bereik je met minder tekst precies het juiste resultaat. Voor AI-automatisering helpt die meting om onnodige context te beperken.
Tokenaantallen schatten voor Nederlands, code en opmaak
Even woorden tellen is handig voor een eerste inschatting, maar niet betrouwbaar genoeg als je wilt weten of een tekst in je contextvenster past. Tokenisatie hangt af van woordgebruik, spelling, opmaak en structuur. Gangbare Nederlandse woorden komen vaak als enkele token door, maar vakjargon, lange samenstellingen en technische codes leveren er makkelijk meer op. Ook mailadressen, URL’s en andere identificatie tref je soms in gebroken stukken aan.
Opmaak tikt snel aan. Markdown, JSON, HTML-tags of genummerde lijsten zorgen voor extra syntax. Bij code veroorzaakt inspringing, lange namen en herhaalde fragmenten snel groei. Een logbestand met veel unieke regels pakt qua tokens vaak veel groter uit dan een gewoon tekstbestand van dezelfde lengte. Werk je met verschillende talen, dan kan een en dezelfde tekst in de ene taal meer tokens vragen dan in een andere.
Wil je een echt bruikbare schatting, test dan op representatieve stukken, liefst met probleemgevallen: tabellen, code, foutief gescande teksten. Gebruik altijd de tokenizer van het doelmodel. Voor productie kun je de daadwerkelijke aanvraag vooraf laten controleren en een marge instellen. Daarmee voorkom je verrassingen als je op een afwijkend type bron stuit.
Lange documenten opdelen in bruikbare tekstfragmenten
Past een document niet in één aanvraag? Dan kun je het opdelen in losse stukken. Je kunt simpelweg na een vast aantal tokens knippen, dat is voorspelbaar, maar je breekt alinea’s of tabellen soms op onhandige plekken af. Een slimmere aanpak zoekt eerst logische grenzen, zoals tussen paragrafen, hoofdstukken of zinnen. Daarna maak je de stukken zo groot mogelijk binnen het venster.
En zorg dat een fragment zelfstandig duidelijk blijft. Neem niet steeds onnodig veel omringende tekst mee, want dat kost extra ruimte. Vaak werkt een beetje overlap: net genoeg om context aan een overgang te behouden, maar niet zoveel dat je alles dubbel stuurt. Hoeveel overlap nodig is, hangt af van je bron en doel. Soms horen voorwaarden en verwijzingen samen, soms heb je alleen het relevante stuk nodig.
Zet bij elk fragment metadata: titel, sectie, paginanummer, versie. Dat helpt later bij terugvinden en herleiden. Loop bij het testen vooral door gevallen waar het antwoord net over twee fragmenten verspreid is, of waar tabellen en opsommingen op een knip verkeerd uitkomen. De kwaliteit van splitsen bepaalt of je model verbanden en structuren in je bron later herkent.
Documenten samenvatten zonder belangrijke details te verliezen
Samenvatten helpt als je bron te groot is voor het contextvenster. Je vraagt het model om een kortere weergave die in volgende aanvragen als context gebruikt kan worden. Je voorkomt daarmee overbodige ballast in je prompt, het werkt handig bij achtergrondinformatie of overzichtsrapporten. Maar: alles wat je in de samenvatting niet opneemt, kan een volgend model niet meer ophalen.
Een algemene samenvatting slaat makkelijk net die details over die voor een specifieke vraag nodig zijn. Je mist dan uitzonderingen, precieze data of kritische kanttekeningen. Een doelgerichte samenvatting werkt beter. Vraag bijvoorbeeld gerichte velden met alleen betrokken partijen, termijnen en uitzonderingen, of een kort per-hoofdstuk overzicht. Gestructureerd samenvatten levert minder ruis, maar vereist wel dat je van tevoren bedenkt in welk schema alle bruikbare data past.
Moet je echt veel tekst verwerken? Dan kun je hiërarchisch samenvatten: eerst deeltjes, dan hoofdstukken, dan het hele document. Maar let op: elke samenvatting introduceert risico op verdwijnende of verkeerd geïnterpreteerde details. Houd waar mogelijk verwijzingen naar het origineel bij, en stuur bij twijfel altijd even de brontekst mee als het antwoord om iets precieze vraagt. Zo voorkom je dat je later op een samenvatting stuurt die essentiële details mist.
Relevante passages ophalen in plaats van alles meesturen
Heb je grote verzamelingen documenten, dan haal je het beste eerst alleen de relevante stukken op voor je prompt. Een zoekfunctie of retrieval-laag indexeert de bronnen en voegt vervolgens alleen de treffers toe aan de aanvraag. Dat voorkomt dat je model wordt overspoeld met onnodige context en maakt het mogelijk om veel grotere databronnen te gebruiken dan er in één keer in een modelaanvraag passen. Deze aanpak heet vaak RAG (Retrieval-Augmented Generation).
Goede zoekresultaten vragen zorgvuldig voorbereide splitsing en indexing. Bewaar metadata en gebruik een passende zoekmethode: vectorzoekopdrachten zijn geschikt voor inhoudelijke gelijkenis, daar waar je specifieke termen of codes zoekt, blijven trefwoorden nuttig. Combineer technieken als het nodig is. Daarna bepaalt een rangschikker welke fragmenten bovenaan komen. Een gebrekkige splitsing of ontbrekende metadata kan alles in de weg zitten, ongeacht de kracht van het taalmodel.
Kies bewust hoeveel passages je ophaalt: te weinig levert incomplete antwoorden, te veel vult het venster met ruis. Stel een tokenbudget in, rangschik op relevantie en kwaliteit, en neem bronverwijzingen op in je prompt. Laat het antwoord altijd expliciet verschil maken tussen gevonden informatie en ontbrekende context. Test je aanpak met echte vragen, ook met vragen waarop geen matchend document hoort te zijn. Bij een ChatGPT-integratie of n8n-workflow kun je dit tokenbudget per stap bewaken.
Lange contexten en de kwaliteit van modelantwoorden
Een model accepteert een flinke lap context, maar dat betekent niet dat het elk detail even goed in het antwoord verwerkt. Informatie die meer verscholen zit (of middenin de context staat), valt soms minder op. Vooral als passages elkaar tegenspreken of veel concurrentie is, grijpt het model niet altijd het juiste detail voor het antwoord. Hoe groot die kans is, verschilt per model, taak, en promptvorming.
Groter contextvenster? Het redeneergedrag van het model verandert daarmee niet vanzelf. Botsende bronnen? Label je passages met datum en versie om verwarring te beperken. Zonder heldere bronlabels kunnen antwoorden zomaar oude en nieuwe informatie mengen, of door herhaling onbedoeld intern botsen. Zet instructies en taakregels altijd op een vaste, duidelijke plek, en voorzie bronnen van herkenbare metadata.
Wil je testen hoe modellen omgaan met meer context, kies dan voor vragen waar het antwoord verspreid staat, tegenstrijdige bronnen actief zijn, of de bron géén passend antwoord bevat. Meet niet alleen of het antwoord logisch klinkt, maar kijk ook of het uit de correcte tekst komt en verwijst naar de juiste stukken. Is precisie belangrijk, dan werkt een gerichte zoekstrategie vaak beter dan alles zonder selectie meesturen.
Afbeeldingen, audio en andere invoer in het contextvenster
Met multimodale modellen kun je meer dan platte tekst verwerken. Je aanvraag mag afbeeldingen, audio, video of andersoortige gegevens bevatten. Die gegevens zet een model om naar interne representaties die ruimte innemen, maar de manier en het verbruik zijn afhankelijk van modaliteit en gekozen model. Je kunt een afbeelding dus niet zomaar in teksttokens uitdrukken. Resolutie, aantal beelden, uitsnedes, plus hoe een API bestanden verwerkt, alles heeft invloed.
Een model deelt een afbeelding soms op in kleine stukken en bestudeert details op verschillende niveaus. Veel details of kleine letters betekenen vaak meer computerruimte dan een simpele schets. Audio verstuur je als tekst (transcript) of als echt audiobestand; die keus heeft invloed op zowel de contextinhoud als de kans op modelmisinterpretatie. Bij video tellen het aantal beeldfragmenten dat je selecteert en hun tijdsinformatie uiteraard mee. Zo lijkt een korte prompt soms compact, maar de multimodale inhoud vraagt toch een flink aandeel van je contextvenster.
Beperk je media tot wat je echt nodig hebt voor het antwoord. Snijd een plaatje bij tot het relevante deel, kies enkel belangwekkende videoframes en ga voor transcriptie als alleen de gesproken tekst telt. Kijk na of tijdstempels en broninfo nodig blijven. Let extra op indien tokenmetingen in je logs geen zicht geven op multimedia. Kom je onverwacht krap te zitten qua contextruimte, controleer dan altijd ook welke bestanden en omzettingen er meegaan naast de tekst.
Veelgestelde vragen
Kan een model informatie in een lang contextvenster toch missen?
Ja, dat kan. Zelfs als je informatie netjes meezendt binnen de contextlimiet, pikt een model soms niet elk detail op. De contextlengte vertelt je alleen hoeveel tekst het model technisch aankan, niet dat alles teruggevonden wordt in het antwoord. De plek in de context, ruis en hoe je vraagt speelt een rol. Test praktisch: stop relevante details op verschillende plekken in je invoer en kijk of het model daar bewijsbaar het juiste uithaalt, niet alleen of het plausibel klinkt.
Gebruiken afbeeldingen en audio ook ruimte in het contextvenster?
Ja, media als afbeeldingen en audio gebruiken ook contextruimte. Ze worden alleen niet geteld als gewone teksttokens. Afbeeldingen worden vaak omgezet naar interne blokken of beschrijvingen; audio kan getranscribeerd worden of anders verwerkt. Hoe dit gebeurt verschilt per model en API, dus je kunt niet simpelweg uitgaan van de grootte van het bestand of van een woordentelling. Controleer steeds de documentatie en meet je aanvraag direct via de juiste API.
Tellen toolaanroepen mee voor het contextvenster van een taalmodel?
Ja, toolaanroepen en hun resultaten worden vaak meegestuurd als onderdeel van het gesprek. Bijvoorbeeld als je een zoekopdracht door het model laat formuleren en de gevonden informatie direct weer in de prompt zet. Elk stukje tekst dat je doorgeeft, telt mee voor het contextvenster van het model. Hoe je die delen precies meerekent, hangt af van de API en hoe je je conversatie opbouwt. Neem het toolverkeer dus altijd mee als je je tokenverbruik bekijkt.
Maakt prompt caching het contextvenster groter?
Nee, prompt caching vergroot de beschikbare context niet. Met caching kun je herhaalde of vaste delen van een prompt soms sneller verwerken, bijvoorbeeld een constante instructie in elke aanvraag, maar de gecachte tekst telt wel degelijk gewoon mee als context. Of caching iets oplevert is afhankelijk van je model en aanbieder. Zie de contextlimiet altijd als harde grens en check de API-voorwaarden voor uitzonderingen.
Hoe test ik of een model lange documenten goed kan doorzoeken?
Begin met documenten waarin je vooraf weet waar het relevante antwoord staat, aan het begin, in het midden, of juist aan het einde. Zet ook tegenstrijdige of afleidende informatie in je testdata. Vraag het model om het juiste feit, en kijk niet alleen of het antwoord logisch lijkt, maar of het verwijst naar de juiste passage. Herhaal dit met verschillende lengtes en typen vragen om te ontdekken of je echt vindt wat je zoekt én of de contextlimiet wordt gerespecteerd.
Foto: MART PRODUCTION