Het context window is het werkgeheugen van een AI-taalmodel: alle tekst die het model tegelijk kan overzien. Daar hoort alles bij wat je in een gesprek hebt getypt, de documenten die je hebt meegestuurd en het antwoord dat het model aan het schrijven is. De grootte wordt uitgedrukt in tokens, stukjes tekst van gemiddeld een paar letters.
Waarom dat uitmaakt in de praktijk: zodra een gesprek of document niet meer past, verdwijnt het oudste deel uit beeld. Het model zegt dat er niet altijd bij, het antwoordt gewoon zonder die informatie. Vraag je iets over pagina drie van een lang contract dat er niet meer helemaal in past, dan krijg je een plausibel klinkend maar onvolledig antwoord. Dat is een van de manieren waarop een model gaat gokken.
Je gaat er verstandig mee om door invoer te beperken tot wat echt nodig is: het relevante hoofdstuk in plaats van het hele handboek, en een nieuw gesprek beginnen als je van onderwerp wisselt. Voor grotere hoeveelheden documenten gebruik je een aanpak waarbij het systeem eerst de relevante stukken opzoekt en alleen die meestuurt. Grotere context windows helpen, maar zijn wel duurder en trager.
Wat OkayICT hierin doet: wij helpen je AI-toepassingen zo inrichten dat de juiste informatie meegaat, in plaats van te hopen dat het model het onthoudt.
Meer lezen: Wat is een LLM? · Wat is RAG (retrieval-augmented generation)?
