Inference is het gebruiken van een AI-model dat al getraind is. Er zijn grofweg twee fases bij AI: trainen, waarbij een model met enorme hoeveelheden data leert, en inference, waarbij je dat kant-en-klare model een vraag stelt en er een antwoord uit komt. Elke keer dat je iets aan een chatbot vraagt, een foto laat herkennen of een tekst laat samenvatten, draait er inference. In het Nederlands zeg je soms “gevolgtrekking”, maar in de praktijk gebruikt iedereen de Engelse term.
Voor het MKB is dit onderscheid belangrijk omdat het bepaalt waar de kosten en de snelheid zitten. Trainen doe je vrijwel nooit zelf; dat doen de grote aanbieders. Wat jij afneemt en betaalt, is inference: per vraag, per verwerkt document of via een vaste abonnementsprijs. Snapt je team dat, dan wordt ook duidelijk waarom een AI-functie vertraging kan hebben bij drukte en waarom “even alles door AI halen” wel degelijk geld kost.
Waar je op let: de snelheid (hoe lang duurt het voor je antwoord er is), de kosten per verwerking, en waar de inference plaatsvindt. Dat laatste is de privacyvraag — draait het model bij een aanbieder in de VS, in Europa, of lokaal op je eigen apparatuur? Voor gevoelige gegevens maakt dat verschil. Kleinere modellen zijn goedkoper en sneller maar minder sterk; grotere modellen precies andersom. En let op: een model kan bij inference nog steeds fout zitten, want het redeneert niet, het voorspelt het meest waarschijnlijke antwoord.
Wat OkayICT hierin doet: we helpen je kiezen welk AI-model waar draait, wat het kost per gebruik en hoe je gevoelige gegevens buiten de verkeerde omgeving houdt.
Meer lezen: Wat is een AI-model? · Wat is een LLM?
