Inferentie is het moment waarop een getraind AI-model wordt gebruikt. Trainen is de dure, eenmalige fase waarin het model patronen leert; inferentie is elke keer daarna dat jij een vraag stelt en het model een antwoord berekent. Vrijwel alles wat je dagelijks van AI merkt, is inferentie.
Het verschil is voor het MKB vooral een kostenverhaal. Je betaalt per gebruik: per vraag, per verwerkt document, per gegenereerde afbeelding. Een pilot met vijf mensen kost bijna niets, maar dezelfde toepassing voor honderd medewerkers die de hele dag doorvragen loopt op. Reken dus met verbruik, niet met een vast bedrag per maand.
Waar de inferentie draait bepaalt ook je privacyverhaal. Bij een clouddienst gaat je vraag naar de server van de leverancier; bij een model dat lokaal of in je eigen omgeving draait blijft de data binnen. Kijk verder naar snelheid en naar de lengte van je vraag: hoe meer context je meestuurt, hoe meer rekenwerk en hoe hoger de rekening.
Wat OkayICT hierin doet: wij rekenen door wat AI-gebruik in jouw situatie kost en kiezen per toepassing of het in de cloud of dichter bij huis moet draaien.
Meer lezen: Wat is een AI-model? · Wat is een LLM?
