Wat is een small language model (SLM)?

Een small language model, kortweg SLM, is een taalmodel met relatief weinig parameters: grofweg enkele honderden miljoenen tot een paar miljard, tegenover honderden miljarden bij een groot taalmodel. Daardoor past het op een laptop, een telefoon of een bescheiden server in plaats van in een datacenter vol grafische kaarten. Het principe is hetzelfde als bij een groot taalmodel; het verschil zit in omvang, kosten en waar het draait.

Voor MKB-bedrijven maakt dat twee dingen mogelijk. Ten eerste blijft gevoelige informatie binnen de deur: een model dat lokaal draait, stuurt geen documenten naar een externe dienst. Ten tweede zijn de kosten voorspelbaar, omdat je niet per verwerkte tekst betaalt. Voor afgebakende taken, zoals e-mails sorteren, teksten samenvatten of formulieren uitlezen, is een klein model vaak ruim voldoende.

De keuze hangt dus af van de taak. Voor open vragen, complex redeneren en creatief schrijven blijft een groot model beter. Voor herhaalbaar werk met een duidelijke uitkomst wint het kleine model op snelheid en prijs. Let op de hardware-eisen, op de licentie van het model, en op het gegeven dat ook een klein model kan hallucineren. Bouw daarom een controle in bij alles wat naar buiten gaat of financieel meetelt.

Wat is het verschil met een large language model?

Het verschil zit vooral in het aantal parameters: de instelbare waarden die een model tijdens de training leert. Een groot taalmodel (LLM) werkt met honderden miljarden parameters en draait daardoor in een datacenter. Een small language model blijft grofweg tussen enkele honderden miljoenen en een paar miljard. Die grens is geen afspraak — bronnen hanteren verschillende bandbreedtes — maar de orde van grootte klopt: een SLM is al gauw een factor tien tot honderd kleiner.

Dat werkt door in de training. Een LLM wordt getraind op een enorme, brede dataset. Een SLM krijgt vaker een kleinere, domeinspecifieke dataset, of ontstaat door een groot model te verkleinen en daarna bij te trainen op één taak. Het gevolg: minder rekenkracht nodig, sneller antwoord, en een model dat op zijn eigen terrein verrassend goed presteert maar daarbuiten eerder de mist in gaat.

Bekende kleinere modellen komen uit de families Phi (Microsoft), Gemma (Google), Llama (Meta) en Mistral. Van elk bestaan varianten van een paar miljard parameters die je zelf kunt draaien.

Waarom zou je als MKB’er voor een klein taalmodel kiezen?

Vier redenen komen steeds terug.

• Privacy. Een model dat lokaal of op je eigen server draait, stuurt geen documenten naar een externe dienst. Dat maakt je AVG-verhaal eenvoudiger, zeker bij personeelsdossiers en klantgegevens.
• Kosten. Je betaalt niet per verwerkte tekst. Bij grote, terugkerende volumes — duizenden mails of facturen per maand — scheelt dat aanzienlijk, en het is vooraf te begroten.
• Snelheid. Er hoeft minder gerekend te worden en het antwoord hoeft niet over het internet. Dat merk je vooral in toepassingen waar iemand zit te wachten.
• Onafhankelijkheid. Het werkt ook als de internetverbinding of de leverancier eruit ligt, en je zit niet vast aan prijswijzigingen of een model dat wordt uitgefaseerd.

Daarnaast speelt energieverbruik mee: minder rekenkracht betekent minder verbruik, wat voor sommige organisaties in de rapportage meetelt.

Waar past het wel en niet?

Een klein model is sterk in herhaalbaar werk met een duidelijke uitkomst: binnenkomende e-mail sorteren, teksten samenvatten, gegevens uit facturen en formulieren halen, een eerste antwoord voor de klantenservice voorstellen, of documenten doorzoekbaar maken. Voor open vragen, complex redeneren en creatief schrijfwerk blijft een groot model beter.

Veel bedrijven kiezen daarom voor een hybride aanpak: het kleine model doet het volume, en alleen de lastige gevallen gaan naar een groot model. Let voordat je begint op drie dingen: de hardware-eisen (vooral werkgeheugen en een geschikte videokaart), de licentie van het model bij commercieel gebruik, en het gegeven dat ook een klein model kan hallucineren.

Veelgestelde vragen

Wat is het verschil tussen een small language model en een large language model?

De omvang. Een SLM heeft grofweg enkele honderden miljoenen tot een paar miljard parameters, een LLM honderden miljarden. Daardoor draait een SLM lokaal en snel, terwijl een LLM meer aankan maar rekenkracht uit een datacenter nodig heeft.

Kan een small language model op mijn eigen laptop of server draaien?

Vaak wel. Modellen van een paar miljard parameters draaien op een moderne laptop of een bescheiden server; werkgeheugen en een geschikte videokaart zijn de beperkende factor. Hoe groter het model, hoe zwaarder de machine.

Is een klein taalmodel veiliger voor bedrijfsgegevens?

Als het lokaal draait wel, want je gegevens verlaten je eigen omgeving niet. Alle risico’s zijn daarmee niet weg: wie toegang heeft tot het model, heeft toegang tot wat je erin stopt. Toegangsrechten en logging blijven dus nodig.

Wanneer kies je een SLM en wanneer een LLM?

Kies een SLM voor afgebakende, herhalende taken met veel volume of gevoelige data. Kies een LLM voor open vragen, complex redeneerwerk en teksten waar kwaliteit boven kosten gaat. Een combinatie van allebei is heel gebruikelijk.

Meer lezen: Wat is een taalmodel (LLM)? · Wat is een AI-model?