Wat is een transformer-model?

Een transformer-model is het type neuraal netwerk waarop vrijwel alle moderne taalmodellen draaien. Het bijzondere eraan is dat het naar een hele tekst tegelijk kijkt en per woord bepaalt welke andere woorden er het meest toe doen. Dat mechanisme heet attentie en is de reden dat deze modellen verband over lange stukken tekst kunnen vasthouden.

Je hoeft de techniek niet te kennen om AI te gebruiken, maar het verklaart wel wat je in de praktijk merkt. Omdat het model werkt met waarschijnlijkheden en niet met feiten, kan het overtuigend iets verzinnen. En omdat het alles binnen een beperkt venster bekijkt, verliest het bij hele lange gesprekken de draad. Dat zijn geen storingen maar eigenschappen van het ontwerp.

Kort door de bocht: tekst wordt opgeknipt in stukjes, elk stukje krijgt een numerieke voorstelling, en het model voorspelt telkens het volgende stukje op basis van alles wat het gezien heeft. De kwaliteit hangt af van de trainingsdata en de omvang van het model. Voor je bedrijf betekent dat vooral: controleer belangrijke output, en kies bewust welke gegevens je in een model stopt.

Hoe een transformer-model leert

Een transformer wordt getraind op enorme hoeveelheden tekst. Tijdens die training krijgt het model telkens een stuk tekst te zien waarvan een deel is weggelaten, en moet het raden wat er hoort te staan. Zit het ernaast, dan worden de interne instellingen een fractie bijgesteld. Herhaal dat heel vaak en het model leert de patronen in taal kennen: welke woorden bij elkaar horen, hoe een zin loopt, welke relaties er tussen woorden bestaan.

De truc die de transformer onderscheidt van oudere modellen heet attention. Het model kijkt bij elk woord naar alle andere woorden in de context en bepaalt welke daarvan er op dat moment toe doen. In “de bank stond aan het water” weegt “water” zwaar mee om te begrijpen welke bank er bedoeld wordt. Oudere modellen lazen een zin woord voor woord en verloren onderweg het begin; een transformer heeft het hele venster in beeld.

Transformer, LLM en GPT: wat is wat?

Die termen worden door elkaar gebruikt, maar ze zitten op verschillende niveaus. De transformer is de architectuur, oftewel de bouwtekening. Een LLM, voluit large language model, is wat je krijgt als je die architectuur op grote schaal traint op tekst. GPT is een naam die één aanbieder aan zijn eigen serie taalmodellen geeft. Vrijwel alle bekende LLM’s zijn gebaseerd op dezelfde transformer-architectuur.

Voor je bedrijf is vooral dit relevant: de kwaliteit van de antwoorden is afhankelijk van de data waarop het model is getraind en van hoe duidelijk je je vraag stelt. Denk niet aan een zoekmachine die iets opzoekt, maar aan een systeem dat op basis van patronen tekst leert genereren. Dat werkt beter naarmate je preciezer bent over wat je wilt.

Veelgestelde vragen

Wat is een transformer-model in het kort?

Het is het type neuraal netwerk achter vrijwel alle moderne taalmodellen. Het kijkt naar een hele tekst tegelijk in plaats van woord voor woord, en voorspelt op basis van patronen telkens het volgende stukje tekst.

Waarom heet het een transformer?

De naam komt uit het onderzoekspaper waarin de architectuur in 2017 werd beschreven. Hij verwijst naar de manier waarop het model een reeks stukjes tekst omzet, oftewel transformeert, in een nieuwe reeks waarin de context van elk stukje is verwerkt.

Werken transformers alleen met taal?

Nee. Dezelfde aanpak wordt ook gebruikt voor beeld, geluid en code. Een model dat tekst en beeld combineert heet multimodaal, maar onder de motorkap zit dezelfde soort architectuur: andere toepassingen, dezelfde bouwtekening.

Waarom geeft een model soms met veel zelfvertrouwen een fout antwoord?

Omdat het geen feiten opzoekt maar het meest waarschijnlijke vervolg voorspelt. Klinkt een antwoord plausibel, dan komt het eruit, ook als het niet klopt. Controleer belangrijke antwoorden daarom altijd, zeker als er cijfers, namen of juridische details in zitten.

Meer lezen: Wat is een neuraal netwerk? · Wat is deep learning?