Wat is een embedding?

Een embedding is de vertaling van betekenis naar getallen. Een AI-model zet een zin, een document of een afbeelding om in een lange rij getallen. Teksten die inhoudelijk op elkaar lijken, krijgen rijen die dicht bij elkaar liggen. Zo kan software zoeken op betekenis in plaats van op letterlijke woorden: een vraag over factuur betalen vindt ook een document over het voldoen van een rekening.

Voor het MKB is dit de motor onder slim zoeken in je eigen documenten. Het is de techniek waarmee een AI-assistent antwoord geeft op basis van jouw handleidingen, contracten of kennisbank in plaats van uit algemene internetkennis. Ook praktisch: bijna-dubbele klantrecords opsporen, binnenkomende mail automatisch in de juiste categorie zetten, of vergelijkbare eerdere meldingen erbij zoeken.

Waar je op let is vooral de omgang met je data. Om embeddings te maken gaat je tekst door een model heen en worden de getallenreeksen ergens opgeslagen, vaak in een vector-database. Uit die getallen valt de oorspronkelijke inhoud deels te herleiden, dus behandel ze als de documenten zelf: zelfde rechten, zelfde bewaartermijnen. Let er ook op dat de rechten meelopen, zodat niemand via de zoekfunctie stukken ziet waar hij normaal niet bij mag.

Hoe werkt een embedding?

Een AI-model leest je tekst en zet die om in een vector: een lange rij getallen, in de praktijk vaak 768, 1.536 of 3.072 posities lang. Die numerieke representatie vangt de betekenis van de tekst. Woorden en zinnen die inhoudelijk bij elkaar horen krijgen bijna dezelfde reeks — “hond” en “puppy” liggen dicht bij elkaar, “hond” en “kwantummechanica” ver uit elkaar.

Om te bepalen hoe dicht twee embeddings bij elkaar liggen, rekent de software de hoek tussen beide vectoren uit. Die maat heet cosine similarity. Zo vind je bij een vraag de documenten die er qua betekenis het dichtst bij zitten, ook als er geen enkel woord letterlijk overeenkomt. Dat is het verschil tussen zoeken op exacte woorden en semantisch zoeken.

Waar gebruik je embeddings voor?

De bekendste toepassing is een chatbot of AI-assistent die antwoord geeft op basis van jouw eigen documenten. Bij elke vraag zoekt het systeem eerst de meest relevante stukken tekst op met embeddings en geeft die als context mee aan het model. Die aanpak heet RAG.

Daarnaast zie je embeddings terug bij het opsporen van bijna-dubbele klantrecords, het automatisch in de juiste categorie zetten van binnenkomende mail, het erbij zoeken van vergelijkbare eerdere meldingen en het aanbevelen van producten. En het blijft niet bij taal: ook afbeeldingen en audio kun je op deze manier met elkaar vergelijken.

Veelgestelde vragen

Wat is het verschil tussen een embedding en een vector?

Een vector is het wiskundige begrip: een rij getallen. Een embedding is zo’n vector die door een model is gemaakt en die de betekenis van een stuk tekst, beeld of geluid weergeeft. Elke embedding is dus een vector, maar niet elke vector is een embedding.

Hoeveel dimensies heeft een embedding?

Dat hangt van het model af. Gangbare modellen leveren 768 tot 3.072 getallen per stuk tekst. Meer dimensies vangen meer nuance, maar kosten ook meer opslag en rekentijd. Voor de meeste MKB-toepassingen is het standaardmodel van je leverancier ruim voldoende.

Waar worden embeddings opgeslagen?

Meestal in een vector-database, die speciaal is gebouwd om snel te zoeken naar de dichtstbijzijnde vectoren. Sommige zoek- en databasepakketten die je al gebruikt kunnen dit inmiddels ook zelf.

Zijn embeddings veilig voor bedrijfsgegevens?

Ze zijn geen versleuteling. Uit een embedding valt de oorspronkelijke inhoud deels te herleiden, dus behandel ze met dezelfde rechten en bewaartermijnen als de documenten waar ze vandaan komen. Kies daarnaast een zakelijke dienst die jouw teksten niet gebruikt om modellen te trainen.

Meer lezen: Wat is een vectordatabase? · Wat is RAG (retrieval-augmented generation)?