Wat is multimodale AI?

Multimodale AI is kunstmatige intelligentie die met verschillende soorten informatie tegelijk overweg kan. Modaliteit is hier een deftig woord voor informatiesoort: tekst, afbeeldingen, geluid of video. Waar oudere modellen alleen tekst begrepen, kan een multimodaal model een foto bekijken, een gesproken vraag verstaan en daar in gewone taal antwoord op geven, in één en dezelfde vraag.

Voor het MKB maakt dat een verschil bij alles wat niet netjes in een formulier past. Denk aan een monteur die een foto van een typeplaatje stuurt en meteen de juiste onderdeelinformatie krijgt. Een boekhouder die een stapel bonnen fotografeert. Een opname van een klantgesprek die automatisch een samenvatting met actiepunten oplevert. Werk dat vroeger overtypen was, wordt controleren.

Twee dingen om te weten. Het model kan zich vergissen en doet dat overtuigend, dus bij bedragen, typenummers en namen blijft controle nodig. En zodra je foto’s, opnames of documenten uploadt, gaan bedrijfsgegevens en soms persoonsgegevens de deur uit. Gebruik een zakelijke variant waarbij je invoer niet gebruikt wordt om het model te trainen, en leg vast wat medewerkers wel en niet mogen delen.

Hoe werkt multimodale AI?

Een multimodaal AI-model krijgt tijdens de training tekst, beeld, audio en video door elkaar te verwerken. Het leert daarbij de verbanden tussen die modaliteiten: dat een bepaald woord hoort bij een bepaald soort afbeelding, en dat een gesproken zin dezelfde betekenis kan hebben als een geschreven zin. Alle input wordt intern omgezet naar dezelfde soort getallenreeksen, waardoor het model tekst en beeld in één keer kan analyseren in plaats van los van elkaar.

Dat is het verschil met een paar jaar geleden, toen bedrijven losse modellen aan elkaar knoopten: één voor spraakherkenning, één voor beeldherkenning en één voor tekst. Bekende multimodale modellen komen onder meer van OpenAI en Google; in de praktijk zit die techniek gewoon in de AI-assistent die je al gebruikt.

Waar gebruik je multimodale AI voor?

Alles wat nu nog met overtypen, doorsturen of uitleggen gebeurt, is kandidaat. Een monteur fotografeert een typeplaatje en krijgt de juiste onderdeelinformatie terug. Een boekhouder laat een stapel bonnen uitlezen in plaats van ze in te kloppen. Een klant stuurt een screenshot van een foutmelding en de helpdesk heeft meteen een eerste diagnose. Een opname van een klantgesprek levert automatisch een samenvatting met actiepunten op.

Het combineren van data uit verschillende bronnen maakt de antwoorden bovendien nauwkeuriger: een model dat zowel de afbeeldingen als de toelichting ziet, hoeft minder te gokken. Naast het verwerken van input kunnen veel van deze modellen ook zelf content genereren, van tekst tot beeld.

Veelgestelde vragen

Wat is het verschil tussen multimodale AI en gewone AI?

Een gewoon taalmodel kan alleen tekst lezen en schrijven. Een multimodaal model kan daarnaast afbeeldingen, audio en video verwerken, en die soorten informatie in dezelfde vraag combineren. Je kunt dus een foto sturen met de vraag “wat zie ik hier?” in plaats van eerst zelf te beschrijven wat erop staat.

Welke tools zijn multimodaal?

De bekende assistenten van OpenAI, Google, Anthropic en Microsoft zijn dat inmiddels allemaal in meer of mindere mate. Let wel op je abonnement: welke modaliteiten je mag gebruiken en hoeveel, verschilt per licentie.

Kan een multimodaal model zich vergissen bij een foto?

Ja, en het doet dat overtuigend. Bij typenummers, bedragen, handschrift en namen blijft controle door een mens nodig. Gebruik het om werk voor te bereiden, niet om er blind op te varen.

Is multimodale AI veilig voor bedrijfsgegevens?

Dat hangt van de dienst af. Zodra je foto’s, opnames of documenten uploadt, gaan bedrijfsgegevens en soms persoonsgegevens de deur uit. Kies een zakelijke variant waarbij je invoer niet wordt gebruikt om modellen te trainen, en leg in een kort beleid vast wat medewerkers wel en niet mogen delen.

Meer lezen: Wat is een taalmodel (LLM)? · Wat is computervisie?