Modeller och tekniker
Multimodal AI
Multimodal AI är modeller som hanterar flera slags innehåll i samma system: text, bild, ljud och video. Du kan alltså visa en bild och ställa en fråga om den i samma samtal. Det är i dag standard i de stora verktygen och inte längre en egen produktkategori.
Vad multimodal AI förväxlas med
Att verktyget är lika bra på allt. Att en modell tar emot bild betyder inte att den är lika stark på bild som på text. Kvaliteten skiljer sig kraftigt mellan innehållstyperna.
Flera verktyg i samma gränssnitt. En produkt som både skriver och gör bilder kan mycket väl koppla ihop separata modeller. Multimodalt betyder att samma modell hanterar dem.
Multimodalt lärande i pedagogik. Ett äldre och helt annat begrepp, som handlar om undervisning och inte om teknik.
Var du möter multimodal AI
När du fotograferar en blankett och ber om en sammanfattning. När du klistrar in ett diagram och frågar vad det visar. Ordet syns sällan i gränssnittet, men funktionen är den som förändrat vardagsanvändningen mest de senaste åren.
Vad du kan göra med det
Prova på era egna underlag innan ni litar på det. Förmågan att läsa svenska handskrivna anteckningar, tabeller i pdf och skärmbilder varierar mer än marknadsföringen antyder, och skillnaden syns först på ett riktigt dokument.
Var särskilt försiktig med siffror i tabeller. Ett verktyg som läser en tabell fel gör det tyst, och resultatet ser lika prydligt ut som när det blev rätt.
Vidare
LLM om tekniken bakom textdelen. Bildigenkänning om hur system tolkar bilder. Generativ AI om vad modellerna producerar.