Modeller och tekniker
Sparse Models
Sparse models, glesa modeller, är AI-modeller där bara en del av nätverket används för varje fråga. Modellen kan vara mycket stor totalt sett men räknar bara igenom den del som behövs, vilket gör den billigare att köra. Motsatsen är dense models, där hela nätverket räknas igenom varje gång.
Vad sparse models förväxlas med
En liten modell. En gles modell kan ha fler parametrar än en tät. Skillnaden är hur många som används åt gången, inte hur många som finns.
Sämre kvalitet. Glesheten är ett sätt att hushålla med beräkning, inte en nedskalning av vad modellen kan.
Sparse data. Ett annat begrepp, som handlar om datamaterial med många tomma värden.
Var du möter sparse models
I tekniska beskrivningar av hur en modell är byggd, ofta under namnet mixture of experts. För dig som användare märks det mest indirekt, som lägre pris eller snabbare svar.
Vad du kan göra med det
Ordet är sällan ett urvalskriterium i sig. Det förklarar däremot varför två modeller med jämförbar kvalitet kan kosta mycket olika att använda, och den skillnaden syns i en faktura för API-användning.
Vidare
Dense models om motsatsen. AI-modell om vad en modell är. GPU om varför beräkningskostnaden spelar roll.