Modeller och tekniker
Attention Mechanism
Attention mechanism är den del av en AI-modell som avgör vilka delar av indata som ska väga tyngst när svaret räknas fram. I stället för att behandla alla ord i en text lika mycket viktas de mot varandra. Tekniken är grunden i transformerarkitekturen och därmed i dagens språkmodeller.
Vad attention mechanism förväxlas med
Modellens minne. Attention avgör vad modellen väger tyngst i det den redan har framför sig. Hur mycket text som får plats är en annan sak, och den styrs av kontextfönstret.
Uppmärksamhet i mänsklig mening. Ordet är en liknelse. Det handlar om vikter i en beräkning, inte om att modellen förstår vad som är viktigt.
Hela transformerarkitekturen. Attention är en beståndsdel i en transformer, inte ett annat namn på den.
Var du möter attention mechanism
I teknisk dokumentation och i texter om hur språkmodeller är byggda. Köper ni färdiga verktyg dyker ordet upp som en förklaringsfotnot, och du behöver det inte för att använda dem.
Vidare
Transformer är arkitekturen som attention sitter i. Kontextfönster (Context Window) för hur mycket text modellen kan väga samman på en gång. LLM (Large Language Model) för vad tekniken används till i praktiken.