Modeller och tekniker
Transformer
Transformer är den modellarkitektur som nästan alla dagens språkmodeller är byggda på. Den bearbetar en hel textsekvens på en gång och väger orden mot varandra i stället för att läsa dem ett i taget. Arkitekturen presenterades 2017 och är förklaringen till att modellerna kunde växa så snabbt.
Vad transformer förväxlas med
En modell du kan använda. Transformer är en ritning, inte en produkt. Modellerna som byggs på den har egna namn.
Något som bara gäller text. Samma arkitektur används i dag även för bild, ljud och video.
En elektrisk transformator. Ordet är detsamma på engelska, men här handlar det om en arkitektur för neurala nätverk.
Var du möter transformer
I teknisk dokumentation och i förklaringar av varför en modell fungerar som den gör. Använder ni färdiga verktyg är arkitekturen bakgrundskunskap, inget som styr era val.
Vidare
Attention Mechanism för mekanismen som gör arkitekturen möjlig. LLM (Large Language Model) för modellerna som byggs på den. BERT för ett tidigt och välkänt exempel.