Modeller och tekniker
Self-Supervised Learning
Self-supervised learning är en träningsmetod där modellen skapar sina egna övningsuppgifter ur omärkt data, till exempel genom att dölja ord i en text och lära sig gissa dem. Ingen människa behöver märka upp materialet i förväg. Metoden är förklaringen till att dagens språkmodeller har kunnat tränas på så enorma textmängder.
Vad self-supervised learning förväxlas med
Att modellen sköter sig själv. Uppgifterna skapas automatiskt, men urvalet av data, uppföljningen och justeringen efteråt görs av människor.
Oövervakad inlärning. Oövervakad inlärning letar struktur i data. Self-supervised skapar ett facit ur datan och tränar mot det.
Att märkt data blivit onödig. Efter grundträningen krävs ofta märkt material och mänsklig återkoppling för att modellen ska bli användbar.
Var du möter self-supervised learning
I beskrivningar av hur en modell har tränats, och i diskussioner om vilken data som använts. För dig som använder färdiga verktyg är det bakgrund, inte något att ta ställning till.
Vidare
Maskininlärning för de olika sätten att träna. LLM (Large Language Model) för vad metoden gjort möjlig. Transformer för arkitekturen som tränas.