Modeller och tekniker
Modellutvärdering
Modellutvärdering är arbetet med att mäta hur väl en AI-modell presterar, både innan den tas i drift och medan den används. Mätningen görs på data som modellen inte har tränats på, för att se om den klarar nya fall. Utan utvärdering vet du bara att modellen ger svar, inte om svaren håller.
Vad modellutvärdering förväxlas med
Träffsäkerhet i procent. En hög andel rätt kan dölja att modellen missar just de fall som betyder mest. Vilket mått som gäller beror på vad ett fel kostar.
Ett test som görs en gång. Verkligheten förändras och modellen gör det inte. Utvärderingen behöver upprepas.
Att prova ett chattverktyg med några frågor. Stickprov säger något om känslan, inte om prestandan.
Var du möter modellutvärdering
I dokumentationen från den som byggt modellen, och som en punkt värd att kräva när ni köper något som ska fatta eller stödja beslut. Fråga vad som mättes, på vilken data och när.
Vidare
Maskininlärningens pipeline för var i kedjan utvärderingen sitter. Bias och fairness i AI för vad utvärderingen bör leta efter. Prediktion för det som mäts.