Etik, risk och säkerhet
Explainable AI (XAI)
Explainable AI, förkortat XAI, är metoder för att göra begripligt varför en modell gav ett visst svar. Det handlar sällan om att öppna modellen och läsa den, utan om att i efterhand ta fram en förklaring som håller för granskning.
Vad explainable AI förväxlas med
Att modellen är öppen. Att kunna ladda ned en modell ger ingen förklaring. Öppenhet och förklarbarhet är två skilda saker.
En sann förklaring. De vanligaste metoderna visar vilka faktorer som vägde tyngst i ett enskilt fall. Det är en rimlig beskrivning, inte en redogörelse för vad som faktiskt hände inuti.
Transparens om systemet. Att tala om att AI används, vilken data som ligger bakom och vem som ansvarar är en annan sorts öppenhet, och ofta den som efterfrågas.
Var du möter ordet explainable AI
I upphandlingsunderlag och i granskningar, alltså där någon ska kunna svara på varför. Och i beslut som rör enskilda personer, där kravet på motivering finns oavsett vilken teknik som använts.
Vad du kan göra med det
Fråga vad förklaringen ska användas till innan ni beställer den. En förklaring som ska övertyga en granskare ser annorlunda ut än en som ska hjälpa en handläggare avgöra om svaret är rimligt.
Och räkna med att en förklaring som ser övertygande ut inte i sig gör svaret rätt. Det är fullt möjligt att få en trovärdig motivering till ett felaktigt utfall.
Vidare
Black box-modeller om modellerna förklaringen behövs för. Bias och fairness i AI om skevheter en granskning ska fånga. Se kurserna