Etik, risk och säkerhet
Black box-modeller
En black box-modell är en modell vars inre inte går att läsa och förklara, ens för den som byggt den. Man ser vad som gick in och vad som kom ut, men inte varför. Det gäller i praktiken alla modeller byggda på neurala nätverk, alltså de flesta som används i dag.
Vad black box-modeller förväxlas med
Sluten källkod. En modell kan vara helt öppen och ändå oläsbar. Att få se den hjälper inte, eftersom den består av miljarder tal och inte av instruktioner.
Att leverantören döljer något. Ibland stämmer det, men oftast kan inte heller leverantören svara. Det är en egenskap hos tekniken, inte en affärshemlighet.
Att svaren är slumpmässiga. Modellen är konsekvent på sitt eget sätt. Det som saknas är en förklaring i ord.
Var du möter ordet black box-modeller
När någon frågar varför ett beslut blev som det blev och det inte finns ett svar att ge. I offentlig sektor är det ofta där frågan blir skarp, eftersom ett beslut som rör en enskild ska kunna motiveras.
Vad du kan göra med det
Välj användning efter hur mycket förklaring som krävs. Där ett svar behöver kunna motiveras för den som berörs bör modellen antingen vara enklare eller bara föreslå, aldrig avgöra.
Förklarbarhet går delvis att köpa till med särskilda metoder, men de ger en förklaring som är rimlig snarare än sann. Det är en viktig skillnad när någon ska stå för beslutet.
Vidare
Explainable AI (XAI) om metoderna som ger en förklaring i efterhand. Neurala nätverk om varför modellen inte går att läsa. Se kurserna