Etik, risk och säkerhet
Mänsklig kontroll
Mänsklig kontroll betyder att en människa granskar och kan ingripa innan ett AI-svar får verkan. På engelska human in the loop. Det är inte samma sak som att någon läser texten snabbt innan den skickas: kontrollen räknas när den som utför den vet vad hon ska leta efter och har mandat att stoppa.
Vad mänsklig kontroll förväxlas med
Att någon läser igenom. En genomläsning utan att veta vad man letar efter hittar stavfel, inte påhittade uppgifter.
Ett godkännandesteg i systemet. En knapp som någon trycker på är en rutin. Kontroll är att den som trycker faktiskt kan bedöma innehållet.
Mänsklig tillsyn i lagens mening. AI-förordningen ställer särskilda krav på mänsklig tillsyn för högrisksystem. Vardaglig granskning av ett AI-svar är något annat, och mycket vanligare.
Var du möter ordet mänsklig kontroll
I AI-förordningen, där kommissionen dessutom varit tydlig med att den som använder högrisksystem ska se till att personalen är utbildad för att utöva tillsynen. I leverantörers marknadsföring, där det ofta står att en människa alltid är med, utan att det sägs vad hon förväntas göra. Och i efterhandsanalysen, när något felaktigt redan gått ut.
Vad du kan göra med det
Tre fel återkommer, och de går att öva på: uppgifter som inte finns, innehåll som fallit bort på vägen, och antaganden verktyget gjort utan att säga det. Den som ska utöva kontrollen behöver veta vilka tre det är, och ha mandat att stoppa det som inte håller.
Vidare
Att känna igen de tre felen är en färdighet och inte en instruktion. Hos oss prövas den på ett förberett svar med planterade fel, så att deltagaren märker skillnaden mellan att läsa och att granska.
Hallucination förklarar varför ett felaktigt svar låter lika övertygande som ett riktigt.