Vad en AI-agent är och var gränsen går för vad den får göra

En AI-agent är ett system där en AI-modell kan välja steg och använda verktyg för att utföra en uppgift åt en användare. Det som gör agenten användbar gör den också riskfylld: den kan inte bara föreslå en handling utan även försöka genomföra den.

För den som ska börja arbeta med en AI-agent är behörigheterna det första att förstå, eftersom de avgör vad agenten faktiskt kan ställa till med när den tar fel.

Vad är en AI-agent?

OpenAI beskriver i sin praktiska guide till AI-agenter en agent som ett system som självständigt utför uppgifter åt en användare. Modellen styr arbetsflödet, väljer verktyg och avgör när uppgiften är klar eller när kontrollen behöver lämnas tillbaka till en människa.

Anthropic skiljer mellan arbetsflöden och agenter:

• I ett arbetsflöde bestämmer programkoden i förväg vilka steg som ska följas.
• I en agent väljer AI-modellen dynamiskt vilka steg och verktyg som ska användas.

Skillnaden är inte att agenten har en egen vilja. Den arbetar inom mål, instruktioner, behörigheter och stopvillkor som människor har satt upp.

Den korta definitionen står i ordlistan under AI-agentAI-agentEn AI-agent är ett verktyg som utför flera steg på egen hand mot ett mål du satt, i stället för att svara på en fråga i taget..

AI-agent eller chattbot?

En chattbot tar emot en fråga och skapar ett svar. En agent kan dessutom använda verktyg och fortsätta över flera steg.

Tänk på skillnaden mellan dessa två uppgifter:

• Chattbot: "Skriv ett förslag till svar på kundens mejl."
• Agent: "Läs kundens ärende, hämta orderstatus, skriv svaret, be om godkännande och skicka mejlet."

Den andra uppgiften kräver åtkomst till data och minst ett verktyg som kan förändra något utanför chatten. Därför behöver den fler kontroller.

Alla system som använder en språkmodell är inte agenter. En textsammanfattare, klassificerare eller enkel frågechatt kan vara vanlig programvara med en AI-funktion.

Vilken form en viss uppgift behöver, chattbot, fast arbetsflöde eller agent, går att avgöra steg för steg med beslutsstegen för chattbot och AI-agent.

Agentens viktigaste delar

OpenAI:s guide delar upp agenten i modell, verktyg och instruktioner. I en praktisk lösning behöver du också beskriva miljö, tillstånd och stopvillkor.

Modell

Modellen tolkar uppgiften, väljer nästa steg och bedömer resultatet. En mer kapabel modell löser inte automatiskt problemet med otydliga mål eller för breda behörigheter.

Verktyg

Verktygen låter agenten läsa eller förändra externa system. Ett verktyg kan exempelvis:

• söka i en kunskapsbas,
• läsa ett kundärende,
• skapa ett utkast,
• uppdatera en post,
• skicka ett meddelande,
• starta en betalning.

Skillnaden mellan att läsa och att skriva är viktig. Ett läsfel kan ge ett dåligt svar. Ett skrivfel kan ändra data eller påverka en annan människa.

Instruktioner

Instruktionerna anger uppgift, gränser och hur agenten ska agera i olika situationer. De bör tala om:

• vilket mål som ska nås,
• vilket underlag som får användas,
• vilka verktyg som är tillåtna,
• när godkännande krävs,
• när agenten ska stanna,
• hur osäkerhet och fel ska rapporteras.

Miljö och behörigheter

Miljön består av de filer, webbplatser, databaser och program som agenten kan nå. Anthropic beskriver hur agentens beteende beror på modellen, instruktionerna, verktygen och miljön tillsammans.

Behörigheter bör därför ges per verktyg och handling. Att läsa en kalender är inte samma risk som att skicka en inbjudan. Att skapa ett betalningsutkast är inte samma risk som att godkänna betalningen.

Tillstånd och stopvillkor

Agenten behöver veta vad som redan har hänt och när arbetet ska avslutas. Utan tydliga gränser kan den upprepa samma steg, göra onödiga anrop eller fortsätta efter att uppgiften borde ha lämnats till en människa.

Ett stopvillkor kan vara:

• uppgiften är verifierad som klar,
• ett bestämt antal försök har misslyckats,
• nödvändig information saknas,
• en åtgärd kräver mänskligt godkännande,
• kostnads- eller tidsgränsen är nådd.

Så arbetar en agent

En enkel agentloop kan beskrivas så här:

1. tolka målet,
2. välj nästa steg,
3. välj ett tillåtet verktyg,
4. utför verktygsanropet,
5. läs resultatet från miljön,
6. bedöm om målet är nått,
7. fortsätt, be om hjälp eller stanna.

Resultatet från miljön är viktigt. Agenten bör inte anta att en åtgärd lyckades. Den behöver kontrollera kvittot från verktyget, läsa tillbaka ändringen eller använda ett annat test som visar vad som faktiskt hände.

Hur en sådan loop byggs, med no-code, ett ramverk eller egen kod, står i genomgången av hur AI-agenter byggs. För att använda en agent räcker det att förstå loopen.

När passar en agent?

Anthropic rekommenderar i sin vägledning att börja med den enklaste lösningen och öka komplexiteten först när det behövs. Ett vanligt arbetsflöde är ofta bättre när reglerna är tydliga och varje steg kan bestämmas i förväg.

En agent kan vara relevant när uppgiften:

• består av flera steg som varierar mellan ärenden,
• kräver tolkning av ostrukturerad text eller dokument,
• behöver välja mellan flera verktyg,
• innehåller återkoppling från miljön,
• har ett resultat som går att verifiera.

En agent är ett sämre val när ett fast regelverk, ett formulär eller en enkel databasfråga löser uppgiften tillförlitligt.

Exempel utan effektlöften

Följande är exempel på agentuppgifter, inte bevis på att en agent förbättrar resultatet:

Kundärenden

Agenten kan läsa ett ärende, hämta information från godkända källor och skapa ett svarsförslag. En människa kan behöva godkänna återbetalning, avtalstolkning eller extern kommunikation.

Dokumenthantering

Agenten kan identifiera dokumenttyp, hämta relevanta fält och markera vad som saknas. Resultatet behöver jämföras med originaldokumentet innan data skrivs till ett annat system.

Intern informationssökning

Agenten kan söka i flera interna källor och sammanställa ett svar. Källorna bör följa med så att användaren kan kontrollera dem.

Programvaruarbete

Agenten kan läsa kod, föreslå en ändring och köra tester. Att skriva till ett produktionssystem eller slå samman kod kan kräva separat godkännande.

Värdet avgörs av den enskilda uppgiften, testresultatet och kostnaden för fel. Branschnamn i sig säger inte om en agent är lämplig.

Risker som behöver testas

Fel mål

En agent kan följa en bokstavlig instruktion men ändå missa användarens avsikt. Målet behöver innehålla kvalitetskrav och gränser, inte bara en slutpunkt.

För breda behörigheter

Om agenten får fler verktyg eller större åtkomst än uppgiften kräver ökar konsekvensen av ett fel. Ge minsta nödvändiga behörighet och skilj mellan läsning, utkast och genomförande.

I praktiken betyder det behörighet per handling, inte per system. En agent som ska sammanställa underlag ur ett ärendesystem får läsrätt där och ingenting mer. Behöver den senare skapa ett utkast får den rätt att skapa utkast, men inte att skicka eller skriva över befintliga poster.

Varje ny skrivrätt är ett eget beslut, med en egen fråga om vad det värsta felet blir. Börja i läsläge och lägg till skrivrätt en handling i taget, när du har sett hur agenten beter sig med den förra. En behörighet som ges för att det var enklast blir lätt kvar.

I verktyg där agenten frågar före varje handling sitter samma gräns i godkännandet. I Copilot Cowork kan ett enda val i listrutan bredvid Skicka låta liknande åtgärder gå igenom utan fråga resten av sessionen, och det valet är värt att förstå innan det görs.

Radering och ändringar som inte går att ångra

Det dyraste felet är det som inte går att ta tillbaka. En agent med skrivrätt i en mapp, en databas eller ett ärendesystem kan ändra och radera där, också när den har tolkat uppgiften fel eller följt en instruktion den inte borde ha följt.

Fråga därför var kopian ligger innan en agent får arbeta i något som är svårt att återskapa. Svaret ska vara en säkerhetskopia som agenten själv inte når. Ligger kopian i samma system och med samma behörighet som originalet kan samma misstag ta båda.

Kontrollera också att kopian går att läsa tillbaka. En säkerhetskopia som aldrig har prövats är ett antagande, och först vid en återställning visar det sig om den var komplett.

Promptinjektion

Anthropic beskriver i sin genomgång av tillförlitliga agenter promptinjektion som skadliga instruktioner gömda i innehåll som agenten läser. En angripare kan försöka få agenten att bortse från sina regler eller använda ett verktyg på fel sätt.

Skydd behöver finnas i flera lager: begränsade verktyg, snäva behörigheter, kontroll av indata, godkännande före riskfyllda handlingar och loggning av vad agenten gjorde.

Vad sådana angrepp kan leda till när en agent har bred åtkomst, i ett forskningsexperiment bland annat läckta uppgifter och raderade filer, beskrivs i genomgången av AI-autonomi och säkerhetsåtgärder.

Felaktiga resultat

Generativ AI kan skapa felaktigt innehåll som låter trovärdigt. Risken är dubbel, och det andra ledet glöms oftast bort: agenten kan ha fel, och den som läser kan lita på felet just därför att det är prydligt formulerat. Ett svar som ser färdigt ut granskas sällan lika hårt som ett som ser osäkert ut.

Skriv därför in i uppgiften vad som ska stämmas av mot källan innan resultatet används, i stället för att lita på att någon gör det ändå.

Loopar och oväntade kostnader

En agent som försöker rätta sina egna fel kan upprepa verktygsanrop. Begränsa antal försök, tid, kostnad och vilka åtgärder som får upprepas.

Så testar du en AI-agent

Testa hela uppgiften, inte bara det slutliga svaret.

För varje testfall bör du kontrollera:

• om rätt verktyg valdes,
• om verktygen användes i rätt ordning,
• om agenten höll sig till behörigheterna,
• om data hämtades från rätt källa,
• om resultatet verifierades,
• om agenten stannade vid rätt tidpunkt,
• om mänskligt godkännande begärdes när det behövdes.

Ta med vanliga fall, saknade uppgifter, motstridiga instruktioner, fel från externa system och innehåll med misstänkt promptinjektion.

Spara loggar över verktygsanrop och utfall. Det gör det möjligt att se om felet låg i instruktionen, modellen, verktyget, behörigheten eller miljön.

En enkel kontrollista före användning

1. Beskriv en smal uppgift och ett mätbart godkänt resultat.
2. Börja med läsbehörighet eller utkast när det går.
3. Ge skrivrätt per handling, en handling i taget.
4. Lista varje verktyg och den största skada ett fel kan orsaka.
5. Se till att det agenten kan ändra eller radera har en säkerhetskopia utanför agentens åtkomst.
6. Kräv godkännande före externa, ekonomiska eller svåråterkalleliga handlingar.
7. Sätt gränser för försök, tid och kostnad.
8. Testa normala fall, kantfall och angrepp.
9. Läs tillbaka förändringar från det mottagande systemet.
10. Utse en ansvarig person som följer upp kvalitet och incidenter.

Var du börjar

Det som skiljer en AI-agent från en chattbot är att modellen styr flera steg och använder verktyg som påverkar andra system.

Börja därför med uppgiften, behörigheterna och kontrollpunkterna. Använd ett fast arbetsflöde när det räcker. Välj en agent först när den extra flexibiliteten behövs och resultatet går att testa.

Gränsen mellan ett AI-svar och en AI-handling är lättast att förstå när du provar den på en uppgift du känner igen. Att beställa, avgränsa och avbryta ett sådant verktyg ingår i AIUC:s utbildningar, och ingen del av det kräver att du kan bygga en agent själv.