AI-agent: vad det är, hur den arbetar och var riskerna finns
Vad som skiljer en AI-agent från en chattbot och ett fast arbetsflöde, med verktyg, behörigheter, stopvillkor, risker och testning.
Nyckelpunkter
- En agent låter en AI-modell välja steg och verktyg inom givna instruktioner och behörigheter.
- Ett fast arbetsflöde är bättre när stegen kan bestämmas i förväg.
- Läsning, utkast och genomförande bör ha olika behörigheter och kontrollpunkter.
- Testa hela kedjan av verktygsanrop, inte bara agentens slutliga svar.
- Sätt stopvillkor för misslyckade försök, godkännande, tid och kostnad.
En AI-agent är ett system där en AI-modell kan välja steg och använda verktyg för att utföra en uppgift åt en användare. Det som gör agenten användbar gör den också riskfylld: den kan inte bara föreslå en handling utan även försöka genomföra den.
Vad är en AI-agent?
OpenAI beskriver i sin praktiska guide till AI-agenter en agent som ett system som självständigt utför uppgifter åt en användare. Modellen styr arbetsflödet, väljer verktyg och avgör när uppgiften är klar eller när kontrollen behöver lämnas tillbaka till en människa.
Anthropic skiljer mellan arbetsflöden och agenter:
- I ett arbetsflöde bestämmer programkoden i förväg vilka steg som ska följas.
- I en agent väljer AI-modellen dynamiskt vilka steg och verktyg som ska användas.
Skillnaden är inte att agenten har en egen vilja. Den arbetar inom mål, instruktioner, behörigheter och stopvillkor som människor har satt upp.
AI-agent eller chattbot?
En chattbot tar emot en fråga och skapar ett svar. En agent kan dessutom använda verktyg och fortsätta över flera steg.
Tänk på skillnaden mellan dessa två uppgifter:
- Chattbot: "Skriv ett förslag till svar på kundens mejl."
- Agent: "Läs kundens ärende, hämta orderstatus, skriv svaret, be om godkännande och skicka mejlet."
Den andra uppgiften kräver åtkomst till data och minst ett verktyg som kan förändra något utanför chatten. Därför behöver den fler kontroller.
Alla system som använder en språkmodell är inte agenter. En textsammanfattare, klassificerare eller enkel frågechatt kan vara vanlig programvara med en AI-funktion.
Agentens viktigaste delar
OpenAI:s guide delar upp agenten i modell, verktyg och instruktioner. I en praktisk lösning behöver du också beskriva miljö, tillstånd och stopvillkor.
Modell
Modellen tolkar uppgiften, väljer nästa steg och bedömer resultatet. En mer kapabel modell löser inte automatiskt problemet med otydliga mål eller för breda behörigheter.
Verktyg
Verktygen låter agenten läsa eller förändra externa system. Ett verktyg kan exempelvis:
- söka i en kunskapsbas,
- läsa ett kundärende,
- skapa ett utkast,
- uppdatera en post,
- skicka ett meddelande,
- starta en betalning.
Skillnaden mellan att läsa och att skriva är viktig. Ett läsfel kan ge ett dåligt svar. Ett skrivfel kan ändra data eller påverka en annan människa.
Instruktioner
Instruktionerna anger uppgift, gränser och hur agenten ska agera i olika situationer. De bör tala om:
- vilket mål som ska nås,
- vilket underlag som får användas,
- vilka verktyg som är tillåtna,
- när godkännande krävs,
- när agenten ska stanna,
- hur osäkerhet och fel ska rapporteras.
Miljö och behörigheter
Miljön består av de filer, webbplatser, databaser och program som agenten kan nå. Anthropic beskriver hur agentens beteende beror på modellen, instruktionerna, verktygen och miljön tillsammans.
Behörigheter bör därför ges per verktyg och handling. Att läsa en kalender är inte samma risk som att skicka en inbjudan. Att skapa ett betalningsutkast är inte samma risk som att godkänna betalningen.
Tillstånd och stopvillkor
Agenten behöver veta vad som redan har hänt och när arbetet ska avslutas. Utan tydliga gränser kan den upprepa samma steg, göra onödiga anrop eller fortsätta efter att uppgiften borde ha lämnats till en människa.
Ett stopvillkor kan vara:
- uppgiften är verifierad som klar,
- ett bestämt antal försök har misslyckats,
- nödvändig information saknas,
- en åtgärd kräver mänskligt godkännande,
- kostnads- eller tidsgränsen är nådd.
Så arbetar en agent
En enkel agentloop kan beskrivas så här:
- tolka målet,
- välj nästa steg,
- välj ett tillåtet verktyg,
- utför verktygsanropet,
- läs resultatet från miljön,
- bedöm om målet är nått,
- fortsätt, be om hjälp eller stanna.
Resultatet från miljön är viktigt. Agenten bör inte anta att en åtgärd lyckades. Den behöver kontrollera kvittot från verktyget, läsa tillbaka ändringen eller använda ett annat test som visar vad som faktiskt hände.
När passar en agent?
Anthropic rekommenderar i sin vägledning att börja med den enklaste lösningen och öka komplexiteten först när det behövs. Ett vanligt arbetsflöde är ofta bättre när reglerna är tydliga och varje steg kan bestämmas i förväg.
En agent kan vara relevant när uppgiften:
- består av flera steg som varierar mellan ärenden,
- kräver tolkning av ostrukturerad text eller dokument,
- behöver välja mellan flera verktyg,
- innehåller återkoppling från miljön,
- har ett resultat som går att verifiera.
En agent är ett sämre val när ett fast regelverk, ett formulär eller en enkel databasfråga löser uppgiften tillförlitligt.
Exempel utan effektlöften
Följande är exempel på agentuppgifter, inte bevis på att en agent förbättrar resultatet:
Kundärenden
Agenten kan läsa ett ärende, hämta information från godkända källor och skapa ett svarsförslag. En människa kan behöva godkänna återbetalning, avtalstolkning eller extern kommunikation.
Dokumenthantering
Agenten kan identifiera dokumenttyp, hämta relevanta fält och markera vad som saknas. Resultatet behöver jämföras med originaldokumentet innan data skrivs till ett annat system.
Intern informationssökning
Agenten kan söka i flera interna källor och sammanställa ett svar. Källorna bör följa med så att användaren kan kontrollera dem.
Programvaruarbete
Agenten kan läsa kod, föreslå en ändring och köra tester. Att skriva till ett produktionssystem eller slå samman kod kan kräva separat godkännande.
Värdet avgörs av den enskilda uppgiften, testresultatet och kostnaden för fel. Branschnamn i sig säger inte om en agent är lämplig.
Risker som behöver testas
Fel mål
En agent kan följa en bokstavlig instruktion men ändå missa användarens avsikt. Målet behöver innehålla kvalitetskrav och gränser, inte bara en slutpunkt.
För breda behörigheter
Om agenten får fler verktyg eller större åtkomst än uppgiften kräver ökar konsekvensen av ett fel. Ge minsta nödvändiga behörighet och skilj mellan läsning, utkast och genomförande.
Promptinjektion
Anthropic beskriver i sin genomgång av tillförlitliga agenter promptinjektion som skadliga instruktioner gömda i innehåll som agenten läser. En angripare kan försöka få agenten att bortse från sina regler eller använda ett verktyg på fel sätt.
Skydd behöver finnas i flera lager: begränsade verktyg, snäva behörigheter, kontroll av indata, godkännande före riskfyllda handlingar och loggning av vad agenten gjorde.
Felaktiga resultat
Generativ AI kan skapa felaktigt innehåll som låter trovärdigt. NIST:s profil för generativ AI tar upp både confabulation och automation bias. Den senare risken innebär att människor kan ge ett automatiserat resultat större förtroende än det förtjänar.
Loopar och oväntade kostnader
En agent som försöker rätta sina egna fel kan upprepa verktygsanrop. Begränsa antal försök, tid, kostnad och vilka åtgärder som får upprepas.
Så testar du en AI-agent
Testa hela uppgiften, inte bara det slutliga svaret.
För varje testfall bör du kontrollera:
- om rätt verktyg valdes,
- om verktygen användes i rätt ordning,
- om agenten höll sig till behörigheterna,
- om data hämtades från rätt källa,
- om resultatet verifierades,
- om agenten stannade vid rätt tidpunkt,
- om mänskligt godkännande begärdes när det behövdes.
Ta med vanliga fall, saknade uppgifter, motstridiga instruktioner, fel från externa system och innehåll med misstänkt promptinjektion.
Spara loggar över verktygsanrop och utfall. Det gör det möjligt att se om felet låg i instruktionen, modellen, verktyget, behörigheten eller miljön.
En enkel kontrollista före användning
- Beskriv en smal uppgift och ett mätbart godkänt resultat.
- Börja med läsbehörighet eller utkast när det går.
- Lista varje verktyg och den största skada ett fel kan orsaka.
- Kräv godkännande före externa, ekonomiska eller svåråterkalleliga handlingar.
- Sätt gränser för försök, tid och kostnad.
- Testa normala fall, kantfall och angrepp.
- Läs tillbaka förändringar från det mottagande systemet.
- Utse en ansvarig person som följer upp kvalitet och incidenter.
Slutsats
En AI-agent är inte bara en chattbot med ett nytt namn. Den låter en modell styra flera steg och använda verktyg för att påverka andra system.
Börja därför med uppgiften, behörigheterna och kontrollpunkterna. Använd ett fast arbetsflöde när det räcker. Välj en agent först när den extra flexibiliteten behövs och resultatet går att testa.
Vill du arbeta praktiskt med gränsen mellan AI-svar och AI-handlingar kan du se AIUC:s kurser.
Vanliga frågor
En AI-agent är ett system där en AI-modell styr flera steg och väljer verktyg för att utföra en uppgift åt en användare inom givna instruktioner och behörigheter.
En chattbot skapar främst ett svar. En agent kan fortsätta över flera steg, använda verktyg och försöka förändra något i ett annat system.
Använd hellre ett fast arbetsflöde när reglerna är tydliga, stegen kan bestämmas i förväg och vanlig programvara löser uppgiften tillförlitligt.
Viktiga risker är otydliga mål, för breda behörigheter, promptinjektion, felaktiga resultat, loopar och handlingar som genomförs utan rätt godkännande.
Testa både slutresultatet och vägen dit: verktygsval, ordning, källor, behörigheter, verifiering, stopvillkor och när agenten lämnar kontrollen till en människa.
Vill ni att personalen ska kunna det här, hör av er.
Nyhetsbrevet
Nytt om AI, ungefär varje vecka.
Vi skriver när något faktiskt har hänt och när något visar sig fungera i praktiken. En text i taget, inga serier, och du kan gå ur från vilket nummer som helst.
Vi sparar din adress för att skicka nyhetsbrevet, och inget annat. Mer i integritetspolicyn.