Hoppa till innehållet
AI-modeller och verktyg

Anthropic och Claude: företaget, produkten och säkerhetsarbetet

Anthropic bygger Claude och publicerar flera delar av sitt säkerhetsarbete. Så fungerar Constitutional AI, bolagsstyrningen och begränsningarna.

Andreas OlssonGrundare, AI Utbildningscentrum7 min läsning

En abstrakt bild med text och tekniska mönster som representerar dataflöde och Anthropics arbete med Constitutional AI för etiska principer.
En AI-arkitektur byggd för att följa etiska principer

Nyckelpunkter


  • Anthropic grundades i början av 2021 och bygger AI-assistenten Claude.
  • Constitutional AI använder skrivna principer när modellen tränas att kritisera och omarbeta svar.
  • Claude har en offentligt publicerad konstitution, men principerna garanterar inte att varje svar följer dem.
  • Anthropics Responsible Scaling Policy och Long-Term Benefit Trust är offentliga delar av bolagets säkerhetsarbete och styrning.
  • Anthropic är primärkälla för den egna produkten och policyn, men inte en oberoende källa för att Claude skulle vara bäst eller säkrast.

Anthropic är företaget bakom Claude. Bolaget grundades i början av 2021 och beskriver sitt uppdrag som att bygga tillförlitliga, tolkningsbara och styrbara AI-system. Säkerhetsarbetet omfattar bland annat Constitutional AI, en publicerad konstitution för Claude och en policy som kopplar starkare system till skärpta skyddsåtgärder. Det är metoder och styrning, inte ett bevis på att Claude alltid är säker eller korrekt.

Vad är Anthropic?

Anthropic grundades i början av 2021. Företaget leds av syskonen Dario Amodei, vd, och Daniela Amodei, president. Det framgår av Anthropics egna meddelanden om den första finansieringsrundan och den följande finansieringsrundan.

Anthropic är ett amerikanskt Public Benefit Corporation. På företagssidan beskriver bolaget sitt ändamål som ansvarsfull utveckling och förvaltning av avancerad AI till långsiktig nytta för mänskligheten.

Det är viktigt att skilja mellan fakta och bolagets egen beskrivning. Att Anthropic säger sig prioritera säkerhet visar vad företaget har beslutat och publicerat. Det visar inte i sig att produkterna är säkrare än konkurrenternas.

Vad är Claude?

Claude är Anthropics AI-assistent och produktfamilj. På Anthropics produktsida beskrivs stöd för bland annat textarbete, kodning, fil- och bildanalys, dataanalys, webbsökning och kopplingar till andra verktyg.

Tillgängliga funktioner beror på plan, arbetsyta och inställningar. Webbsökning kan exempelvis vara avstängd av en administratör. När sökningen används ska svaret innehålla länkar till källorna, enligt Anthropics hjälpsida för webbsökning.

Claude kan ändå lämna felaktiga svar. En länk i ett AI-svar är inte heller ett bevis på att källan stödjer formuleringen. Öppna källan och kontrollera vad den faktiskt säger innan uppgiften används i beslut eller publicering.

Constitutional AI: principer som används i träningen

Anthropic publicerade forskningen om Constitutional AI i december 2022. Metoden använder en skriven uppsättning principer för att träna en modell att kritisera och omarbeta egna svar. I en senare fas används AI-genererad återkoppling för att jämföra svar och träna en preferensmodell. Processen beskrivs i Anthropics forskningsartikel om Constitutional AI.

Det betyder inte att människor försvinner ur processen. Människor väljer principerna, utformar träningsarbetet och bedömer systemet. Metoden minskar behovet av mänskliga etiketter för vissa delar av träningen, enligt forskningsartikeln.

Anthropic har också publicerat Claudes konstitution. Den anger mål och principer som ska vägleda modellens beteende. Att principerna går att läsa gör det lättare att granska vad bolaget säger att modellen ska följa. Det garanterar inte att varje svar följer principerna.

Säkerhetsarbete utöver konstitutionen

Responsible Scaling Policy

Anthropic publicerade sin första Responsible Scaling Policy i september 2023 och har därefter ändrat den flera gånger. Den aktuella sidan var senast uppdaterad den 8 juli 2026 när den kontrollerades den 24 augusti 2026. Policyn beskriver hur bolaget avser att bedöma risker och införa starkare skydd när systemen blir mer kapabla. Se Anthropics aktuella policy.

Policyn är ett frivilligt styrdokument från Anthropic. Den ska därför läsas som ett offentligt åtagande som går att följa upp, inte som en oberoende certifiering.

Long-Term Benefit Trust

Anthropic har en Long-Term Benefit Trust som del av bolagsstyrningen. På företagssidan anges att både aktieägare och trusten väljer ledamöter till styrelsen. Anthropic beskriver trusten som ett oberoende organ som ska hålla företaget till dess långsiktiga ändamål.

Trustens existens säger något om den formella styrningen. Hur väl konstruktionen fungerar behöver bedömas utifrån faktiska beslut och offentlig rapportering, inte bara organisationsformen.

Klassificerare och testning

Anthropic utvecklar även klassificerare som granskar in- och utdata för att upptäcka skadligt innehåll. I bolagets senaste forskningsredovisning om sådana skydd står samtidigt att inga AI-system på marknaden har helt robusta försvar.

Det är en viktig begränsning. Ett system kan kombinera träningsmetoder, filter och extern testning utan att bli ofelbart. Säker användning kräver därför både tekniska skydd och ett arbetssätt för granskning, behörigheter och incidenter.

Vad Anthropic faktiskt kan belägga

Anthropic är en primärkälla för uppgifter om den egna produkten, den egna organisationen och de egna publicerade policyerna. Företaget är däremot inte en oberoende källa för att Claude skulle vara bäst, säkrast eller mest etisk.

Följande går att kontrollera direkt i bolagets material:

  • Claude är Anthropics produkt och stöder text, kod, filer, bilder, dataanalys och webbsökning.
  • Constitutional AI använder skrivna principer i en träningsprocess med självkritik, revidering och AI-genererad återkoppling.
  • Claude har en offentligt publicerad konstitution.
  • Anthropic har en Responsible Scaling Policy som uppdateras över tid.
  • Bolagsstyrningen omfattar en Long-Term Benefit Trust.

Däremot går det inte att dra slutsatsen att varje svar är korrekt, att alla skydd håller mot nya angrepp eller att Anthropics arbetssätt alltid är bättre än andra leverantörers.

Claude i praktiken

Claude kan användas för att bearbeta text, förklara kod, analysera uppladdade dokument och söka på webben. Funktionerna finns beskrivna på Anthropics produktsida.

För en verksamhet är leverantörsvalet bara en del av arbetet. Kontrollera också:

  1. vilken plan och vilka funktioner som faktiskt används,
  2. om data får användas för den aktuella uppgiften,
  3. vilka kopplingar och behörigheter som är aktiverade,
  4. hur svar ska granskas innan de används,
  5. hur fel och incidenter ska rapporteras.

Claude kan vara ett användbart arbetsverktyg, men säkerhetsfunktionerna ersätter inte organisationens eget ansvar för information, behörigheter och kvalitetskontroll.

Slutsats

Anthropic skiljer ut sig genom att öppet publicera delar av sitt säkerhetsarbete. Constitutional AI, Claudes konstitution, Responsible Scaling Policy och Long-Term Benefit Trust går att läsa och granska.

Det är mer precist än att kalla Claude ”etisk AI”. Etik och säkerhet är inte egenskaper som kan bevisas med ett produktnamn. Det som går att bedöma är vilka principer, tester, styrdokument och begränsningar företaget redovisar, och hur väl de fungerar i praktiken.

Vill du lära dig använda AI med tydliga kontrollsteg? Läs om AIUC:s kurser eller kontakta oss.


Vanliga frågor

Anthropic är ett amerikanskt AI-företag som grundades i början av 2021 och bygger Claude. Bolaget beskriver sitt uppdrag som att utveckla tillförlitliga, tolkningsbara och styrbara AI-system.

Claude är Anthropics AI-assistent och produktfamilj för bland annat textarbete, kodning, fil- och bildanalys, dataanalys och webbsökning. Funktionerna beror på plan och inställningar.

Constitutional AI är en träningsmetod där en skriven uppsättning principer används när modellen kritiserar och omarbetar svar. En senare fas använder AI-genererad återkoppling för att jämföra svar.

Anthropic publicerar flera säkerhetsmetoder och styrdokument, men det bevisar inte att Claude alltid är säkrare än andra tjänster. Anthropic skriver själv att inget AI-system på marknaden har helt robusta försvar.

Kontrollera plan, datavillkor, aktiverade kopplingar, behörigheter, granskningskrav och hur fel eller incidenter ska hanteras. Produktens skydd ersätter inte verksamhetens eget ansvar.


Vill ni att personalen ska kunna det här, hör av er.

Nyhetsbrevet

Nytt om AI, ungefär varje vecka.

Vi skriver när något faktiskt har hänt och när något visar sig fungera i praktiken. En text i taget, inga serier, och du kan gå ur från vilket nummer som helst.

Vi sparar din adress för att skicka nyhetsbrevet, och inget annat. Mer i integritetspolicyn.