Modeller och tekniker
RAG (Retrieval-Augmented Generation)
RAG är tekniken som låter ett AI-verktyg hämta uppgifter ur ett bestämt material innan det svarar, i stället för att svara ur modellens allmänna träning. Det är den teknik som ligger bakom varje myndighetschatt som svarar utifrån organisationens egna dokument.
Vad RAG förväxlas med
Att modellen är tränad på ert material. Den är den inte. Materialet ligger kvar där det ligger och hämtas in vid varje fråga. Det är därför en rättad handbok slår igenom direkt, utan att någon tränar om något.
Finjustering. Att finjustera en modell ändrar modellen. RAG ändrar bara vad den får läsa innan den svarar. Finjustering är dyrt och sällan svaret på frågan ni ställer.
En garanti mot fel svar. RAG minskar risken för påhittade uppgifter men tar inte bort den. Modellen kan fortfarande dra fel slutsats av rätt underlag.
Var du möter ordet RAG
I offerter, nästan alltid. En leverantör som erbjuder en chatt mot era egna dokument bygger med RAG, oavsett om ordet står i förslaget eller inte.
Handläggaren möter tekniken utan att veta vad den heter, varje gång ett verktyg svarar med en hänvisning till vilket stycke svaret kom ifrån.
Vad du kan göra med det
Två frågor räcker långt när någon säljer in en sådan lösning. Vilket material söker den i, och vad händer när materialet är fel eller föråldrat.
Den första avgör om svaren blir användbara. Den andra avgör vem som märker när de slutar vara det.
Vidare
Hallucination om varför ett påhittat svar låter lika säkert som ett riktigt.
Kontextfönster (Context Window) om hur mycket material som får plats i en fråga.