Modeller och tekniker
Embedding (vektorisering)
Embedding, på svenska ofta kallat vektorisering, betyder att en text görs om till en lång rad siffror som beskriver vad texten handlar om. Texter med liknande innebörd får liknande siffror. Det gör att ett AI-verktyg kan hitta rätt stycke i ett dokument även när frågan och dokumentet använder olika ord.
Vad embedding förväxlas med
Vektorisering av bilder. I ritprogram betyder vektorisering att en pixelbild görs om till vektorgrafik som går att förstora utan att bli suddig. Samma ord, helt annan sak.
Att modellen tränas på ert material. Att vektorisera era dokument ändrar inte AI-modellen. Dokumenten blir sökbara, modellen är densamma som innan.
Ett skydd för uppgifterna. Siffrorna är ingen kryptering. I de flesta lösningar sparas textstycket bredvid sina siffror, eftersom det är texten som ska visas i svaret. Ett vektoriserat dokument är alltså fortfarande ert dokument.
Tokenisering. Tokenisering delar upp text i bitar som en språkmodell kan läsa. En embedding beskriver vad en hel text eller ett helt stycke betyder.
Var du möter ordet
I offerter och förslag på en AI-chatt mot organisationens egna dokument, ofta i formuleringen att materialet ska vektoriseras. Det är steget som kommer före RAG: dokumenten delas i stycken, varje stycke får sina siffror, och siffrorna sparas i en så kallad vektordatabas.
När du sedan ställer en fråga görs frågan om på samma sätt, och verktyget hämtar de stycken vars siffror ligger närmast. Det är därför en sökning på semesterregler kan hitta ett stycke som bara talar om ledighet.
Vad du kan göra med det
Ställ samma frågor om de vektoriserade dokumenten som du hade ställt om originalen:
- Var lagras de? Både siffrorna och textstyckena hamnar hos den som driver lösningen.
- Vad händer när ett dokument ändras eller tas bort? Stycket måste vektoriseras om eller strykas, annars kan verktyget fortsätta svara utifrån en gammal version.
- Vem får söka i vad? Om originalen har behörigheter behöver de följa med, annars kan en fråga hämta stycken ur dokument som frågeställaren aldrig fått öppna.
Vidare
RAG (Retrieval-Augmented Generation) om hur de hämtade styckena används när verktyget svarar.
LLM (Large Language Model) om språkmodellen som skriver själva svaret.