Oversigt over grundlæggende RAG-systemarkitektur

Nu ser vi på byggestenene i et RAG-system. Når du kender arkitekturen, kan du se præcis, hvordan RAG gør LLM'er mere nøjagtige og pålidelige.

RAG kombinerer hentning (at finde oplysninger) og generering (at skabe tekst) gennem tre komponenter: datakilder, en henter og en generator.

Datakilderne indeholder den eksterne viden, som din LLM ikke blev trænet på — PDF-filer, websider, interne wikier, databaseposter og meget mere.

Først behandles dine data: Store dokumenter opdeles i mindre, søgbare dele, der kaldes tekststykker, ligesom når et bibliotek indekseres efter kapitler i stedet for hele bøger.

Henteren er en intelligent søgemaskine til dine tekststykker. Den forstår betydningen af en forespørgsel, ikke kun nøgleord, så den kan hente den mest relevante kontekst.

Når en bruger spørger, gennemgår henteren alle behandlede tekststykker og udvælger de få, der mest sandsynligt indeholder svaret, hvorefter de sendes videre som kontekst.

Generatoren er din LLM — den del, der skriver svaret. I RAG får den to input: dit oprindelige spørgsmål og den kontekst, som henteren fandt.

I stedet for kun at støtte sig til forhåndstrænet viden bruger LLM'en den hentede kontekst til at forankre sit svar, ligesom når en ekspert får udleveret de præcise referencedokumenter.

Det fulde RAG-forløb: Forespørgsel ind, henteren finder tekststykker, forespørgslen og tekststykkerne sendes til generatoren, LLM'en skriver et forankret svar, og brugeren får et faktuelt svar.

Opsamling: Et RAG-system har tre dele — datakilderne (viden), henteren (den intelligente søgning) og generatoren (LLM'en, der skaber forankrede svar).