Grundlæggende om Retrieval Augmented Generation

Hvordan kan chatbots svare præcist på spørgsmål om nichepræget eller nyt indhold? Retrieval Augmented Generation (RAG) — det giver LLM'en en åben-bog-prøve ved at slå ekstra kontekst op.

Almindelige LLM'er har velkendte begrænsninger: De hallucinerer fakta, deres viden er fastlåst på træningstidspunktet, og de har svært ved nicheprægede eller private data.

LLM'er forudsiger det næste sandsynlige ord ud fra mønstre — de kender ikke fakta i egentlig forstand. Når de er usikre, udfylder de hullet ved at opfinde detaljer, og sådan opstår hallucinationer.

Løsningen er forankring: Giv LLM'en specifikke, verificerbare oplysninger, der er relevante for spørgsmålet. Denne kontekst fungerer som et faktuelt anker, der giver mere pålidelige svar.

Første trin i RAG er hentning: Når du stiller et spørgsmål, søger systemet først i en vidensbase efter de mest relevante oplysninger.

Andet trin i RAG er udvidelse: De hentede fakta føjes til dit spørgsmål, før det når LLM'en, så den har præcis det, den skal bruge for at svare.

RAG-forløbet kort fortalt: Brugeren spørger, systemet henter relevante dokumenter, de føjes til prompten, LLM'en læser begge dele og genererer et forankret svar.

Ved at give modellen aktuelle, specifikke fakta direkte øger RAG nøjagtigheden — LLM'en er ikke længere kun afhængig af forhåndstrænet viden. Det er afgørende i support- eller juridisk arbejde.

RAG er et sandhedsserum: Når LLM'en har faktuel kontekst, er der langt mindre sandsynlighed for, at den opfinder noget, og den holder sig til de givne fakta, så outputtet bliver troværdigt.

Opsamling: RAG håndterer hallucinationer og forældet viden ved at hente relevante oplysninger og udvide prompten — så LLM'en forankres og kan give nøjagtige, pålidelige svar. Næste emne: arkitektur.