Det problem, RAG løser

Alle store sprogmodeller trænes på et øjebliksbillede af internettet frem til en bestemt dato, der kaldes modellens vidensgrænse. GPT-4o har en vidensgrænse i begyndelsen af 2024. Hvis du spørger modellen om begivenheder, der fandt sted efter denne dato, vil den enten indrømme, at den ikke ved det, eller endnu værre selvsikkert opfinde oplysninger, der lyder sandsynlige, men er forkerte. For applikationer, der har brug for aktuel eller proprietær viden, er dette et grundlæggende problem.

Hallucination opstår, når en LLM genererer tekst, der lyder autoritativ, men er faktuelt forkert. Modeller trænes til at producere flydende og sammenhængende tekst — de trænes ikke udtrykkeligt til at afvise en forespørgsel, når de ikke ved noget. Derfor udfylder de huller i deres viden med sandsynlige gæt. Undersøgelser viser, at selv de bedste modeller hallucinerer i 10-40 % af tilfældene på videnstunge opgaver uden ekstern forankring.

Forestil dig, at du spørger en LLM: Hvad er vilkårene i vores virksomheds leverandørkontrakt for tredje kvartal 2025? Modellen har aldrig set dit interne dokument. I stedet for at sige, at den ikke ved det, kan den generere et sandsynligt kontraktresumé ved hjælp af generisk juridisk sprog. Hvis en medarbejder handler på baggrund af de opdigtede oplysninger, kan konsekvenserne være alvorlige. Dette er netop den fejltilstand, RAG blev udviklet til at forhindre.

Indsigten bag RAG er enkel: Hvis du giver modellen de relevante oplysninger inde i prompten, behøver den ikke at stole på indlært viden. Modellen skifter fra at generere ud fra hukommelsen til at læse fra konteksten. Det er også sådan, mennesker arbejder — når du har brug for præcise detaljer, slår du dem op i stedet for at stole på din hukommelse. RAG omsætter den samme arbejdsgang til praksis for LLM'er.

En almindelig misforståelse er, at finjustering af modellen på dine dokumenter løser hallucinationer. Finjustering opdaterer modellens vægte for at forbedre dens stil, format og evne til at følge opgaver, men den tilfører ikke pålideligt faktuel viden. Undersøgelser viser, at finjusterede modeller stadig hallucinerer på selve træningsdataene. For at viden kan genkaldes pålideligt, skal den leveres på inferenstidspunktet via kontekstvinduet.

Fordi RAG henter oplysninger fra et levende dokumentlager, håndterer det naturligt viden, der ændrer sig over tid. Når dit politikdokument opdateres, indekserer du det igen, og alle efterfølgende forespørgsler bruger straks den nye version — uden at modellen skal trænes igen. Det gør RAG langt mere praktisk end periodisk finjustering til anvendelser som interne vidensbaser, kundeservicesystemer og værktøjer til finansiel research.

De fleste virksomhedsdata kan ikke sendes til OpenAI til træning på grund af krav til privatliv og compliance. RAG omgår dette: Dine følsomme dokumenter bliver i din egen vektordatabase, og kun de relevante tekstudsnit sendes til LLM'en pr. forespørgsel. Du kan endda køre en lokal LLM som Llama 3, så alle data forbliver lokalt i virksomheden. RAG er det primære mønster til at bygge AI på fortroligt virksomhedsindhold.

Når en LLM genererer ud fra sin hukommelse, er der ingen kilde at henvise til. Når den genererer ud fra hentede dokumenter, kan den angive de præcise kilder. Du kan instruere modellen i at medtage dokumentnavne og sidetal i svaret, så brugerne kan klikke videre og kontrollere originalen. Kildeangivelse øger tilliden til AI-genererede svar markant, hvilket er afgørende i juridiske, medicinske og finansielle anvendelser.

RAG følger et mønster i to trin på inferenstidspunktet: Hent — konvertér brugerens spørgsmål til en embedding, søg i vektorlageret efter de mest relevante dokumentudsnit, og indsaml de bedste K-resultater. Generér — opbyg en prompt, der indeholder de hentede tekstudsnit som kontekst, og bed LLM'en besvare spørgsmålet udelukkende ud fra denne kontekst. LLM'en læser, sammenfatter og svarer.

RAG er effektivt, men det er ikke en mirakelkur. Det fejler stadig, når svaret kræver syntese på tværs af hundredvis af dokumenter (hentningen returnerer kun nogle få tekstudsnit), når spørgsmålet i sig selv er multi-hop, og modellen skal ræsonnere gennem mellemliggende trin, eller når de hentede tekstudsnit er misvisende eller selvmodsigende. Når du forstår disse begrænsninger, kan du designe hybride systemer, der kombinerer RAG med ræsonnerende agenter.

Du har tre primære muligheder for at give en LLM domæneviden: prompt stuffing (læg alt i prompten — fungerer kun for meget små tekstsamlinger), finjustering (træner stil og format godt, men er ikke pålidelig til faktuel genkaldelse) og RAG (henter dynamisk relevante fakta på inferenstidspunktet og kan skaleres til millioner af dokumenter). Til de fleste produktionsanvendelser, der kræver aktuel, privat eller omfattende viden, er RAG det rigtige valg.

I denne lektion har du lært: hvorfor LLM'er hallucinerer på grund af vidensgrænser og manglende evne til at sige "Jeg ved det ikke", hvorfor finjustering ikke løser hallucinationer ved faktuel genkaldelse, og hvordan RAG forankrer svar i hentede dokumenter og dermed muliggør kildeangivelse, viden i realtid og sikker brug af private data. Dernæst udforsker vi den fulde RAG-arkitektur, herunder dens indekserings- og hentningsfaser.