Problemet RAG løser

Alle store språkmodeller trenes på et øyeblikksbilde av internett frem til en bestemt dato, kalt kunnskapsgrensen. GPT-4o har en kunnskapsgrense tidlig i 2024. Spør De om hendelser som skjedde etter denne datoen, vil modellen enten innrømme at den ikke vet, eller enda verre: selvsikkert dikte opp informasjon som høres plausibel ut, men er feil. For applikasjoner som trenger aktuell eller proprietær kunnskap, er dette et grunnleggende problem.

Hallusinasjon oppstår når en LLM genererer tekst som høres autoritativ ut, men som er faktisk feil. Modeller trenes til å produsere flytende og sammenhengende tekst – de trenes ikke eksplisitt til å avstå fra å svare når de ikke vet noe. Derfor fyller de kunnskapshull med plausible gjetninger. Studier viser at selv de beste modellene hallusinerer i kunnskapsintensive oppgaver 10–40 % av tiden uten ekstern forankring.

Tenk Dem at De spør en LLM: Hva er vilkårene i leverandørkontrakten for tredje kvartal 2025 i virksomheten vår? Modellen har aldri sett det interne dokumentet Deres. I stedet for å si at den ikke vet, kan den generere et plausibelt kontraktsammendrag ved hjelp av generisk juridisk språk. Hvis en ansatt handler på grunnlag av denne oppdiktede informasjonen, kan konsekvensene bli alvorlige. Dette er nettopp den typen feil RAG ble utviklet for å forhindre.

Innsikten bak RAG er enkel: Hvis De gir modellen den relevante informasjonen i selve prompten, trenger den ikke å stole på memorert kunnskap. Modellen går fra å generere fra hukommelsen til å lese fra konteksten. Slik fungerer mennesker også – når De trenger nøyaktige detaljer, slår De dem opp i stedet for å stole på hukommelsen. RAG setter den samme arbeidsflyten i system for LLM-er.

En vanlig misforståelse er at fine-tuning av modellen på dokumentene dine løser hallusinering. Fine-tuning oppdaterer modellens vekter for å forbedre stil, format og oppgaveetterlevelse, men tilfører ikke pålitelig faktakunnskap. Studier viser at fine-tunede modeller fortsatt hallusinerer på selve treningsdataene. Kunnskap må gis ved inferenstidspunktet via kontekstvinduet for å kunne gjengis pålitelig.

Fordi RAG henter informasjon fra et oppdatert dokumentlager, håndterer det naturlig kunnskap som endrer seg over tid. Når policydokumentet oppdateres, indekserer du det på nytt, og alle påfølgende spørringer bruker umiddelbart den nye versjonen – uten at modellen må trenes på nytt. Dette gjør RAG langt mer praktisk enn periodisk fine-tuning for bruksområder som interne kunnskapsbaser, kundestøttesystemer og verktøy for finansiell analyse.

De fleste virksomhetsdata kan ikke sendes til OpenAI for trening på grunn av krav til personvern og etterlevelse. RAG omgår dette: De sensitive dokumentene dine forblir i din egen vektordatabase, og bare de relevante delene sendes til LLM-en for hver spørring. Du kan til og med kjøre en lokal LLM som Llama 3, slik at alle data forblir lokalt. RAG er det primære mønsteret for å bygge KI på konfidensielt virksomhetsinnhold.

Når en LLM genererer svar fra hukommelsen, finnes det ingen kilde å henvise til. Når den genererer svar fra hentede dokumenter, kan den henvise til de nøyaktige kildene. Du kan instruere modellen til å inkludere dokumentnavn og sidetall i svaret, slik at brukerne kan klikke seg videre og kontrollere originalen. Kildehenvisninger øker tilliten til KI-genererte svar betydelig, noe som er avgjørende i juridiske, medisinske og finansielle bruksområder.

RAG følger et totrinnsmønster ved inferenstidspunktet: Retrieve – konverter brukerens spørsmål til en embedding, søk i vektorlageret etter de mest relevante dokumentdelene, og hent de K beste resultatene. Generate – bygg en prompt som inkluderer de hentede delene som kontekst, og be LLM-en svare på spørsmålet utelukkende basert på denne konteksten. LLM-en leser, sammenfatter og svarer.

RAG er kraftig, men ingen universalløsning. Det fungerer fortsatt dårlig når: svaret krever sammenstilling på tvers av hundrevis av dokumenter (hentingen returnerer bare noen få deler), spørsmålet i seg selv er multi-hop og modellen må resonnere gjennom mellomliggende trinn, eller de hentede delene er misvisende eller motstridende. Når du forstår disse begrensningene, blir det lettere å utforme hybridsystemer som kombinerer RAG med resonnerende agenter.

Du har tre hovedalternativer for å gi en LLM domenekunnskap: prompt stuffing (legg alt i prompten – fungerer bare for svært små tekstsamlinger), fine-tuning (lærer modellen stil og format godt, men er ikke pålitelig for faktagjenfinning), og RAG (henter relevante fakta dynamisk ved inferenstidspunktet og skalerer til millioner av dokumenter). For de fleste produksjonsbruksområder som krever oppdatert, privat eller storskala kunnskap, er RAG det riktige valget.

I denne leksjonen lærte du: hvorfor LLM-er hallusinerer på grunn av kunnskapsavgrensninger og manglende evne til å si «Jeg vet ikke», hvorfor fine-tuning ikke løser hallusinering når det gjelder faktagjenfinning, og hvordan RAG forankrer svar i hentede dokumenter og muliggjør kildehenvisninger, kunnskap i sanntid og trygg bruk av private data. Neste gang ser vi på hele RAG-arkitekturen, inkludert indekserings- og hentefasene.