Översikt över grundläggande RAG-systemarkitektur

Nu ska vi titta på byggstenarna i ett RAG-system. När ni känner till arkitekturen blir det tydligt exakt hur RAG gör LLM:er mer korrekta och tillförlitliga.

RAG kombinerar informationshämtning (att hitta information) och generering (att skapa text) genom tre komponenter: datakällor, en informationshämtare och en generator.

Datakällorna innehåller den externa kunskap som LLM:en inte tränades på — PDF-filer, webbsidor, interna wikis, databasposter och mycket mer.

Först bearbetas era data: stora dokument delas upp i mindre, sökbara delar som kallas chunkar, ungefär som att indexera ett bibliotek kapitel för kapitel i stället för bok för bok.

Informationshämtaren är en smart sökmotor för era chunkar. Den förstår betydelsen i en fråga, inte bara nyckelord, och hämtar den mest relevanta kontexten.

När en användare ställer en fråga genomsöker informationshämtaren alla bearbetade chunkar och plockar ut de få delar som troligast innehåller svaret. Dessa skickas vidare som kontext.

Generatorn är er LLM — den del som skriver svaret. I RAG får den två indata: er ursprungliga fråga och den kontext som informationshämtaren hittade.

I stället för att enbart förlita sig på förtränad kunskap använder LLM:en den hämtade kontexten för att förankra sitt svar, ungefär som när en expert får de exakta referensdokumenten i handen.

Det fullständiga RAG-flödet: en fråga skickas in, informationshämtaren hittar chunkar, frågan och chunkarna skickas till generatorn, LLM:en skriver ett förankrat svar och användaren får ett faktabaserat svar.

Sammanfattning: ett RAG-system har tre delar — datakällor (kunskapen), informationshämtaren (den smarta sökningen) och generatorn (LLM:en som formulerar förankrade svar).