Nøgletal for RAG-ydeevne

Når du bygger Retrieval Augmented Generation-systemer (RAG), er det ikke nok bare at implementere dem. Vi er nødt til at vide, om de faktisk fungerer godt!

Evaluering af RAG er mere kompleks end evaluering af en selvstændig stor sprogmodel (LLM), fordi den omfatter to hovedfaser: informationssøgning og generering.

Traditionelle evalueringsmålinger for LLM-modeller fokuserer ofte på kvaliteten af den genererede tekst, f.eks. sproglig flydende formulering eller sammenhæng. Men RAG-systemer har specifikke mål:

• At give faktabaserede svar.
• At undgå 'hallucinationer' (at opfinde oplysninger).
• Kun at bruge relevante oplysninger fra dine data.

Det kræver et særligt sæt målinger.

Den første vigtige måling er kontekstuel relevans.

• Den måler, hvor relevante de hentede dokumenter eller den 'kontekst', der blev hentet, er for brugerens oprindelige spørgsmål.
• Hvis informationssøgeren henter irrelevante oplysninger, har LLM-modellen ikke et godt grundlag at arbejde med, hvilket fører til dårlige svar.

Høj kontekstuel relevans betyder, at din informationssøger udfører sit arbejde godt!

Lad os sige, at en bruger spørger: "Hvad er fordelene ved at spise æbler?"

God kontekst: "Æbler er rige på fibre, C-vitamin og antioxidanter ..." (Høj relevans)

Dårlig kontekst: "Appelsiner er citrusfrugter. Æbler kan være grønne eller røde ..." (Lav relevans for 'fordele')

Kvaliteten af den hentede kontekst påvirker direkte LLM-modellens evne til at svare korrekt.

Dernæst har vi troskab (også kaldet 'forankring').

• Denne måling kontrollerer, om LLM-modellens genererede svar fuldt ud understøttes af den hentede kontekst.
• Det er afgørende for at forhindre 'hallucinationer' – hvor LLM-modellen opfinder fakta, der ikke findes i kildematerialet.

Et troværdigt RAG-system giver kun oplysninger, som det kan verificere i sine kilder.

Brugerspørgsmål: "Hvad er hovedstaden i Frankrig?"

Hentet kontekst: "Paris er hovedstaden i Frankrig, kendt for Eiffeltårnet."

Trofærdigt svar: "Hovedstaden i Frankrig er Paris." (Understøttes af konteksten)

Utroværdigt svar: "Hovedstaden i Frankrig er Lyon, en smuk by." (Understøttes ikke af konteksten)

Svarrelevans evaluerer, om LLM-modellens genererede svar direkte besvarer brugerens oprindelige spørgsmål.

• Selv hvis svaret er troværdigt og baseret på relevant kontekst, kan det stadig være for omstændeligt, komme på et sidespor eller ramme ved siden af spørgsmålet.
• Denne måling sikrer, at det endelige output er nyttigt og præcist for brugeren.

Brugerspørgsmål: "Hvornår blev internettet opfundet?"

Hentet kontekst: "Internettets oprindelse kan spores tilbage til 1960'erne med ARPANET ..."

Relevant svar: "Internettets oprindelse kan spores tilbage til 1960'erne med ARPANET."

Irrelevant svar: "Internettet er et globalt netværk af computere. Det har revolutioneret kommunikationen." (Besvarer ikke 'hvornår')

Mens de tidligere målinger evaluerer RAG-systemet som helhed, er klassiske målinger fra informationssøgning (IR) som præcision og genkaldelse afgørende for komponenten til informationssøgning.

• Præcision: Hvor stor en procentdel af de hentede dokumenter er faktisk relevante? (Minimér irrelevante dokumenter)
• Genkaldelse: Hvor stor en procentdel af alle reelt relevante dokumenter blev faktisk hentet? (Minimér oversete relevante dokumenter)

Det er afgørende at afbalancere disse to for at give LLM-modellen den bedst mulige kontekst.

Tillykke! Du har lært om de vigtigste målinger til evaluering af RAG-systemer:

• Kontekstuel relevans: Hvor god er den hentede information?
• Troskab: Er svaret i overensstemmelse med den hentede kontekst?
• Svarrelevans: Besvarer svaret brugerens spørgsmål?
• Præcision og genkaldelse: Hvor effektiv er informationssøgningskomponenten?

Når du behersker disse, kan du bygge mere nøjagtige, pålidelige og nyttige RAG-applikationer.