Viktiga mått för RAG-prestanda

När Ni bygger system för Retrieval Augmented Generation (RAG) räcker det inte att bara driftsätta dem. Vi behöver veta om de faktiskt fungerar bra!

Att utvärdera RAG är mer komplext än att utvärdera en fristående stor språkmodell (LLM), eftersom det omfattar två huvudsteg: hämtning och generering.

Traditionella utvärderingsmått för LLM:er fokuserar ofta på kvaliteten hos den genererade texten, till exempel flyt och sammanhang. Men RAG-system har särskilda mål:

• Att ge svar som är förankrade i fakta.
• Att undvika "hallucinationer" (att hitta på information).
• Att endast använda relevant information från Era data.

Detta kräver en särskild uppsättning mått.

Det första viktiga måttet är kontextrelevans.

• Det mäter hur relevanta de hämtade dokumenten, eller "kontexten", är för användarens ursprungliga fråga.
• Om hämtaren hämtar irrelevant information får LLM:en inget bra underlag att arbeta med, vilket leder till sämre svar.

Hög kontextrelevans betyder att hämtaren utför sitt arbete väl!

Anta att en användare frågar: "Vilka är fördelarna med att äta äpplen?"

Bra kontext: "Äpplen är rika på fibrer, C-vitamin och antioxidanter ..." (Hög relevans)

Dålig kontext: "Apelsiner är citrusfrukter. Äpplen kan vara gröna eller röda ..." (Låg relevans för "fördelar")

Kvaliteten på den hämtade kontexten påverkar direkt LLM:ens förmåga att svara korrekt.

Nästa mått är faktatrohet (även kallat "groundedness").

• Detta mått kontrollerar om LLM:ens genererade svar helt stöds av den hämtade kontexten.
• Det är avgörande för att förhindra "hallucinationer" – situationer där LLM:en hittar på fakta som inte finns i källmaterialet.

Ett faktatroget RAG-system ger endast information som kan verifieras i dess källor.

Användarens fråga: "Vad är Frankrikes huvudstad?"

Hämtad kontext: "Paris är Frankrikes huvudstad och är känt för Eiffeltornet."

Faktatroget svar: "Frankrikes huvudstad är Paris." (Stöds av kontexten)

Ej faktatroget svar: "Frankrikes huvudstad är Lyon, en vacker stad." (Stöds inte av kontexten)

Svarsrelevans utvärderar om LLM:ens genererade svar direkt bemöter användarens ursprungliga fråga.

• Även om svaret är faktatroget och bygger på relevant kontext kan det fortfarande vara för långt, gå vid sidan av ämnet eller missa frågans poäng.
• Detta mått säkerställer att det slutliga resultatet är användbart och rakt på sak för användaren.

Användarens fråga: "När uppfanns internet?"

Hämtad kontext: "Internets ursprung kan spåras tillbaka till 1960-talet, då ARPANET ..."

Relevant svar: "Internets ursprung kan spåras tillbaka till 1960-talet, då ARPANET skapades."

Irrelevant svar: "Internet är ett globalt nätverk av datorer. Det har revolutionerat kommunikationen." (Besvarar inte "när")

Medan de tidigare måtten utvärderar RAG-systemet som helhet är klassiska mått från informationssökning, som precision och recall, avgörande för komponenten som hanterar hämtningen.

• Precision: Hur stor andel av de hämtade dokumenten är faktiskt relevanta? (Minimera irrelevanta dokument)
• Recall: Hur stor andel av alla verkligt relevanta dokument hämtades faktiskt? (Minimera missade relevanta dokument)

Att balansera dessa två är avgörande för att ge LLM:en bästa möjliga kontext.

Grattis! Ni har lärt Er om de viktigaste måtten för att utvärdera RAG-system:

• Kontextrelevans: Hur bra är den hämtade informationen?
• Faktatrohet: Stämmer svaret överens med den hämtade kontexten?
• Svarsrelevans: Besvarar svaret användarens fråga?
• Precision och recall: Hur effektiv är komponenten som hanterar hämtningen?

När Ni behärskar dessa kan Ni bygga mer korrekta, tillförlitliga och användbara RAG-applikationer.