RAG-systeemprestaties evalueren

De eerste stap in RAG is het verkrijgen van goede context. We gebruiken specifieke metrieken om te beoordelen hoe goed ons systeem informatie ophaalt.

• Relevantie van de context: Hoe relevant is de opgehaalde informatie voor de oorspronkelijke zoekopdracht van de gebruiker?
• Recall van de context: Heeft het systeem alle benodigde informatie opgehaald om de vraag te beantwoorden?
• Deze metrieken zorgen ervoor dat de LLM de best mogelijke basis heeft om een antwoord te genereren.

Relevantie van de context meet of de opgehaalde documenten of fragmenten daadwerkelijk verband houden met de vraag van de gebruiker.

Stel dat je naar 'zonnepanelen' vraagt en een artikel over 'windturbines' krijgt. Dan is de relevantie van de context laag. Bij een hoge relevantie gaat de opgehaalde tekst rechtstreeks in op het onderwerp van de zoekopdracht.

Dit wordt vaak beoordeeld door de zoekopdracht te vergelijken met elk opgehaald contextfragment.

Recall van de context richt zich op volledigheid. De vraag is: 'Heeft het RAG-systeem alle cruciale stukjes informatie opgehaald die nodig zijn om de vraag van de gebruiker volledig te beantwoorden?'

Zelfs als opgehaalde documenten relevant zijn, is de recall laag als er een belangrijk feit ontbreekt. Als er bijvoorbeeld 3 feiten nodig zijn om een vraag volledig te beantwoorden en er slechts 2 worden opgehaald, is de recall niet perfect.

Deze metriek is vooral belangrijk voor complexe vragen.

Zodra de context is opgehaald, genereert de LLM een antwoord. We moeten de kwaliteit van deze gegenereerde tekst evalueren.

• Getrouwheid van het antwoord (verankering): Is het antwoord uitsluitend gebaseerd op de gegeven context, of verzint het informatie?
• Relevantie van het antwoord: Gaat het antwoord rechtstreeks in op de oorspronkelijke vraag van de gebruiker?
• Samenhang van het antwoord: Is het antwoord goed gestructureerd, leesbaar en grammaticaal correct?

Getrouwheid is van cruciaal belang voor RAG. Deze metriek meet of elke bewering in het gegenereerde antwoord rechtstreeks kan worden onderbouwd met de opgehaalde context.

Als de LLM informatie toevoegt die niet in de context staat, wordt het antwoord als ongetrouw of als 'verzonnen' beschouwd. Dit kan leiden tot onjuiste of misleidende antwoorden.

Voorbeeld: als de context zegt 'A is B' en het antwoord zegt 'A is C', is het antwoord ongetrouw.

Relevantie van het antwoord zorgt ervoor dat het gegenereerde antwoord rechtstreeks op de vraag van de gebruiker ingaat, zonder van het onderwerp af te wijken.

Samenhang van het antwoord beoordeelt de leesbaarheid, logische opbouw en grammaticale correctheid van het antwoord. Een samenhangend antwoord is gemakkelijk te begrijpen en goed georganiseerd.

• Relevantie: Beantwoordt het de vraag?
• Samenhang: Is het goed geschreven en gemakkelijk te lezen?

Hoe meten we deze metrieken eigenlijk?

• Menselijke evaluatie: De gouden standaard, maar langzaam en duur. Menselijke annotatoren beoordelen antwoorden handmatig op basis van richtlijnen.
• Geautomatiseerde evaluatie: Sneller en schaalbaar. Hierbij worden andere LLM's of statistische methoden gebruikt om antwoorden te beoordelen. Deze aanpak is soms minder genuanceerd, maar geschikt voor grote gegevensverzamelingen en regelmatige controles.
• Vaak wordt een combinatie gebruikt: menselijke evaluatie voor kritieke gevallen en geautomatiseerde evaluatie tijdens ontwikkeling en grootschalige tests.

Goed gedaan! Je hebt geleerd hoe je je RAG-systemen evalueert.

• We evalueren zowel de kwaliteit van het ophalen (relevantie van de context, recall van de context) als de kwaliteit van het genereren (getrouwheid, relevantie, samenhang).
• Relevantie van de context zorgt ervoor dat de opgehaalde informatie over het juiste onderwerp gaat.
• Recall van de context controleert of alle benodigde informatie is opgehaald.
• Getrouwheid van het antwoord voorkomt verzinsels door ervoor te zorgen dat het antwoord in de context is verankerd.
• Relevantie van het antwoord houdt het antwoord gericht op de vraag, en samenhang zorgt voor leesbaarheid.
• Zowel menselijke als geautomatiseerde methoden worden voor evaluatie gebruikt.