RAG-mønstre i flere trinn og med agenter

Velkommen til avansert RAG! Så langt har vi utforsket grunnleggende Retrieval Augmented Generation (RAG), der en LLM svarer på en spørring ved hjelp av ett enkelt sett med hentede dokumenter.

Spørsmål fra den virkelige verden kan imidlertid være komplekse. De kan bestå av flere deler, kreve resonnering eller innebære samhandling med ulike systemer.

Enkel RAG har problemer med disse utfordringene. Derfor trenger vi mer avanserte metoder som Multi-stage RAG og Agentic RAG.

Multi-stage RAG er et avansert mønster som er utviklet for å håndtere komplekse spørringer ved å dele dem opp i mindre, håndterbare deler. I stedet for ett stort oppslag utfører metoden flere målrettede oppslag.

Tenk på det som en detektiv som løser en sak: Detektiven leter ikke bare etter ett spor, men følger opp ledetråder, samler mer informasjon og setter alt sammen trinn for trinn.

Det første trinnet i Multi-stage RAG innebærer ofte spørringsdekomponering. Her analyserer en LLM det opprinnelige komplekse spørsmålet ditt og omformulerer det til flere enklere delspørringer eller spesifikke søkeord.

Dette gjør at systemet kan hente dokumenter som er svært relevante for hver enkelt del av det overordnede spørsmålet, noe som forbedrer nøyaktigheten.

Når den opprinnelige spørringen er dekomponert, utfører RAG-systemet iterativ henting. Det innebærer at:

• Hver delspørring sendes til retrieveren.
• Relevante dokumenter hentes for hver delspørring.
• Resultatene fra ett hentetrinn kan til og med brukes til å informere om eller finjustere senere delspørringer.

Til slutt kombineres all hentet informasjon og sendes til LLM-en for et helhetlig svar.

Se for deg at du spør: «Hva er de viktigste årsakene til klimaendringer, og hvilke nyere teknologiske løsninger utvikles for å bekjempe dem?»

Et Multi-stage RAG-system kan:

1. Dekomponere: «Viktigste årsaker til klimaendringer» og «Nyere teknologiske løsninger for klimaendringer».
2. Hente 1: Finne dokumenter om årsakene.
3. Hente 2: Finne dokumenter om løsningene.
4. Sammenfatte: Kombinere informasjonen for å svare grundig på begge delene.

Mens Multi-stage RAG forbedrer informasjonsinnhentingen, tar Agentic RAG dette et skritt videre. En LLM-agent er et system der en LLM fungerer som en «hjerne» som kan resonnere, planlegge og utføre handlinger ved hjelp av ulike verktøy.

I stedet for bare å hente informasjon kan en agent bestemme hva som skal gjøres videre, basert på brukerens spørring og de tilgjengelige verktøyene. RAG blir ett av de kraftige verktøyene!

Kjernen i et agentisk system er en LLM som kan:

• Forstå: Tolke brukerens mål.
• Planlegge: Dele opp målet i trinn.
• Handle: Velge og bruke passende verktøy for hvert trinn.
• Observere: Evaluere resultatene fra verktøyene og bestemme neste trinn.

Verktøyene kan blant annet være nettsøk, kalkulatorer, eksterne API-er og, ikke minst, en RAG-retriever for kunnskapsbasen din.

I et Agentic RAG-system er ikke RAG-komponenten hele pipelinen; den er et spesialisert verktøy agenten kan kalle. Agenten bestemmer når RAG skal brukes.

Hvis en bruker for eksempel stiller et spørsmål som krever faktainformasjon fra det spesifikke dokumentlageret ditt, vil agenten «bestemme seg» for å bruke RAG-verktøyet sitt til å hente denne konteksten.

Se for deg denne spørringen: «Hva var selskapets inntekt i tredje kvartal i fjor, og hvordan er den sammenlignet med bransjegjennomsnittet for samme periode?»

En LLM-agent kan:

1. Bruke RAG-verktøyet: Hente den interne rapporten om inntektene i tredje kvartal.
2. Bruke nettsøkverktøyet: Finne bransjens gjennomsnittlige inntekt i tredje kvartal.
3. Bruke kalkulatorverktøyet: Sammenligne de to tallene.
4. Sammenfatte: Gi et helhetlig svar.

Når bør du bruke Multi-stage RAG, og når bør du bruke Agentic RAG?

• Multi-stage RAG: Best for spørringer som tydelig kan deles opp i separate delspørsmål, der hovedutfordringen er å hente omfattende informasjon.
• Agentic RAG: Ideelt for svært dynamiske problemer i flere trinn, som kan kreve ulike former for resonnering, ekstern samhandling og bruk av verktøy utover ren informasjonsinnhenting.

Begge metodene forbedrer RAG, men de er tilpasset ulike typer kompleksitet.

Godt jobbet! I denne leksjonen har vi utforsket avanserte RAG-mønstre for håndtering av komplekse situasjoner:

• Multi-stage RAG: Dekomponerer komplekse spørringer til delspørringer og utfører iterativ henting for å samle en helhetlig kontekst.
• Agentic RAG: Bruker en LLM som en intelligent agent som kan resonnere, planlegge og bruke ulike verktøy (inkludert RAG) for å nå et mål.

Disse teknikkene er avgjørende for å bygge robuste og intelligente LLM-applikasjoner som går utover enkel spørsmål-og-svar.