Flerstegs- och agentiska RAG-mönster

Välkommen till avancerad RAG! Hittills har vi utforskat grundläggande Retrieval Augmented Generation (RAG), där en LLM besvarar en fråga med hjälp av en enda uppsättning hämtade dokument.

Frågor från verkligheten kan dock vara komplexa. De kan bestå av flera delar, kräva resonemang eller behöva samverka med olika system.

En enkel RAG-lösning har svårt att hantera dessa utmaningar. Därför behöver vi mer avancerade metoder som Multi-stage RAG och Agentic RAG.

Multi-stage RAG är ett avancerat mönster som är utformat för att hantera komplexa frågor genom att dela upp dem i mindre, hanterbara delar. I stället för en enda stor hämtning genomförs flera riktade hämtningar.

Tänk på det som en detektiv som löser ett fall: det räcker inte att leta efter en enda ledtråd. Detektiven följer uppslag, samlar in mer information och sätter steg för steg ihop helheten.

Det första steget i Multi-stage RAG innebär ofta frågeuppdelning. Här analyserar en LLM er ursprungliga komplexa fråga och omformulerar den till flera enklare delfrågor eller specifika söktermer.

Det gör att systemet kan hämta dokument som är mycket relevanta för varje enskild del av er övergripande fråga, vilket förbättrar träffsäkerheten.

När den ursprungliga frågan har delats upp genomför RAG-systemet iterativ hämtning. Det innebär att:

• Varje delfråga skickas till retrievern.
• Relevanta dokument hämtas för varje delfråga.
• Resultaten från ett hämtningssteg kan till och med ge information till eller förfina efterföljande delfrågor.

Slutligen kombineras all hämtad information och skickas till LLM:en för ett heltäckande svar.

Föreställ er att ni frågar: "Vilka är de främsta orsakerna till klimatförändringarna, och vilka nya tekniska lösningar utvecklas för att motverka dem?"

Ett Multi-stage RAG-system kan:

1. Dela upp: "Främsta orsakerna till klimatförändringarna" och "Nya tekniska lösningar mot klimatförändringarna."
2. Hämta 1: Hitta dokument om orsakerna.
3. Hämta 2: Hitta dokument om lösningarna.
4. Sammanställa: Kombinera informationen för att besvara båda delarna fullständigt.

Multi-stage RAG förbättrar hämtningen, men Agentic RAG tar det ett steg längre. En LLM-agent är ett system där en LLM fungerar som en "hjärna" som resonerar, planerar och utför åtgärder med hjälp av olika verktyg.

I stället för att bara hämta information kan en agent avgöra vad som ska göras härnäst utifrån användarens fråga och de tillgängliga verktygen. RAG blir ett av dess kraftfulla verktyg!

Kärnan i ett agentiskt system är en LLM som kan:

• Förstå: Tolka användarens mål.
• Planera: Dela upp målet i steg.
• Agera: Välja och använda lämpliga verktyg för varje steg.
• Observera: Utvärdera verktygens resultat och avgöra nästa steg.

Verktyg kan vara webbsökning, kalkylatorer, externa API:er och framför allt en RAG-retriever för er kunskapsbas.

I ett Agentic RAG-system är RAG-komponenten inte hela pipelinen, utan ett specialiserat verktyg som agenten kan anropa. Agenten avgör när RAG ska användas.

Om en användare till exempel ställer en fråga som kräver faktauppgifter från ert specifika dokumentlager kommer agenten att "besluta" att använda sitt RAG-verktyg för att hämta den kontexten.

Ta följande fråga: "Vilka var vårt företags intäkter under tredje kvartalet förra året, och hur står de sig mot branschgenomsnittet för samma period?"

En LLM-agent kan:

1. Använda RAG-verktyget: Hämta den interna rapporten om intäkterna under tredje kvartalet.
2. Använda webbsökningsverktyget: Hitta branschens genomsnittliga intäkter under tredje kvartalet.
3. Använda kalkylatorverktyget: Jämföra de två siffrorna.
4. Sammanställa: Ge ett heltäckande svar.

När ska ni använda Multi-stage RAG respektive Agentic RAG?

• Multi-stage RAG: Bäst för frågor som tydligt kan delas upp i separata delfrågor, där den främsta utmaningen är att hämta heltäckande information.
• Agentic RAG: Idealisk för mycket dynamiska problem i flera steg som kan kräva olika typer av resonemang, externa interaktioner och användning av verktyg utöver själva hämtningen.

Båda metoderna förbättrar RAG, men de passar olika typer av komplexitet.

Bra jobbat! I den här lektionen har vi utforskat avancerade RAG-mönster för att hantera komplexa scenarier:

• Multi-stage RAG: Delar upp komplexa frågor i delfrågor och genomför iterativ hämtning för att samla in heltäckande kontext.
• Agentic RAG: Använder en LLM som en intelligent agent som kan resonera, planera och använda olika verktyg (inklusive RAG) för att nå ett mål.

De här teknikerna är avgörande för att bygga robusta och intelligenta LLM-applikationer som går längre än enkel frågebesvaring.