Query herschrijven en HyDE

In chat-RAG combineer je het gesprek en de nieuwe beurt tot één zelfstandige vraag. Zonder deze stap maken voornaamwoorden en weglatingen de embedding betekenisloos en stort het ophalen in.

Geef eerdere beurten door, zodat de herschrijver ‘het’, ‘dat’ en ‘de vorige’ kan omzetten in expliciete entiteiten waarmee de ophaler overeenkomsten kan vinden.

Uitbreiding genereert synoniemen, verwante termen of alternatieve formuleringen om de lexicale en semantische dekking te vergroten. Dit gaat een verschil in woordenschat tegen: het document zegt ‘ongeldig maken’, terwijl de gebruiker ‘intrekken’ zegt.

Breid de zoekopdracht uit voor het ophalen en haal daarna op met de unie van de resultaten; toon de uitgebreide vorm niet aan de gebruiker. Pas op voor te veel uitbreiding, want die kan resultaten buiten het onderwerp opleveren.

Genereer verschillende uiteenlopende herformuleringen, haal voor elke herformulering resultaten op en voeg de resultatenlijsten samen (reciprocal rank fusion). Verschillende formuleringen brengen verschillende relevante fragmenten aan het licht; het samenvoegen combineert hun sterke punten en stabiliseert de recall.

Dit ruilt extra ophaalaanroepen in voor robuustheid tegen één slechte formulering.

Complexe multi-hopvragen moeten worden opgesplitst in deelvragen, die je elk afzonderlijk ophaalt en daarna samenvoegt. De vraag welke CEO van het bedrijf dat X heeft overgenomen ouder is dan ... kun je niet met één keer ophalen beantwoorden.

Splits de vraag op, haal per deelvraag informatie op en laat de generator het verzamelde bewijs combineren.

HyDE (Hypothetical Document Embeddings, Gao et al., 2022) draait het probleem om. In plaats van de korte zoekopdracht te embedden, vraagt het een LLM om een hypothetisch antwoorddocument te genereren. Vervolgens wordt dat document geëmbed en daarmee worden resultaten opgehaald.

Het hypothetische document gebruikt hetzelfde taalregister als echte documenten. Daardoor ligt de embedding ervan dichter bij echte antwoorden en wordt het verschil tussen zoekopdracht en document verkleind.

Een vraag en het antwoord daarop zijn anders geformuleerd; een vraag en een nepantwoord dat aannemelijk klinkt, zijn juist vergelijkbaar geformuleerd met het echte antwoord. HyDE gebruikt de generatieve voorkennis van de LLM om die kloof te overbruggen, zelfs als het hypothetische document feitelijke fouten bevat.

De juistheid van het hypothetische document is niet zo belangrijk: het hoeft alleen de juiste woordenschat en structuur te hebben om in de embeddingruimte dicht bij echte documenten terecht te komen.

HyDE voegt vóór het ophalen een LLM-generatie toe, waardoor de latentie en kosten toenemen. De LLM kan ook een hallucinatoir hypothetisch document genereren dat van het onderwerp afdwaalt. Dat schaadt de recall bij nichezoekopdrachten of zoekopdrachten buiten de trainingsverdeling waarover het model niets weet.

Beperk dit risico door ophalen met de HyDE-vector te combineren met ophalen op basis van de oorspronkelijke zoekopdracht via samenvoeging. Zo kan een slechte hypothetische tekst de recall niet volledig onderuit halen.

Deze transformaties vullen elkaar aan. Gebruik condensering voor chat, uitbreiding/zoekopdrachten met meerdere varianten voor verschillen in woordenschat, opsplitsing voor multi-hopvragen en HyDE wanneer het taalregister van de vraag niet overeenkomt met dat van het document. Veel productiesystemen koppelen eerst condenseren en daarna HyDE, voegen dat samen met de oorspronkelijke zoekopdracht en herordenen vervolgens.

Elke extra transformatie kost een LLM-aanroep. Bepaal daarom op basis van het type zoekopdracht welke transformaties je uitvoert, in plaats van ze altijd allemaal te gebruiken.

Meet elke transformatie aan de hand van de verbetering in retrieval recall@k en de nauwkeurigheid van het uiteindelijke antwoord ten opzichte van de onbewerkte query, op een set zonder datalekken. Houd de extra latentie en LLM-kosten bij, zodat je alleen transformaties behoudt die zichzelf terugverdienen.

Pas op: een transformatie die de recall verbetert maar afleidende resultaten toevoegt, kan de nauwkeurigheid van het antwoord verlagen tenzij je die combineert met herordening en compressie.

Belangrijkste lessen:

• Het ophalen van informatie wordt begrensd door de query; de query transformeren is een goedkope RAG-upgrade met grote impact.
• Herschrijven en samenvatten maken chatquery's zelfstandig; uitbreiding en meerdere query's vullen hiaten in de woordenschat.
• Decompositie behandelt meerstapsvragen door per deelvraag informatie op te halen.
• HyDE embedt een hypothetisch antwoord om een verschil in register tussen vraag en document te overbruggen; het hypothetische antwoord hoeft niet correct te zijn.
• Combineer transformaties op basis van het type query, voeg ze voor robuustheid samen met de onbewerkte query en evalueer recall, antwoordnauwkeurigheid, latentie en kosten.