Omskrivning af forespørgsler og HyDE

I chat-RAG skal du kondensere dialogen og den nye besked til ét selvstændigt spørgsmål. Uden dette gør stedord og ellipser indlejringen meningsløs, og søgningen bryder sammen.

Giv omskriveren de tidligere beskeder, så den kan omsætte stedord som den, det og den forrige til eksplicitte entiteter, som søgemaskinen kan matche.

Udvidelse genererer synonymer, relaterede termer eller alternative formuleringer for at øge den leksikalske og semantiske dækning. Det bekæmper uoverensstemmelser i ordforrådet: Dokumentet siger invalidér, mens brugeren siger tilbagekald.

Udvid til søgningen, og søg derefter i den samlede mængde resultater. Vis ikke den udvidede formulering til brugeren. Vær opmærksom på overudvidelse, som kan hente uvedkommende resultater.

Generér flere forskellige omformuleringer, søg med hver af dem, og sammenflet resultatlisterne (fusion af reciprok rangering). Forskellige formuleringer finder forskellige relevante tekststykker; sammenfletningen kombinerer deres styrker og stabiliserer genfindingen.

Det kræver flere søgninger, men gør systemet mere robust over for en enkelt dårlig formulering.

Komplekse spørgsmål med flere trin kræver opdeling i delspørgsmål, som hver især søges efter, hvorefter resultaterne samles. Spørgsmålet om, hvilken administrerende direktør i den virksomhed, der opkøbte X, der er ældre end ..., kan ikke besvares med én søgning.

Opdel spørgsmålet, søg efter hvert delspørgsmål, og lad generatoren samle det indsamlede belæg.

HyDE (Hypothetical Document Embeddings, Gao et al., 2022) vender problemet på hovedet. I stedet for at indlejre den korte forespørgsel beder den LLM'en om at generere et hypotetisk svardokument, indlejrer derefter dokumentet og søger med det.

Det hypotetiske dokument bruger samme sproglige register som virkelige dokumenter, så dets indlejring ligger tættere på ægte svar og løser misforholdet mellem forespørgsel og dokument.

Et spørgsmål og dets svar er formuleret forskelligt; et spørgsmål og et falsk, men plausibelt svar ligner i formuleringen det virkelige svar. HyDE udnytter LLM'ens generative forhåndsviden til at bygge bro over denne forskel, selv hvis det hypotetiske dokument indeholder faktuelle fejl.

Det hypotetiske dokuments korrekthed betyder ikke så meget: Det skal blot have det rigtige ordforråd og den rigtige struktur for at placere sig tæt på ægte dokumenter i indlejringsrummet.

HyDE tilføjer en LLM-generering før søgningen, hvilket øger latenstid og omkostninger, og kan hallucinere et hypotetisk dokument, der bevæger sig væk fra emnet. Det skader genfindingen for nicheforespørgsler eller forespørgsler uden for fordelingen, som modellen ikke kender.

Afhjælp dette ved at kombinere søgning med HyDE-vektorer og søgning med den rå forespørgsel via fusion, så et dårligt hypotetisk dokument ikke kan ødelægge genfindingen fuldstændigt.

Disse transformationer supplerer hinanden. Brug kondensering til chat, udvidelse/flere forespørgsler ved mangler i ordforrådet, dekomponering til forespørgsler med flere hop og HyDE ved forskel på spørgsmålets og dokumentets sproglige register. Mange produktionsstakke kæder først kondensering og derefter HyDE sammen med den rå forespørgsel, hvorefter de omrangerer resultaterne.

Hver ekstra transformation koster et LLM-kald, så aktivér dem kun ud fra forespørgselstypen i stedet for altid at køre dem alle.

Mål hver transformation ud fra dens forbedring af hentningsrecall@k og nøjagtigheden af det endelige svar sammenlignet med den rå forespørgsel på et lækagefrit datasæt. Følg den ekstra latenstid og LLM-omkostningen, så du kun beholder transformationer, der kan betale sig.

Vær opmærksom på, at en transformation, der forbedrer recall, men tilføjer distraktorer, kan sænke svarnøjagtigheden, medmindre den kombineres med genrangering og komprimering.

Vigtigste pointer:

• Hentning er begrænset af forespørgslen; en transformation af den er en billig RAG-opgradering med stor effekt.
• Omskrivning og kondensering gør chatforespørgsler selvstændige; udvidelse og flere forespørgsler afhjælper huller i ordforrådet.
• Dekomponering håndterer flertrins spørgsmål ved at hente resultater for hvert delspørgsmål.
• HyDE indlejrer et hypotetisk svar for at bygge bro over forskellen mellem spørgsmålets og dokumentets sproglige register; det hypotetiske svar behøver ikke være korrekt.
• Kombiner transformationer efter forespørgselstype, flet dem sammen med den rå forespørgsel for større robusthed, og evaluer recall, svarnøjagtighed, latenstid og omkostninger.