Tett kontra spredt gjenfinning: avveininger

Moderne systemer for henting bygger på to ulike signaler: dense retrieval koder mening i kontinuerlige vektorrom, mens sparse retrieval teller nøyaktige termforekomster. Disse signalene utfyller hverandre og kan ikke erstatte hverandre. Å forstå styrkene og svakhetene til hvert signal er det første steget mot å bygge et system som bruker begge effektivt.

Dense retrieval mapper både søket og hvert dokument til en vektor med mange dimensjoner ved hjelp av en nevral encoder. Likhet måles med cosine distance eller skalarprodukt mellom vektorene. Fordi encoderen er trent på store tekstkorpora, havner semantisk beslektede fraser nær hverandre i vektorrommet selv om de ikke har noen felles ord – dette er den viktigste fordelen med dense retrieval.

Tette modeller har problemer med sjeldne termer som var lite representert under treningen av encoderen. Et søk som inneholder et spesifikt produktmodellnummer som RTX-4090-Ti-OC, et medisinsk legemiddelnavn eller en proprietær intern identifikator, vil ofte ikke finne det riktige dokumentet fordi encoderen ikke har lært en representasjon av denne tokensekvensen. Vektoren havner ganske enkelt et lite nyttig sted i embedding-rommet.

BM25 (Best Matching 25) er en probabilistisk rangeringsfunksjon som gir dokumenter poeng basert på hvor ofte søketermer forekommer i dokumentet. Poengsummen normaliseres etter dokumentlengde og dempes når termfrekvensen blir mettet. Funksjonen produserer en glissen poengvektor – de fleste dimensjonene er null fordi dokumenter bare inneholder en liten del av ordforrådet.

BM25 er særlig god på søk som inneholder eksakte tekniske termer, produktnavn, feilkoder og numeriske identifikatorer som skal samsvare nøyaktig. Et søk etter ORA-01017 (en Oracle-feilkode) rangerer dokumenter som inneholder den nøyaktige tekststrengen, langt høyere enn dokumenter som bare omtaler databaseautentisering i generelle ordelag. Dette er umulig for en tett modell som aldri har sett den spesifikke koden.

BM25 tar ikke hensyn til semantiske parafraser. Et dokument om «reparasjon av bilmotorer» får null poeng for et søk om «vedlikehold av automobile motorer» dersom ingen av de eksakte ordene overlapper. Dette problemet med ulikt ordforråd, som noen ganger kalles det leksikalske gapet, betyr at rent nøkkelordsøk går glipp av store mengder relevant innhold som ganske enkelt bruker andre ord for å uttrykke den samme ideen.

Benchmarktester på BEIR-, MS MARCO- og datasett for spørsmål og svar i virksomheter viser konsekvent at hybridhenting gir bedre resultater enn enten tett eller glissen henting alene, med 5–15 prosent på NDCG@10. Forbedringen er størst på datasett med en blanding av faktasøk (der BM25 hjelper) og parafrasesøk (der tette embedding-er hjelper). Ingen enkelt metode for henting dominerer på tvers av alle søketyper.

Du kan forutsi hvilken henter som vil fungere best, ved å analysere søketypen. Dense retrieval vinner på konseptuelle spørsmål, parafraser og brede temasøk. BM25 vinner på søk som inneholder egennavn, versjonsnumre, kodeutdrag, akronymer og sjeldne tekniske termer. Hybrid vinner alltid når søketypen ikke er kjent på forhånd – noe som nesten alltid er tilfellet i produksjon.

Det er ikke trivielt å kombinere dense- og sparse-resultater fordi poengsummene deres er på uforenlige skalaer. Cosinuslikhet gir verdier mellom -1 og 1, mens BM25 gir ubegrensede positive poengsummer som avhenger av korpusets størrelse. De kan ikke bare legges sammen. Standardløsningen er å bruke rangbasert fusjon i stedet for poengsum­basert fusjon – altså å slå sammen rangerte lister i stedet for rå poengsummer.

Bruk dense-only-søk når korpuset tilhører et snevert domene med et konsistent vokabular, og De trenger semantisk generalisering på tvers av parafraser. Bruk BM25-only når forespørslene hovedsakelig er oppslag med nøyaktige identifikatorer, og datasettet er lite nok til at brute force er gjennomførbart. Bruk hybrid i alle RAG-systemer i produksjon der forespørselstypene varierer – ekstrakostnaden er moderat, og økningen i recall er betydelig.

Dense retrieval krever GPU-akselerert approximate nearest neighbor-søk eller en vektordatabase, noe som øker infrastrukturkostnadene. BM25 kjører utelukkende på CPU med en invertert indeks og er svært raskt. Hybrid retrieval krever begge infrastrukturkomponentene samt et fusjonstrinn. Den økte kompleksiteten er berettiget på grunn av forbedringen i recall for de fleste produksjonsbruksområder, men må veies opp mot infrastrukturbudsjettet.

I denne leksjonen lærte De at dense retrieval fanger opp semantisk betydning, men ikke fungerer godt for sjeldne, eksakte termer, at BM25 sparse retrieval håndterer eksakte nøkkelord, men går glipp av parafraser, og at hybrid retrieval konsekvent gir bedre resultater enn hver av metodene alene på tvers av ulike forespørselstyper. Poengsummene deres er uforenlige og må slås sammen ved hjelp av rangfusjon i stedet for å legges sammen. Neste steg er å implementere BM25-nøkkelordsøk i Python.