Wyszukiwanie gęste a rzadkie: kompromisy

Współczesne systemy pobierania opierają się na dwóch odrębnych sygnałach: pobieranie gęste koduje znaczenie w ciągłych przestrzeniach wektorowych, natomiast pobieranie rzadkie zlicza dokładne wystąpienia terminów. Sygnały te uzupełniają się, ale nie można ich stosować zamiennie. Zrozumienie mocnych i słabych stron każdego z nich to pierwszy krok do zbudowania systemu, który skutecznie wykorzystuje oba.

Pobieranie gęste odwzorowuje zarówno zapytanie, jak i każdy dokument na wielowymiarowy wektor za pomocą enkodera neuronowego. Podobieństwo mierzy się za pomocą odległości cosinusowej lub iloczynu skalarnego wektorów. Ponieważ enkoder został wytrenowany na dużych korpusach tekstowych, frazy powiązane semantycznie trafiają blisko siebie w przestrzeni wektorowej, nawet jeśli nie mają wspólnych słów — to kluczowa zaleta pobierania gęstego.

Modele gęste mają trudności z rzadkimi terminami, które były niedostatecznie reprezentowane podczas trenowania enkodera. Zapytanie zawierające konkretny numer modelu produktu, taki jak RTX-4090-Ti-OC, nazwę leku lub zastrzeżony wewnętrzny identyfikator, często nie dopasuje właściwego dokumentu, ponieważ enkoder nie ma wyuczonej reprezentacji dla tej sekwencji tokenów. Wektor trafia po prostu w nieprzydatne miejsce przestrzeni embeddingów.

BM25 (Best Matching 25) to probabilistyczna funkcja rankingowa, która ocenia dokumenty na podstawie częstości występowania terminów zapytania w dokumencie, normalizując wynik względem długości dokumentu i osłabiając wpływ nasycenia częstości terminów. Tworzy rzadki wektor wyników — większość wymiarów ma wartość zero, ponieważ dokumenty zawierają tylko niewielką część słownika.

BM25 świetnie sprawdza się w zapytaniach zawierających dokładne terminy techniczne, nazwy produktów, kody błędów i identyfikatory liczbowe, które powinny zostać precyzyjnie dopasowane. Zapytanie o ORA-01017 (kod błędu Oracle) umieści dokumenty zawierające dokładnie ten ciąg znacznie wyżej niż dokumenty, które jedynie ogólnie omawiają uwierzytelnianie w bazie danych. Jest to niemożliwe dla modelu gęstego, który nigdy nie widział tego konkretnego kodu.

BM25 nie rozpoznaje parafraz semantycznych. Dokument o naprawie silnika samochodowego otrzyma wynik zero dla zapytania o konserwację motoru auta, ponieważ żadne dokładne słowa się nie pokrywają. Ten problem niedopasowania słownictwa, nazywany czasem luką leksykalną, oznacza, że wyszukiwanie oparte wyłącznie na słowach kluczowych pomija ogromną ilość istotnych treści, które po prostu używają innych słów do wyrażenia tej samej idei.

Benchmarki przeprowadzone na zbiorach BEIR, MS MARCO i zbiorach firmowych pytań i odpowiedzi konsekwentnie pokazują, że pobieranie hybrydowe przewyższa samo pobieranie gęste lub rzadkie o 5–15 procent według NDCG@10. Poprawa jest największa w zbiorach zawierających zarówno zapytania faktograficzne (w których pomaga BM25), jak i zapytania będące parafrazami (w których pomagają embeddingi gęste). Żadna pojedyncza metoda pobierania nie dominuje dla wszystkich typów zapytań.

Można przewidzieć, który retriever zadziała lepiej, analizując typ zapytania. Pobieranie gęste wygrywa w przypadku pytań konceptualnych, parafraz i ogólnych zapytań tematycznych. BM25 wygrywa w przypadku zapytań zawierających nazwy własne, numery wersji, fragmenty kodu, akronimy i rzadkie terminy techniczne. Hybryda zawsze wygrywa, gdy typ zapytania nie jest znany z góry — a w środowisku produkcyjnym jest tak niemal zawsze.

Łączenie wyników gęstych i rzadkich nie jest trywialne, ponieważ ich wyniki są obliczane w niezgodnych skalach. Podobieństwo cosinusowe przyjmuje wartości od -1 do 1, natomiast BM25 generuje nieograniczone dodatnie wyniki zależne od rozmiaru korpusu. Nie można ich po prostu dodać. Standardowym rozwiązaniem jest użycie fuzji opartej na rangach zamiast fuzji opartej na wynikach — łączenie uporządkowanych list zamiast surowych wyników.

Retrievalu tylko gęstego należy używać, gdy korpus obejmuje wąską dziedzinę, ma spójne słownictwo, a potrzebne jest uogólnianie znaczeniowe na parafrazy. Tylko BM25 należy stosować, gdy zapytania mają głównie charakter wyszukiwawczy i zawierają dokładne identyfikatory, a zbiór danych jest na tyle mały, że wyszukiwanie metodą brute-force jest wykonalne. Retrieval hybrydowy należy stosować we wszystkich produkcyjnych systemach RAG, w których typy zapytań są zróżnicowane — narzut jest niewielki, a poprawa recallu znacząca.

Retrieval gęsty wymaga akcelerowanego przez GPU przybliżonego wyszukiwania najbliższych sąsiadów lub bazy wektorowej, co zwiększa koszty infrastruktury. BM25 działa w całości na CPU, korzystając z indeksu odwróconego, i jest wyjątkowo szybki. Retrieval hybrydowy wymaga obu komponentów infrastruktury oraz etapu fuzji. Dodatkowa złożoność jest uzasadniona poprawą recallu w większości produkcyjnych zastosowań, ale należy ją zestawić z budżetem infrastruktury.

Sprawdź swoją wiedzę na temat kompromisów między retrievalem gęstym a rzadkim omówionych w tej lekcji.

W tej lekcji poznali Państwo: retrieval gęsty odwzorowuje znaczenie semantyczne, ale zawodzi w przypadku rzadkich, dokładnych terminów; rzadki retrieval BM25 obsługuje dokładne słowa kluczowe, ale nie radzi sobie z parafrazami; natomiast retrieval hybrydowy konsekwentnie przewyższa każdą z tych metod stosowaną osobno dla różnorodnych typów zapytań. Ich wyniki są niezgodne i należy je łączyć za pomocą fuzji rang, a nie przez dodawanie wyników. W następnej części zaimplementujemy wyszukiwanie słów kluczowych BM25 w języku Python.