Metryki pobierania: hit rate, MRR i NDCG

Współczynnik trafień informuje, czy powiązany fragment pojawił się gdziekolwiek wśród K najważniejszych wyników, ale nie mówi, gdzie w rankingu się znalazł. System, który zawsze umieszcza najlepszy fragment na 5. miejscu, jest gorszy od systemu, który konsekwentnie umieszcza go na 1. miejscu, nawet jeśli oba mają taki sam współczynnik trafień. Bardziej zaawansowane metryki, takie jak MRR i NDCG, uwzględniają jakość rankingu, nagradzając systemy umieszczające najbardziej trafne fragmenty na początku, gdzie LLM i użytkownicy najprawdopodobniej z nich skorzystają.

Współczynnik trafień@K to najprostsza metryka: dla jakiego odsetka zapytań co najmniej jeden powiązany fragment pojawia się wśród K najważniejszych wyników? Daje ona binarny sygnał dla każdego zapytania i jest łatwa do interpretacji. Należy ją obliczyć, sprawdzając przecięcie zbiorów identyfikatorów pobranych fragmentów i znanych powiązanych identyfikatorów. Jako wartość domyślną należy przyjąć K=5, ponieważ większość systemów RAG pobiera 5 fragmentów. Warto porównać hit rate@1, @3 i @5, aby zrozumieć, jak zmienia się czułość wraz z poszerzaniem okna wyszukiwania.

MRR (Mean Reciprocal Rank) mierzy średnią odwrotność pozycji, na której pojawia się pierwszy powiązany fragment. Jeśli powiązany fragment znajduje się na 1. pozycji, odwrotność pozycji wynosi 1/1 = 1.0. Na 2. pozycji wynosi 0.5, a na 5. pozycji — 0.2. MRR jest uśredniane dla wszystkich zapytań. Wyższa wartość MRR oznacza, że mechanizm wyszukiwania konsekwentnie umieszcza powiązane fragmenty wysoko w rankingu, co jest istotne, ponieważ LLM zwraca większą uwagę na kontekst umieszczony wcześniej w prompcie.

Wartości MRR mają intuicyjną interpretację: MRR = 1.0 oznacza, że pierwszy powiązany fragment zawsze znajduje się na 1. pozycji (wynik idealny). MRR = 0.5 oznacza, że zwykle znajduje się na 2. pozycji. MRR = 0.25 oznacza, że zwykle znajduje się na 4. pozycji — powiązane informacje pojawiają się na tyle daleko w rankingu, że mogą zostać obcięte z kontekstu. W systemach RAG należy dążyć do MRR > 0.7, aby zagwarantować, że najbardziej trafny fragment będzie konsekwentnie znajdował się wśród dwóch pierwszych pozycji.

Precision@K mierzy, jaki odsetek spośród K pobranych fragmentów jest rzeczywiście powiązany z zapytaniem. W przeciwieństwie do współczynnika trafień, który ma charakter binarny, precision@K mierzy stosunek sygnału do szumu w wynikach wyszukiwania. Niska precyzja oznacza, że LLM otrzymuje nieistotny kontekst wraz z istotnymi fragmentami, co zwiększa ryzyko pomyłek lub wstrzyknięcia promptu. W systemach RAG zdrowym celem jest precision@5 > 0.6.

DCG to metryka oceny listy rankingowej, która nagradza umieszczanie bardziej trafnych fragmentów wyżej. Sumuje ona wartości trafności pobranych fragmentów, ale stosuje logarytmiczne pomniejszenie zależne od pozycji: 1. pozycja otrzymuje pełną wartość, 2. pozycja — pomniejszenie log(2), i tak dalej. Umieszczenie bardziej trafnych fragmentów na początku daje wyższą wartość DCG. Wersja znormalizowana (NDCG) dzieli wynik przez idealną wartość DCG (najlepszy możliwy ranking), uzyskując wynik od 0 do 1.

NDCG@K to złoty standard metryk wyszukiwania w systemach wyszukiwawczych. Jednocześnie uwzględnia trafność i pozycję w rankingu. NDCG@5 równe 0.85 oznacza, że mechanizm wyszukiwania osiąga średnio 85% teoretycznie najlepszego rankingu. NDCG obsługuje przypadki, w których dla jednego zapytania istnieje wiele powiązanych fragmentów (każdy otrzymuje ocenę trafności), i nakłada karę na systemy, które znajdują powiązane fragmenty, ale umieszczają je zbyt nisko w rankingu.

Biblioteka RAGAS zapewnia gotowy do użycia w środowisku produkcyjnym framework do oceny systemów RAG. Implementuje metryki precyzji kontekstu, kompletności kontekstu, wierności i trafności odpowiedzi, korzystając z podejścia LLM-as-judge. Należy przekazać do RAGAS pytania, odpowiedzi, pobrane konteksty i odpowiedzi wzorcowe, aby otrzymać pełny raport oceny z wynikami dla każdej metryki. To najszybszy sposób na skonfigurowanie kompleksowego potoku oceny RAG.

Średnie metryki dla całego zbioru ukrywają istotne wzorce. Należy podzielić złoty zbiór danych na kategorie — zapytania o fakty, porównania, proceduralne pytania typu „jak to zrobić” i pytania wykraczające poza zakres — oraz obliczyć metryki osobno dla każdej z nich. Mogą Państwo odkryć, że współczynnik trafień wynosi 95% dla zapytań o fakty, ale tylko 60% dla porównań wymagających przeskakiwania między wieloma fragmentami. Metryki na poziomie kategorii ujawniają konkretne tryby awarii, które ukrywają zagregowane wyniki.

Czasami metryki wysyłają sprzeczne sygnały. Mogą Państwo poprawić NDCG (lepszy ranking), podczas gdy współczynnik trafień pozostanie bez zmian (ta sama liczba nietrafionych zapytań). Dzieje się tak, gdy optymalizacja przesuwa powiązane fragmenty z 6. na 2. pozycję, ale nie przenosi wcześniej pominiętych zapytań do pierwszej piątki. W takich przypadkach należy sprawdzić, czy optymalizacja pomogła w przypadku zapytań, które już działały poprawnie, a jednocześnie pominęła te, które kończyły się niepowodzeniem. Oprócz zagregowanych metryk należy zawsze analizować przykłady pojedynczych nieudanych przypadków.

Recall@K mierzy, jaki odsetek wszystkich powiązanych fragmentów został pobrany wśród K najważniejszych wyników. Jeśli pytanie ma 3 powiązane fragmenty w indeksie, a mechanizm wyszukiwania zwróci 2 z nich w pierwszej piątce, recall@5 wynosi 2/3 = 0.67. Wysoki poziom recall ma znaczenie, gdy LLM potrzebuje wielu dowodów, aby utworzyć kompletną odpowiedź — pominięcie choćby jednego kluczowego fragmentu może sprawić, że odpowiedź będzie niepełna. Równowagę między precision i recall można uzyskać, dostrajając wartość K: większe K poprawia recall, ale obniża precision.

W tej lekcji poznali Państwo: hit rate@K jako metrykę binarnej obecności, MRR do mierzenia średniej pozycji pierwszego powiązanego fragmentu, precision@K do mierzenia stosunku sygnału do szumu w wyszukiwaniu, NDCG@K jako złoty standard metryk rankingowych oraz bibliotekę RAGAS do automatyzacji oceny RAG za pomocą metryk precyzji kontekstu, kompletności kontekstu, wierności i trafności odpowiedzi. W następnej części zagłębimy się w metryki generowania i pomiar wierności.