Dlaczego naiwne dzielenie na fragmenty pogarsza wyszukiwanie

Dzielenie na fragmenty to proces dzielenia dokumentów na mniejsze części przed umieszczeniem ich w bazie wektorowej. Sposób podziału decyduje o tym, jaki kontekst będzie dostępny podczas wyszukiwania. Nieprawidłowe dzielenie na fragmenty jest jedną z najczęstszych i najbardziej znaczących przyczyn niepowodzeń systemów RAG.

Wyobraź sobie dokument zawierający zdanie: „Okres obowiązywania polityki zwrotów wynosi 30 dni od zakupu. Klienci muszą dołączyć oryginalny paragon.” Jeśli dzielnik o stałym rozmiarze przetnie tekst po słowie „zakupu.”, oba zdania trafią do różnych fragmentów. Zapytanie dotyczące polityki zwrotów może pobrać tylko pierwszą połowę, przez co model nie będzie w stanie wspomnieć o konieczności dołączenia paragonu.

Dokumenty często używają nagłówków sekcji, aby przekazywać znaczenie. Rozważ tabelę zatytułowaną „Ceny planów Enterprise”, po której następują wiersze z liczbami. Jeśli nagłówek i tabela trafią do różnych fragmentów, pobrany fragment tabeli będzie zawierał liczby bez etykiety — model nie będzie w stanie poprawnie odpowiedzieć na pytanie „Jaka jest cena Enterprise?”.

Dzielenie na fragmenty o stałym rozmiarze rozdziela tekst co N znaków lub tokenów, niezależnie od granic zdań. Jest szybkie i proste, ale często przecina tekst w środku zdania. Fragment kończący się na 'The model was trained on' oraz kolejny fragment zaczynający się od 'a dataset of 500 billion tokens' są osobno pozbawione znaczenia.

Częstym rozwiązaniem jest dodanie nakładania się fragmentów — powtórzenie ostatnich N tokenów jednego fragmentu na początku następnego. Pomaga to w przypadku zdań podzielonych między fragmentami, ale wprowadza nadmiarowość i może dezorientować mechanizmy wyszukiwania, gdy pobrane zostaną dwa bardzo podobne fragmenty. Nakładanie się fragmentów to rozwiązanie tymczasowe, a nie lekarstwo na strukturalne problemy z dzieleniem.

Możesz zmierzyć, jak często sposób dzielenia na fragmenty pogarsza wyszukiwanie, tworząc niewielki zestaw wzorcowy do oceny: listę pytań z ustalonymi poprawnymi fragmentami źródłowymi. Następnie sprawdź, jak często poprawny fragment znajduje się wśród k najlepszych pobranych fragmentów. Niski wskaźnik trafień często ujawnia problemy z dzieleniem na fragmenty, zanim w ogóle przeanalizujesz jakość generowania.

Pliki z kodem, JSON i tabele mają jednostki logiczne — funkcje, obiekty i wiersze tabel — których nie należy dzielić. Podzielenie definicji funkcji Pythona między dwa fragmenty sprawia, że żaden z nich nie jest samodzielnie zrozumiały. Mechanizm wyszukiwania, który znajdzie drugi fragment, zobaczy kod bez argumentów i bez kontekstu.

Badania nad LLM-ami pokazują zjawisko „zagubienia w środku”: gdy wiele fragmentów zostanie pobranych i umieszczonych w promptcie, model zwraca uwagę na treści znajdujące się blisko początku i końca, ale ma tendencję do ignorowania środka. Nieprawidłowe dzielenie, które tworzy wiele małych fragmentów niskiej jakości, pogarsza ten problem, rozpraszając istotny sygnał.

Szybką metodą diagnostyczną jest wyświetlenie losowej próbki fragmentów i ich przeczytanie. Zadaj sobie pytanie: Czy ten fragment ma sens samodzielnie? Gdyby użytkownik zadał pytanie, czy model mógłby odpowiedzieć na nie na podstawie samego tego fragmentu? Fragmenty zawierające nieokreślone zaimki („On powiedział, że...”), niekompletny kod lub liczby pozbawione kontekstu są sygnałami ostrzegawczymi.

Bardzo duże fragmenty pogarszają precyzję wyszukiwania. Fragment o długości 2000 tokenów, dotyczący szerokiego tematu, może pasować do wielu zapytań, ale dostarczać LLM-owi zbyt dużo szumu. Model musi znaleźć igłę w stogu siana w obrębie tego fragmentu. Mniejsze, skoncentrowane fragmenty poprawiają precyzję kosztem potencjalnej utraty otaczającego kontekstu.

Lepsze alternatywy dla naiwnego dzielenia na fragmenty o stałym rozmiarze obejmują: dzielenie na granicach zdań, które nigdy nie przecina zdania w środku, dzielenie semantyczne, które rozdziela tekst na granicach tematów, dzielenie na fragmenty nadrzędne i podrzędne, zachowujące szerszy kontekst, oraz dzielenie uwzględniające strukturę dokumentu, które respektuje funkcje kodu, tagi HTML i nagłówki Markdown. Każda z kolejnych lekcji omawia jedną z tych metod.

W tej lekcji nauczyłeś się, że: naiwne dzielenie na fragmenty o stałym rozmiarze narusza granice zdań i sekcji, nakładanie się fragmentów jest częściowym rozwiązaniem, ale wprowadza nadmiarowość oraz jakość fragmentów bezpośrednio decyduje o wskaźniku trafień wyszukiwania. Następnie zajmiemy się dzieleniem semantycznym, które rozdziela tekst na naturalnych granicach tematów, wykorzystując podobieństwo osadzeń.