Wczytywanie, dzielenie i osadzanie dokumentów

Zanim LLM będzie mógł odpowiadać na podstawie dokumentów, należy je wczytać, podzielić i przekształcić w embeddingi. Ta lekcja omawia ten potok pozyskiwania danych, będący podstawą każdego systemu Retrieval-Augmented Generation.

PyPDFLoader odczytuje plik PDF i zwraca listę obiektów Document, po jednym na stronę. Każdy obiekt Document zawiera page_content (tekst) oraz metadata (źródło i numer strony).

Całe strony często są zbyt duże, aby utworzyć dla nich embedding lub zmieścić je w prompcie. Dzielenie rozbija tekst na mniejsze fragmenty, dla których można poprawnie utworzyć embedding, a wyszukiwanie może zwrócić tylko odpowiedni fragment zamiast całej strony.

Zalecanym narzędziem do dzielenia jest RecursiveCharacterTextSplitter. Najpierw próbuje ono dzielić tekst według akapitów, następnie zdań, a na końcu słów. Dzięki temu fragmenty zachowują spójność znaczeniową, zamiast kończyć się w środku słowa.

chunk_size określa maksymalną liczbę znaków w jednym fragmencie, a chunk_overlap powtarza część tekstu między sąsiednimi fragmentami, aby nie utracić kontekstu na granicach. Podział 1000/200 jest często dobrym punktem wyjścia.

Małe fragmenty zapewniają precyzyjne wyniki wyszukiwania, ale mogą pomijać otaczający kontekst. Duże fragmenty zachowują kontekst, lecz osłabiają trafność i zużywają więcej tokenów. Dobrym ustawieniem domyślnym jest nakładanie się fragmentów na poziomie 10–20% ich rozmiaru, aby połączyć sąsiednie granice.

Embedding przekształca tekst w wektor liczb o stałej długości, który odzwierciedla jego znaczenie. Podobne teksty dają wektory położone blisko siebie. Dzięki temu można wyszukiwać na podstawie podobieństwa semantycznego, a nie słów kluczowych.

Embeddingi można tworzyć za pomocą OpenAIEmbeddings. Model text-embedding-3-small jest tani i skuteczny. embed_query tworzy embedding jednego ciągu znaków, a embed_documents — listy ciągów.

Wszystkie fragmenty można przekształcić w embeddingi jednocześnie. Każdy fragment stanie się wektorem, który później będzie można przechowywać w wektorowej bazie danych na potrzeby szybkiego wyszukiwania podobieństwa.

Embeddingi są rozliczane za token. Należy oszacować łączną liczbę tokenów we wszystkich fragmentach, a następnie pomnożyć ją przez cenę za 1K tokenów. Zliczenie tokenów przed utworzeniem embeddingów pozwala uniknąć niespodziewanych rachunków w przypadku dużych zbiorów dokumentów.

Przepływ pozyskiwania danych wygląda następująco: wczytanie dokumentów, podział na nachodzące na siebie fragmenty, utworzenie embeddingu dla każdego fragmentu i — w następnej lekcji — ich zapisanie. Dobry podział na fragmenty oraz kontrola kosztów na tym etapie decydują o jakości i cenie całego systemu RAG.

Sprawdźcie Państwo swoją wiedzę na temat pozyskiwania danych.

Używali Państwo PyPDFLoader do wczytywania dokumentów, RecursiveCharacterTextSplitter wraz z chunk_size i chunk_overlap do dzielenia ich na fragmenty oraz OpenAIEmbeddings do przekształcania fragmentów w wektory. Nauczyli się Państwo również szacować koszt embeddingów za token przed przetworzeniem dużego zbioru dokumentów.