Architektura RAG: indeksowanie i pobieranie

System RAG działa w dwóch zasadniczo różnych etapach, uruchamianych w różnym czasie. Etap indeksowania offline przetwarza dokumenty jednorazowo (lub po ich zmianie) i przygotowuje indeks umożliwiający wyszukiwanie. Etap pobierania online działa w czasie rzeczywistym dla każdego zapytania użytkownika. Zrozumienie tego podziału jest niezbędne do projektowania systemów, które są zarówno szybkie podczas obsługi zapytań, jak i łatwe w utrzymaniu w dłuższej perspektywie.

Indeksowanie rozpoczyna się od wczytania dokumentów, czyli odczytania surowych plików z systemów źródłowych. Dokumentami mogą być pliki PDF, Word, strony HTML, pliki Markdown, rekordy baz danych lub dowolne źródła tekstu. Każdy dokument jest wczytywany do pamięci jako zwykły tekst, z zachowaniem struktury tam, gdzie jest to możliwe. Biblioteki takie jak pypdf, python-docx i unstructured wykonują większość pracy związanej z analizą poszczególnych formatów.

LLM-y mają ograniczone okna kontekstu, a pobieranie całych dokumentów jest nieefektywne. Wczytany tekst dzieli się na mniejsze fragmenty liczące zwykle około 200–1000 tokenów. Dobry podział zachowuje spójność znaczeniową: fragment powinien przedstawiać kompletną myśl. Często stosuje się nakładające się okna, dzięki którym zdania znajdujące się w pobliżu granic fragmentów pojawiają się w dwóch fragmentach, co zapobiega utracie informacji w miejscach podziału.

Każdy fragment tekstu jest przekształcany w gęsty embedding wektorowy, który numerycznie odwzorowuje jego znaczenie semantyczne. Dla każdego fragmentu wywołuje się model embeddingowy — taki jak text-embedding-3-small firmy OpenAI — i otrzymuje tablicę wartości zmiennoprzecinkowych o dużej liczbie wymiarów. Fragmenty o podobnym znaczeniu generują wektory znajdujące się blisko siebie w tej wielowymiarowej przestrzeni, co umożliwia wyszukiwanie podobieństwa semantycznego.

Wygenerowane embeddingi fragmentów są przechowywane w bazie wektorowej wraz z metadanymi (plik źródłowy, numer strony, tytuł sekcji). Magazyn wektorowy tworzy strukturę indeksu (zwykle HNSW), która umożliwia szybkie przybliżone wyszukiwanie najbliższych sąsiadów. Indeks jest utrwalany na dysku, dzięki czemu przetrwa ponowne uruchomienie. Indeksowanie zwykle wykonuje się raz podczas konfiguracji oraz przyrostowo po dodaniu nowych dokumentów.

Gdy użytkownik przesyła zapytanie, rozpoczyna się etap pobierania online. Pierwszym krokiem jest utworzenie embeddingu pytania użytkownika przy użyciu tego samego modelu embeddingowego, który wykorzystano podczas indeksowania. To kluczowe: jeśli indeksowali Państwo dane za pomocą text-embedding-3-small, do obsługi zapytań również należy używać text-embedding-3-small. Embedding zapytania jest wektorem kodującym semantyczne znaczenie tego, o co pyta użytkownik.

Embedding zapytania jest wysyłany do magazynu wektorowego, który wykonuje przybliżone wyszukiwanie najbliższych sąsiadów (ANN), aby znaleźć K fragmentów, których embeddingi są najbardziej podobne do wektora zapytania. Wyszukiwanie jest niezwykle szybkie (zwykle trwa poniżej 10 ms), ponieważ indeksy HNSW poświęcają niewielką część kompletności wyników na rzecz ogromnego wzrostu szybkości w porównaniu z wyszukiwaniem metodą brute force. Pobieranych jest K najlepszych fragmentów — najczęściej od K=5 do K=20.

Najważniejszy wniosek jest taki, że indeksowanie i pobieranie projektuje się jako współdziałające etapy. Model embeddingowy musi być identyczny w obu etapach, ponieważ matematyczna przestrzeń, w której znajdują się wektory, zależy od modelu. Po zmianie modelu embeddingowego trzeba ponownie zindeksować wszystkie dokumenty. Magazyn wektorowy stanowi pomost: przyjmuje wektory podczas indeksowania i zwraca je podczas pobierania, rozdzielając oba etapy w czasie, a jednocześnie zachowując ich zgodność w przestrzeni wektorowej.

Wyszukiwanie wektorowe znajduje semantycznie podobne fragmenty, ale czasami trzeba także filtrować według metadanych. Na przykład można pobierać wyłącznie fragmenty z dokumentów przesłanych w 2025 roku albo tylko z folderu działu HR. Magazyny wektorowe obsługują filtrowanie wstępne lub końcowe pól metadanych. Filtrowanie wstępne (obsługiwane przez Pinecone i Qdrant) stosuje filtr przed wyszukiwaniem ANN, dzięki czemu jest szybsze i dokładniejsze niż filtrowanie końcowe wyników top-K.

W środowisku produkcyjnym zbiór dokumentów zmienia się z czasem. Skuteczna architektura indeksowania obsługuje aktualizacje przyrostowe: po edycji dokumentu należy usunąć jego istniejące wektory według identyfikatorów i wstawić nowe. Po usunięciu dokumentów trzeba usunąć również ich wektory. Każdemu fragmentowi należy przypisać deterministyczny identyfikator oparty na ścieżce dokumentu źródłowego i pozycji fragmentu, aby zawsze można było znaleźć i zaktualizować właściwe wektory bez ponownego indeksowania całości.

Kompletna architektura RAG wygląda następująco: Offline: Dokumenty → Loader → Chunker → Model embeddingowy → Magazyn wektorowy. Online: Zapytanie użytkownika → Model embeddingowy → Magazyn wektorowy (wyszukiwanie ANN) → Fragmenty top-K → Tworzenie promptu → LLM → Odpowiedź. Potok offline uruchamia się raz po każdej aktualizacji dokumentu. Potok online działa w ciągu milisekund dla każdego zapytania użytkownika, a LLM otrzymuje wyłącznie istotny kontekst, nie cały zbiór dokumentów.

W tej lekcji poznali Państwo: etap indeksowania offline obejmujący kroki wczytywania, dzielenia na fragmenty, tworzenia embeddingów i zapisu, wykonywane raz dla każdego dokumentu, etap pobierania online, który tworzy embedding zapytania, wykonuje wyszukiwanie ANN i w ciągu milisekund zwraca fragmenty top-K, a także strategie indeksowania przyrostowego służące do aktualizowania magazynu wektorowego wraz ze zmianami dokumentów. W następnej części omówimy tworzenie skutecznych promptów rozszerzonych, które dobrze wykorzystują pobrany kontekst.