RAG a fine-tuning: kiedy stosować którą metodę

Gdy potrzebują Państwo, aby LLM dobrze działał w określonej domenie, mają Państwo dwie główne strategie: Retrieval-Augmented Generation (RAG) dynamicznie wstawia istotną wiedzę w czasie wnioskowania, natomiast dostrajanie aktualizuje wagi modelu, aby trwale uwzględnić wiedzę, styl lub preferencje dotyczące formatu. Właściwy wybór może zadecydować o tym, czy system będzie niezawodny, czy też miesiące kosztownych obliczeń na GPU zostaną zmarnowane na niewłaściwe podejście.

Dostrajanie aktualizuje wagi modelu poprzez trenowanie na parach przykładowych danych wejściowych i wyjściowych. Doskonale sprawdza się w zmianie zachowania: uczeniu modelu, aby zawsze odpowiadał w określonym formacie JSON, przyjmował styl komunikacji marki, stosował specyficzne dla domeny schematy rozumowania lub wykonywał typ zadań, do którego nie był zoptymalizowany. Dostrajanie nie aktualizuje niezawodnie wiedzy faktograficznej — modele mogą nadmiernie dopasować się do przykładów treningowych, nie uogólniając zawartych w nich faktów na nowe zapytania.

RAG nie modyfikuje wag modelu. Zamiast tego zmienia informacje dostępne dla modelu w czasie wnioskowania, umieszczając istotne dokumenty w oknie kontekstowym. RAG doskonale sprawdza się w pracy z wiedzą: odpowiadaniu na pytania dotyczące prywatnych dokumentów, utrzymywaniu aktualności odpowiedzi dzięki często aktualizowanym danym oraz opieraniu odpowiedzi na weryfikowalnych źródłach. RAG nie zmienia natomiast w łatwy sposób wrodzonego stylu modelu, preferencji dotyczących formatu ani sposobu rozumowania.

W każdym przypadku użycia, w którym informacje zmieniają się w czasie, RAG ma wyraźną przewagę. Ponowne indeksowanie magazynu wektorowego po aktualizacji dokumentów zajmuje kilka minut i nie wymaga zasobów GPU. Dostrajanie modelu na nowych danych wymaga ponownego trenowania, które jest kosztowne i powolne, a nawet wtedy model może nie przypominać sobie nowych faktów w niezawodny sposób. Katalogi produktów, przepisy prawne, wytyczne medyczne i zasady firmowe lepiej obsługiwać za pomocą RAG niż dostrajania.

Jeśli potrzebują Państwo, aby model zawsze odpowiadał w bardzo określonym stylu, tonie lub ustrukturyzowanym formacie, którego samo projektowanie promptów nie jest w stanie niezawodnie wymusić, właściwym narzędziem jest dostrajanie. Przykłady: bot obsługi klienta, który musi zawsze używać charakterystycznego słownictwa Państwa marki; generator kodu, który musi tworzyć kod zgodny z wewnętrznym przewodnikiem stylu firmy; lub model klasyfikacyjny, który musi niezawodnie zwracać sztywną taksonomię w tysiącach przypadków brzegowych.

Dostrajanie wiąże się z wysokim kosztem początkowym (obliczenia na potrzeby trenowania, czas przygotowania zbioru danych i ewaluacja), ale może obniżyć koszt pojedynczego zapytania, jeśli dzięki dostrojeniu można użyć mniejszego modelu. RAG ma niski koszt początkowy (indeksowanie w bazie wektorowej jest tanie), ale zwiększa narzut na każde zapytanie: obejmuje ono wywołanie API embeddingów oraz nieco dłuższe prompty z wstawionym kontekstem. W większości aplikacji obsługujących mniej niż 10 mln zapytań dziennie narzut RAG na zapytanie jest nieznaczny w porównaniu z kosztem opracowania rozwiązania opartego na dostrajaniu.

Dostrojone modele mogą być szybsze podczas wnioskowania, ponieważ wymagają krótszych promptów — wiedza znajduje się w wagach, a nie w kontekście. RAG dodaje dwie komunikacje zwrotne: wywołanie API embeddingów i zapytanie do wyszukiwarki wektorowej. Łączny narzut wynosi zazwyczaj 50–200 ms. W aplikacjach wrażliwych na opóźnienia, takich jak asystenci głosowi działający w czasie rzeczywistym, ma to znaczenie. W większości aplikacji czatowych i systemów pytań i odpowiedzi dodatkowe opóźnienie jest dla użytkowników niezauważalne.

RAG zapewnia jasną ścieżkę audytu: dla każdej odpowiedzi wiadomo dokładnie, które dokumenty zostały pobrane, i można je pokazać użytkownikowi. Dostrojone modele odpowiadają na podstawie nieprzejrzystych wag — nie ma informacji o tym, który przykład treningowy doprowadził do wygenerowania danej odpowiedzi. W regulowanych branżach, takich jak finanse, opieka zdrowotna i prawo, gdzie odpowiedzi muszą być możliwe do wyjaśnienia i zweryfikowania, przejrzystość RAG stanowi istotną przewagę nad dostrajaniem.

RAG i dostrajanie nie wykluczają się wzajemnie. Typowy wzorzec produkcyjny polega na dostrojeniu modelu pod kątem spójnego formatu wyjściowego i słownictwa domenowego, a następnie dodaniu RAG w celu dostarczania aktualnej wiedzy faktograficznej. Dostrojony model niezawodnie obsługuje styl i strukturę, a RAG — wiedzę. Takie połączenie przewyższa każde z tych podejść stosowane osobno w aplikacjach korporacyjnych o wysokich wymaganiach.

Należy przejść następującą ścieżkę decyzyjną: Czy problem dotyczy spójności stylu lub formatu? → Należy rozważyć dostrajanie. Czy informacje są prywatne lub często aktualizowane? → Należy użyć RAG. Czy potrzebne są cytowania źródeł? → Należy użyć RAG. Czy zbiór danych jest zbyt mały do dostrajania (mniej niż 500 przykładów)? → Należy użyć RAG z promptingiem few-shot. Czy model ma obsługiwać zadanie, którego obecnie odmawia wykonania? → Należy dostroić go za pomocą RLHF lub DPO. W razie wątpliwości należy zacząć od RAG — można je szybciej zbudować, łatwiej aktualizować, a rozwiązanie jest bardziej przejrzyste.

Skorzystaj z tych scenariuszy, aby wykształcić intuicję: wewnętrzny chatbot HR (zasady zmieniają się co kwartał, konieczne jest cytowanie źródeł) → RAG. Uzupełnianie kodu dla zastrzeżonego frameworka (spójny styl kodu, wzorce frameworka) → dostrajanie. Pytania i odpowiedzi dotyczące dokumentów prawnych (prywatne dokumenty, potrzebne są precyzyjne cytowania) → RAG. Bot obsługi klienta (określony ton, często zmieniające się co tydzień FAQ produktu) → dostrajanie pod kątem tonu + RAG do obsługi wiedzy. Podsumowywanie literatury medycznej (aktualne badania, kluczowe znaczenie ma wskazanie źródeł) → RAG.

Sprawdź swoją wiedzę na temat koncepcji inżynierii AI z tej lekcji.

W tej lekcji nauczyłeś się: że dostrajanie zmienia zachowanie i styl modelu, ale nie aktualizuje niezawodnie wiedzy faktograficznej; że RAG dynamicznie dostarcza wiedzę w czasie wnioskowania, zapewniając pełną przejrzystość i cytowanie źródeł; oraz jak działa schemat wyboru — RAG należy stosować do często aktualizowanej prywatnej wiedzy wymagającej wskazania źródeł, dostrajanie do zapewnienia spójnego stylu i formatu, a oba podejścia łączyć w aplikacjach korporacyjnych o wysokich wymaganiach. Następnie zaczniemy od podstaw tworzyć kompletny potok RAG.