Problem rozwiązywany przez RAG

Każdy duży model językowy jest trenowany na obrazie internetu zebranym do określonej daty, nazywanej granicą wiedzy. Granica wiedzy modelu GPT-4o przypada na początek 2024 roku. Jeśli zapytają go Państwo o wydarzenia, które miały miejsce później, model albo przyzna, że nie zna odpowiedzi, albo — co gorsza — z dużą pewnością zmyśli wiarygodnie brzmiące, ale nieprawdziwe informacje. W przypadku aplikacji wymagających aktualnej lub zastrzeżonej wiedzy jest to fundamentalny problem.

Halucynacja występuje, gdy LLM generuje tekst brzmiący autorytatywnie, ale niezgodny z faktami. Modele są trenowane tak, aby tworzyć płynny i spójny tekst — nie są wyraźnie uczone odmawiania odpowiedzi, gdy czegoś nie wiedzą. W rezultacie uzupełniają luki w wiedzy wiarygodnie brzmiącymi domysłami. Badania pokazują, że nawet najlepsze modele halucynują w zadaniach wymagających wiedzy od 10 do 40% czasu, jeśli nie zostaną ugruntowane w zewnętrznych źródłach.

Rozważmy pytanie zadane LLM: Jakie są warunki umowy z dostawcą naszej firmy na trzeci kwartał 2025 roku? Model nigdy nie widział Państwa wewnętrznego dokumentu. Zamiast przyznać, że nie zna odpowiedzi, może wygenerować wiarygodnie brzmiące podsumowanie umowy, używając ogólnego języka prawniczego. Jeśli pracownik podejmie działania na podstawie tych zmyślonych informacji, konsekwencje mogą być poważne. Jest to dokładnie ten rodzaj błędu, któremu RAG miał zapobiegać.

Założenie stojące za RAG jest proste: jeśli dostarczą Państwo modelowi odpowiednie informacje wewnątrz promptu, nie będzie musiał polegać na zapamiętanej wiedzy. Model przechodzi od generowania z pamięci do czytania z kontekstu. Tak samo działają ludzie — gdy potrzebują dokładnych szczegółów, sprawdzają je zamiast polegać na pamięci. RAG wdraża ten sam sposób pracy w przypadku LLM-ów.

Powszechnym błędnym przekonaniem jest to, że dostrajanie modelu na podstawie własnych dokumentów rozwiązuje problem halucynacji. Dostrajanie aktualizuje wagi modelu, aby poprawić jego styl, format i stosowanie się do poleceń, ale nie zapewnia niezawodnego wprowadzania wiedzy faktograficznej. Badania pokazują, że dostrojone modele nadal halucynują nawet w odniesieniu do danych treningowych. Aby wiedza mogła być niezawodnie przywoływana, należy udostępnić ją w czasie wnioskowania za pośrednictwem okna kontekstu.

Ponieważ RAG pobiera informacje z aktualizowanego repozytorium dokumentów, naturalnie obsługuje wiedzę, która zmienia się w czasie. Gdy dokument dotyczący zasad zostanie zaktualizowany, wystarczy ponownie go zindeksować, a każde kolejne zapytanie natychmiast użyje nowej wersji — bez konieczności ponownego trenowania modelu. Dzięki temu RAG jest znacznie praktyczniejszy niż okresowe dostrajanie w zastosowaniach takich jak wewnętrzne bazy wiedzy, systemy obsługi klienta i narzędzia do analiz finansowych.

Większości danych firmowych nie można wysyłać do OpenAI w celu trenowania modeli ze względu na wymagania dotyczące prywatności i zgodności z przepisami. RAG omija ten problem: poufne dokumenty pozostają w Państwa własnej bazie wektorowej, a do LLM przy każdym zapytaniu wysyłane są tylko odpowiednie fragmenty. Można nawet uruchomić lokalny LLM, taki jak Llama 3, aby wszystkie dane pozostały lokalnie, w infrastrukturze firmy. RAG to podstawowy wzorzec tworzenia systemów AI korzystających z poufnych treści firmowych.

Gdy LLM generuje odpowiedź z pamięci, nie ma źródła, które można zacytować. Gdy generuje ją na podstawie pobranych dokumentów, może cytować dokładne źródła. Można polecić modelowi umieszczanie w odpowiedzi nazw dokumentów i numerów stron, a użytkownicy mogą przejść do źródła, aby zweryfikować oryginał. Przypisywanie źródeł znacznie zwiększa zaufanie do odpowiedzi generowanych przez AI, co ma kluczowe znaczenie w zastosowaniach prawnych, medycznych i finansowych.

RAG działa według dwuetapowego wzorca w czasie wnioskowania: Retrieve — konwersja pytania użytkownika na embedding, wyszukanie w bazie wektorowej najbardziej trafnych fragmentów dokumentów i zebranie wyników top-K. Generate — utworzenie promptu zawierającego pobrane fragmenty jako kontekst i poproszenie LLM o udzielenie odpowiedzi na pytanie wyłącznie na podstawie tego kontekstu. LLM odczytuje informacje, syntezuje je i odpowiada.

RAG jest potężnym rozwiązaniem, ale nie jest panaceum. Nadal zawodzi, gdy: odpowiedź wymaga syntezy informacji z setek dokumentów (wyszukiwanie zwraca tylko kilka fragmentów), pytanie ma z natury charakter multi-hop i model musi przeprowadzić rozumowanie obejmujące kroki pośrednie lub pobrane fragmenty są mylące albo sprzeczne. Zrozumienie tych ograniczeń pomaga projektować systemy hybrydowe łączące RAG z agentami rozumującymi.

Istnieją trzy główne sposoby udostępniania LLM wiedzy z danej dziedziny: prompt stuffing (umieszczenie wszystkiego w promptcie — działa tylko w przypadku bardzo małych zbiorów), dostrajanie (dobrze uczy stylu i formatu, ale nie zapewnia niezawodnego przywoływania faktów) oraz RAG (dynamicznie pobiera istotne fakty w czasie wnioskowania i skaluje się do milionów dokumentów). W większości produkcyjnych zastosowań wymagających aktualnej, prywatnej lub obszernej wiedzy właściwym wyborem jest RAG.

Sprawdź swoją wiedzę na temat koncepcji AI Engineering przedstawionych w tej lekcji.

W tej lekcji poznali Państwo: dlaczego LLM-y halucynują z powodu ograniczeń zakresu wiedzy i niezdolności do powiedzenia „nie wiem”, dlaczego dostrajanie nie rozwiązuje problemu halucynacji w przypadku przywoływania faktów oraz jak RAG opiera odpowiedzi na pobranych dokumentach, umożliwiając przypisywanie źródeł, dostęp do aktualnej wiedzy i bezpieczne korzystanie z prywatnych danych. W następnej części omówimy pełną architekturę RAG, w tym jej etapy indeksowania i pobierania.