Walidacja przez samokrytykę

Samokrytyka wykorzystuje LLM do oceny danych wyjściowych innego LLM względem zestawu kryteriów lub zasad. Wykrywa subtelne błędy, których nie da się zakodować w deterministycznych walidatorach: niespójność faktów, niewłaściwy ton, brak pomocności i nieoczywiste naruszenia zasad.

Jest uzupełnieniem walidatorów schematów i reguł opartym na modelu.

Krytykę należy przeprowadzać jako oddzielne wywołanie z własnym promptem, a nie jako instrukcję dopisaną na końcu generowania. Krytyk działający w czystym kontekście, poproszony wyłącznie o ocenę, jest znacznie bardziej niezawodny niż autor proszony o ocenianie własnej odpowiedzi w trakcie generowania, gdy jest stronniczy na jej korzyść.

Krytyk powinien generować ustrukturyzowane werdykty, aby potok mógł reagować programistycznie. Krytyka zapisana w swobodnym tekście nie nadaje się do automatycznego przetwarzania.

Krytyka powinna współpracować z modułem poprawiającym. Krytyk wykrywa problemy, autor poprawia odpowiedź na podstawie krytyki, a proces jest powtarzany do uzyskania pozytywnego wyniku lub wyczerpania budżetu. Jest to oparty na modelu odpowiednik pętli naprawczej.

Niejasna instrukcja („czy to jest dobre?”) prowadzi do niespójnych werdyktów. Konkretne kryteria z jawnymi, możliwymi do sprawdzenia warunkami dają spójne wyniki. Należy rozłożyć ocenę na pytania typu tak/nie, na które krytyk odpowiada osobno.

W celu wykrywania halucynacji należy przekazać krytykowi kontekst źródłowy i poprosić go o oznaczenie każdego twierdzenia, którego nie można z niego wywnioskować. W ten sposób samokrytyka staje się kontrolą wynikania, znacznie silniejszą niż pytanie „czy to prawda?” bez przedstawienia dowodów.

Sam krytyk jest LLM i może popełniać błędy:

• Uległość — bezkrytyczne zatwierdzanie odpowiedzi autora.
• Nadmierna krytyczność — oznaczanie prawidłowych danych wyjściowych jako błędnych.
• Wspólne martwe pola — ten sam model pomija te same błędy.

Można temu przeciwdziałać, używając jako krytyka modelu z innej rodziny, ścisłej persony recenzenta i skalibrowanych progów.

Krytyk nie musi być najdroższym modelem. Często mniejszy model z precyzyjnymi kryteriami stanowi opłacalną bramkę, a użycie innej rodziny modeli ogranicza skorelowane martwe pola. Najsilniejszy model należy zachować do tworzenia treści.

Samokrytyka zmniejsza liczbę błędów, ale nie jest dowodem poprawności. W przypadku treści o niskiej stawce wystarczy pojedyncza iteracja krytyki. Dla danych wyjściowych o wysokiej stawce należy łączyć samokrytykę z deterministycznymi walidatorami i weryfikacją człowieka; model nigdy nie powinien być jedynym arbitrem decyzji krytycznych dla bezpieczeństwa.

Samokrytyka mniej więcej podwaja liczbę wywołań na żądanie. Należy to kontrolować: uruchamiać krytykę dopiero po przejściu kontroli deterministycznych (krytykować tylko to, co przeszło walidację schematu i reguł), buforować krytykę identycznych wersji roboczych oraz ograniczać liczbę rund poprawek. W miarę możliwości krytykę należy uruchamiać równolegle z pracami nieblokującymi.

Przed zaufaniem krytykowi należy go zweryfikować. Należy przygotować zbiór danych wyjściowych ocenionych przez ludzi, uruchomić krytyka i zmierzyć zgodność (precyzję i czułość względem ludzkich werdyktów). Należy dostrajać kryteria i personę, aż oceny krytyka będą skorelowane z ocenami ludzi, a po aktualizacji modelu ponownie przeprowadzić kontrolę.

Walidacja samokrytyczna:

• Oddzielny krytyk, działający w czystym kontekście, ocenia dane wyjściowe autora.
• Należy generować ustrukturyzowane werdykty i sterować pętlą krytyki oraz poprawiania.
• Konkretne kryteria i ugruntowane kontrole wynikania zwiększają niezawodność.
• Należy uważać na uległość i wspólne martwe pola; warto używać innego modelu jako krytyka.
• Należy kontrolować koszty, łączyć krytykę z kontrolami deterministycznymi i kalibrować ją względem ocen ludzi.

Ukończyli Państwo temat mechanizmów ochronnych. Następny kurs: red teaming i ocena adversarialna.