Zero-, one- i few-shot

Przykłady (shots) oznaczają liczbę oznakowanych demonstracji umieszczonych w prompcie przed bieżącym zapytaniem. Zero-shot opiera się całkowicie na wyuczonych wcześniej przez model zależnościach, natomiast few-shot dostosowuje model w czasie wnioskowania do niewielkiego, specyficznego dla zadania rozkładu danych, bez aktualizowania wag.

Jest to uczenie kontekstowe (ICL): transformer traktuje przykłady jako część sekwencji i niejawnie wykonuje na ich podstawie pewien rodzaj regresji wyuczonej meta-uczeniem. Wartość k (liczba przykładów) jest hiperparametrem dostrajanym empirycznie, a nie z góry ustaloną najlepszą praktyką.

Zero-shot warto stosować, gdy zadanie jest dobrze reprezentowane w pretrainingu (podsumowywanie, tłumaczenie, typowa klasyfikacja) oraz gdy przykłady mogłyby ukierunkować format wyjścia. W przypadku modeli dostrojonych instrukcjami zwięzła dyrektywa wraz ze schematem wyjścia często sprawdza się lepiej niż przykłady, które subtelnie narzucają styl.

Zero-shot minimalizuje także koszt tokenów i opóźnienie oraz pozwala uniknąć biasu dominującej etykiety, przez który model zbyt często przewiduje klasę dominującą w demonstracjach.

One-shot sprawdza się najlepiej, gdy zadanie jest jasne koncepcyjnie, ale format wyjścia jest nietypowy lub ściśle określony. Pojedyncza demonstracja znacznie bardziej niezawodnie uczy dokładnego kształtu danych (kluczy JSON, ograniczników, wielkości liter) niż opis słowny.

One-shot warto stosować, gdy chce się ograniczyć strukturę bez zużywania wielu tokenów i bez ryzyka skrzywienia rozkładu etykiet, które wprowadzają liczne przykłady.

Wydajność w zależności od k rzadko rośnie monotonicznie. Zwykle najpierw rośnie, następnie się stabilizuje, a potem spada, gdy przykłady zapełniają kontekst, rozpraszają uwagę i odsuwają bieżące zapytanie od obszaru, na którym model skupia się ze względu na świeżość informacji.

Empirycznie należy przetestować wartości k ze zbioru {1, 2, 4, 8, 16} na wydzielonym zbiorze danych. Optymalna wartość k zależy od złożoności zadania, długości przykładów i efektywnego wykorzystania kontekstu przez model, które zwykle jest znacznie mniejsze niż deklarowane okno kontekstowe.

Badania opisują ICL jako wykonywanie przez model niejawnego wnioskowania bayesowskiego: demonstracje pomagają zlokalizować ukrytą koncepcję zadania, której model nauczył się już podczas pretrainingu. Przykłady są dowodami zawężającymi rozkład a posteriori zadań, a nie nową wiedzą.

Wyjaśnia to nieintuicyjne odkrycie: nawet niepoprawne etykiety w demonstracjach mogą zachować znaczną część dokładności, ponieważ najważniejszym sygnałem jest format i przestrzeń etykiet, a nie samo odwzorowanie danych wejściowych na etykiety.

Każda demonstracja zużywa kontekst i środki. W przypadku długich demonstracji cztery przykłady mogą wielokrotnie przewyższać zapytanie pod względem długości. Należy obliczać metrykę kosztu przypadającego na punkt dokładności: jeśli k=8 daje przewagę 0,5% nad k=4 przy dwukrotnie większej liczbie tokenów, w środowisku produkcyjnym wygrywa k=4.

W potokach o dużej przepustowości warto stosować buforowanie promptu dla statycznego bloku przykładów, aby powtarzane demonstracje były rozliczane i przetwarzane tylko raz.

Prompty few-shot zawierają ukryte obciążenia. Bias dominującej etykiety sprawia, że model preferuje klasę najczęściej występującą w demonstracjach. Bias recencyjny nadaje zbyt dużą wagę ostatniemu przykładowi. Bias często występujących tokenów faworyzuje tokeny pojawiające się często.

Techniki kalibracji, takie jak kalibracja kontekstowa, szacują a priori modelu dla wejścia pozbawionego treści (na przykład tokenu N/A), a następnie usuwają ten wpływ przez dzielenie, znacznie stabilizując klasyfikatory few-shot.

Aby przeciwdziałać biasowi dominującej etykiety, należy zrównoważyć klasy w demonstracjach i zmieniać ich kolejność. W przypadku klasyfikacji binarnej i k=4 należy użyć 2 przykładów pozytywnych i 2 negatywnych w losowej kolejności, zamiast proporcji 3:1.

W zadaniach generowania należy równoważyć istotne wymiary (długość, ton, trudność), aby model nie zredukował się do pojedynczego trybu, który widział najczęściej.

Few-shot jest właściwym narzędziem, gdy zadanie często się zmienia, danych jest mało lub nie można hostować dostrojonego modelu. Fine-tuning wygrywa, gdy dostępne są tysiące przykładów, potrzebne jest minimalne opóźnienie każdego wywołania lub format ma zostać wbudowany w model, aby prompty pozostały krótkie.

Typowa ścieżka produkcyjna wygląda następująco: prototypowanie z few-shot, zebranie udanych śladów, a następnie zdestylowanie ich do modelu po fine-tuningu, aby całkowicie usunąć tokeny przykładów.

W przypadku wieloetapowego rozumowania same pary odpowiedzi few-shot mogą zaszkodzić: model uczy się przechodzić od razu do odpowiedzi, której nie potrafi uzasadnić. Few-shot należy łączyć z demonstracjami chain-of-thought, które pokazują ślad rozumowania, a nie tylko końcową etykietę.

Liczba przykładów oddziałuje na głębokość rozumowania; często k=2 wysokiej jakości przykładów CoT przewyższa k=8 przykładów zawierających wyłącznie odpowiedzi w testach arytmetycznych i logicznych.

Dobór liczby przykładów należy traktować jako wyszukiwanie empiryczne wspierane przez środowisko testowe. Należy wydzielić zbiór walidacyjny, kontrolować kolejność przykładów za pomocą wielu ziaren losowości oraz raportować średnią i wariancję, ponieważ dokładność few-shot może zmieniać się o kilka punktów wyłącznie z powodu kolejności.

Należy rejestrować liczbę tokenów i opóźnienie dla każdego k, aby ostateczny wybór optymalizował pełny cel, a nie tylko dokładność.

Najważniejsze wnioski:

• k jest dostrajalnym hiperparametrem; należy przetestować różne wartości i obserwować krzywą wzrost–stabilizacja–spadek.
• Zero-shot sprawdza się w dobrze znanych zadaniach, one-shot kotwiczy ścisłe formaty, a few-shot uzależnia odpowiedź od rozkładu zadania.
• ICL działa przez odnalezienie zadania wyuczonego podczas pretrainingu, dlatego format i przestrzeń etykiet mają większe znaczenie niż poprawność etykiet.
• Biasowi dominującej etykiety, biasowi recencyjnemu i biasowi często występujących tokenów należy przeciwdziałać przez równoważenie, losowanie kolejności i kalibrację kontekstową.
• Należy optymalizować dokładność względem kosztu, łączyć zadania wymagające rozumowania z przykładami CoT oraz destylować stabilne prompty few-shot do modeli po fine-tuningu.