Prompting zero-shot i few-shot

Promptowanie zero-shot oznacza poproszenie modelu o wykonanie zadania bez podawania przykładów pokazujących, jak je wykonać. Wystarczy opisać zadanie i pozwolić modelowi wykorzystać wiedzę zdobytą podczas wstępnego treningu. Ta metoda dobrze sprawdza się w zadaniach, z którymi model często spotykał się podczas treningu, takich jak tłumaczenie, streszczanie czy prosta klasyfikacja.

Przykładowo poproszenie modelu o zaklasyfikowanie tej opinii jako pozytywnej lub negatywnej jest promptem zero-shot. Podczas wstępnego treningu model przyswoił tysiące przykładów klasyfikacji sentymentu, dlatego może wykonać to zadanie bez pokazywania przykładów w samym prompcie.

Prompty zero-shot są zwięzłe i opierają się na wbudowanej wiedzy modelu. Najlepiej działają, gdy zadanie jest typowe i jednoznaczne. Zwróć uwagę, że poniższy prompt jasno definiuje zadanie, nie pokazując przykładów prawidłowych wyników.

Promptowanie zero-shot może zawieść, gdy format zadania jest nietypowy, model musi stosować rzadko spotykany schemat wyników lub potrzebny jest spójny format, który model może interpretować inaczej przy każdym uruchomieniu. Proszenie modelu o wyodrębnienie danych do bardzo konkretnej struktury JSON z niestandardowymi nazwami pól jest ryzykowne w przypadku promptu zero-shot, ponieważ model musi odgadnąć dokładne intencje autora.

Zero-shot słabo sprawdza się również w przypadku żargonu dziedzinowego lub niszowych kategorii klasyfikacji, z którymi model mógł rzadko spotykać się podczas wstępnego treningu. W takich sytuacjach podanie przykładów znacznie poprawia dokładność.

Promptowanie few-shot polega na dostarczeniu modelowi 2–8 przykładów zadania (danych wejściowych i oczekiwanych wyników) przed przedstawieniem właściwego zapytania. Przykłady uczą model dokładnego formatu i schematu klasyfikacji, którego Państwo oczekują, bez konieczności dostrajania ani trenowania modelu.

To jedna z najskuteczniejszych, a zarazem najczęściej pomijanych technik inżynierii promptów. Model wykorzystuje przykłady do wywnioskowania wzorca i stosuje go do nowych danych wejściowych. Badania opisane w artykule na temat GPT-3 wykazały, że skuteczność w wielu zadaniach znacząco rosła wraz z liczbą przykładów — do około 8 przykładów; później wzrost się wypłaszcza, a Państwo jedynie marnują tokeny.

Prompt few-shot ma spójny schemat: należy pokazać N przykładów w postaci par danych wejściowych i wyników, a następnie przedstawić nowe dane wejściowe i pozwolić modelowi uzupełnić wynik. Formatowanie przykładów uczy model dokładnego formatu wyniku, którego Państwo oczekują.

Jakość przykładów jest równie ważna jak ich liczba. Należy wybierać przykłady, które:

• Obejmują przypadki brzegowe — należy uwzględnić przykład z niejednoznacznymi danymi wejściowymi, aby model zobaczył, jak powinien je obsłużyć
• Pokrywają przestrzeń wyników — jeśli mają Państwo trzy klasy, należy uwzględnić co najmniej jeden przykład każdej z nich
• Są reprezentatywne — należy używać przykładów podobnych pod względem stylu i złożoności do rzeczywistych danych wejściowych w środowisku produkcyjnym
• Mają spójny format — wszelkie niespójności formatu w przykładach zostaną przeniesione do wyników modelu

Nieodpowiednio dobrane przykłady mogą w rzeczywistości pogorszyć skuteczność, wprowadzając model w błąd co do rozkładu zadań.

Tryb zero-shot należy stosować, gdy zadanie jest typowe i dobrze zdefiniowane, zależy Państwu na minimalnym koszcie tokenów lub szybko iterują Państwo nad rozwiązaniem, a zebranie przykładów jest jeszcze trudne. Zero-shot jest także lepszym wyborem, gdy nie chcą Państwo ograniczać ogólnej wiedzy modelu przykładami.

Tryb few-shot należy stosować, gdy format wyniku jest nietypowy lub ściśle określony, mają Państwo kategorie specyficzne dla danej domeny, tryb zero-shot generuje niespójne formatowanie albo model musi konsekwentnie stosować określony styl lub ton. Few-shot jest szczególnie skuteczny w zadaniach związanych z ekstrakcją, klasyfikacją i generowaniem z ograniczeniami formatu.

Klasyfikacja jest jednym z najbardziej wartościowych zastosowań promptowania few-shot. Gdy mają Państwo niestandardowe etykiety, które nie odpowiadają typowym kategoriom, dostarczenie przykładów uczy model Państwa taksonomii. Poniższe przykłady dokładnie definiują znaczenie etykiet Bug, Feature Request i Question w kontekście zgłoszeń do pomocy technicznej.

Pomiędzy trybami zero-shot i few-shot znajduje się promptowanie one-shot, czyli dostarczenie dokładnie jednego przykładu. Często wystarcza to do rozwiązania problemów z formatowaniem lub wyjaśnienia niejednoznacznych zadań, a kosztuje znacznie mniej tokenów niż pełny prompt few-shot. One-shot jest dobrym pierwszym krokiem, gdy tryb zero-shot daje niewiarygodne wyniki.

W praktyce należy zacząć od trybu zero-shot, ocenić wyniki na próbce rzeczywistych danych wejściowych i dodawać przykłady tylko tam, gdzie model sobie nie radzi. Dzięki temu prompty pozostają zwięzłe i oszczędne pod względem tokenów, a usprawnienia są kierowane tam, gdzie mają największe znaczenie.

W systemach produkcyjnych używanie tych samych kilku przykładów dla każdego zapytania nie jest optymalne. Dynamiczny wybór przykładów few-shot polega na pobieraniu z banku oznaczonych przykładów tych, które są najbardziej podobne do bieżących danych wejściowych, z wykorzystaniem podobieństwa embeddingów, a następnie umieszczaniu w prompcie tylko tych przykładów.

Dzięki temu model zawsze widzi demonstracje najbardziej trafne dla konkretnych danych wejściowych, zamiast ogólnych przykładów, które mogą nie pasować do ich stylu ani domeny. Technika ta łączy zalety promptowania few-shot ze skalowalnością systemu wyszukiwania i bywa nazywana promptowaniem rozszerzanym przez wyszukiwanie przykładów.

Promptowanie few-shot jest najbardziej niezawodnym sposobem wymuszania ścisłego formatu wyników, zanim uzyskają Państwo dostęp do ustrukturyzowanych wyników lub trybu JSON. Pokazanie modelowi dokładnego oczekiwanego formatu — w tym nazw pól, separatorów i kolejności — znacznie zwiększa prawdopodobieństwo uzyskania wyniku możliwego do przeparsowania.

Prompt few-shot należy zawsze kończyć początkiem oczekiwanego wzorca wyniku (np. otwierającą klamrą obiektu JSON lub nazwą pierwszego pola). Ukierunkowuje to model na kontynuowanie wzorca, zamiast potencjalnego podsumowania lub komentowania zadania w pierwszej kolejności.

Sprawdź swoją wiedzę na temat koncepcji inżynierii AI z tej lekcji.

W tej lekcji poznali Państwo następujące zagadnienia: promptowanie zero-shot polega na zleceniu modelowi wykonania zadania wyłącznie na podstawie opisu, promptowanie few-shot dostarcza 2–8 przykładów danych wejściowych i wyników, aby nauczyć model formatu i taksonomii, a dynamiczny wybór przykładów few-shot pobiera najbardziej trafne przykłady dla każdego zapytania na podstawie podobieństwa embeddingów. W następnej części omówimy promptowanie chain-of-thought w złożonych zadaniach wymagających rozumowania.