Zagubienie w środku

W modelach obsługujących długi kontekst trafność wyszukiwania zależy od pozycji i układa się w krzywą w kształcie litery U: fakty znajdujące się na początku i na końcu kontekstu są dobrze odtwarzane, natomiast fakty ze środka — najsłabiej. To właśnie efekt „zagubienia w środku”.

• Jest to właściwość mechanizmu uwagi i procesu uczenia, a nie przypadek.
• Utrzymuje się nawet wtedy, gdy odpowiedź jest jednoznacznie obecna w kontekście.

Pozycja nie jest neutralna — to czynnik niezawodności, który należy uwzględnić w projekcie.

W środkowej części nakłada się na siebie kilka czynników: tendencje pozycyjne faworyzują najnowsze i najwcześniejsze tokeny, dane treningowe nadmiernie reprezentują wzorce, w których odpowiedź znajduje się blisko początku lub końca, a sama liczba konkurujących ze sobą elementów rozpraszających w środku osłabia uwagę poświęcaną pojedynczemu faktowi.

Nie można usunąć tego uprzedzenia z modelu, ale można przestać z nim walczyć.

Najważniejsze i najbardziej niezawodne działanie zaradcze polega na umieszczeniu tego, czego model musi użyć, na granicach kontekstu. Instrukcja zadania i dowody o najwyższej wartości powinny znajdować się blisko początku i końca, a nie być ukryte w środku.

• Na początku umieść zadanie i najważniejsze fakty.
• Powtórz główną instrukcję na samym końcu („przypomnienie zadania: ...”).

Jeśli kontrolują Państwo kolejność pobranych fragmentów, nie należy umieszczać ich od początku do końca według wyniku wyszukiwania. Należy je przeplatać tak, aby najbardziej istotne fragmenty znalazły się przy obu krawędziach, a najmniej istotne wypełniły środek — świadomie wykorzystując krzywą U.

Takie „obciążenie krawędzi” może odzyskać dużą część strat wynikających z umieszczenia treści w środkowej pozycji.

Najtańszym sposobem ograniczenia strat związanych ze środkiem jest zmniejszenie jego rozmiaru. Agresywne filtrowanie wstępne — odrzucanie nieistotnych fragmentów przed złożeniem promptu — zmniejsza środkową część, w której gubią się fakty, i koncentruje uwagę na tym, co ważne.

Skupiony prompt zawierający 15 tys. tokenów ma niemal pozbawiony ryzyka środek, natomiast prompt zawierający 600 tys. tokenów składa się w większości ze środka.

Należy dać modelowi mapę. Spis treści na początku oraz wyraźne kotwice sekcji pozwalają modelowi nawigować do odpowiednich obszarów zamiast polegać wyłącznie na odtwarzaniu zależnym od pozycji.

• Należy numerować sekcje i odwoływać się do nich w pytaniu.
• Należy dodawać jednoznaczne kotwice, takie jak SEKCJA 7: CENY, których model może wyszukać.

Struktura częściowo kompensuje mniejszą niezawodność zależną od pozycji.

W promptcie należy polecić modelowi, aby przed udzieleniem odpowiedzi wyliczył, gdzie znajduje się istotny materiał. Samo wcześniejsze zlokalizowanie dowodów przeciwdziała tendencji do pomijania środkowej części.

„Najpierw wymień każdą sekcję, w której wspomniano o opłacie za odnowienie, wraz z jej kotwicą, a następnie odpowiedz”. Jawne skanowanie ujawnia treści ze środka, które bezpośrednie pytanie mogłoby pominąć.

Jeśli kluczowy fakt trafi do martwej strefy i jego odtwarzanie jest niepewne, należy ponowić wywołanie, przenosząc ten fakt na krawędź. W zadaniach obejmujących wiele faktów można wykonać przebiegi, w których zmienia się fakty zajmujące silne pozycje, a następnie uzgodnić wyniki.

Rotacja pozycji to praktyczny sposób zwiększania odporności, gdy pojedynczy układ jest zawodny.

W zadaniach wymagających pełnego pokrycia („znajdź wszystkie naruszenia”) pojedynczy ogromny przebieg pominie elementy ze środka. Należy podzielić materiał na nakładające się okna wystarczająco małe, aby nie zawierały słabego środka, uruchomić każde z nich, a następnie połączyć i usunąć duplikaty wyników.

• Nakładanie się okien zapobiega pomijaniu elementów na granicach.
• Etap scalania uzgadnia duplikaty i sprzeczności.

Zadania wymagające pełnego pokrycia lepiej realizować za pomocą wielu małych przebiegów niż jednego ogromnego.

Nasilenie tego efektu różni się w zależności od modelu i kształtu promptu. Należy je scharakteryzować: umieścić znacznik kontrolny na kolejnych głębokościach i wykreślić skuteczność odtwarzania. Na podstawie krzywej należy określić bezpieczną długość kontekstu oraz zasady umieszczania treści przy krawędziach dla danego modelu.

Należy projektować rozwiązania na podstawie zmierzonych zachowań, a nie obiegowych opinii.

Aby przeciwdziałać efektowi zagubienia w środku, należy ograniczyć stóg siana, umieścić najbardziej istotne treści przy krawędziach, powtórzyć zadanie na końcu, dodać indeks i wymusić skanowanie polegające na zlokalizowaniu treści przed udzieleniem odpowiedzi, zmieniać pozycje przy ponawianiu pytania oraz stosować dzielenie na fragmenty i scalanie w celu uzyskania pełnego pokrycia. Przede wszystkim należy zmierzyć krzywą dla danego modelu i projektować rozwiązanie z uwzględnieniem jej przebiegu.

Dysponują Państwo jednym faktem, który musi zostać wykorzystany, oraz dużą ilością kontekstu pomocniczego, a ponadto zauważyli Państwo, że model czasami ignoruje ten fakt.

Odtwarzanie z długiego kontekstu ma kształt litery U: krawędzie są niezawodne, a środek — nie. Należy przeciwdziałać temu zjawisku, ograniczając stóg siana, umieszczając najbardziej istotne fragmenty przy krawędziach, powtarzając zadanie na końcu, dodając indeks i wymuszając skanowanie polegające na zlokalizowaniu treści przed udzieleniem odpowiedzi, zmieniając pozycje przy ponawianiu pytania oraz stosując dzielenie na fragmenty i scalanie w celu uzyskania pełnego pokrycia. Należy zmierzyć rzeczywistą krzywą danego modelu i projektować rozmieszczenie treści z jej uwzględnieniem, zamiast zakładać równomierną skuteczność odtwarzania.