Okna kontekstu o milionie tokenów

Okna obejmujące milion tokenów pozwalają umieścić całe bazy kodu, korpusy dokumentów lub wielogodzinne transkrypcje bezpośrednio w kontekście — bez systemu wyszukiwania. Obietnicą jest wszystko w kontekście: model rozumuje na podstawie surowego materiału, a nie zniekształconego podsumowania.

• Rozumowanie o całym repozytorium i refaktoryzacja.
• Synteza między dokumentami bez dzielenia na fragmenty.
• Rozmowy obejmujące długi horyzont, zachowujące wczesne szczegóły.

Jednak pojemność nie jest tym samym co efektywne wykorzystanie.

Reklamowane okno jest górną granicą, a nie gwarancją równomiernego przywoływania informacji. Efektywny kontekst — zakres, w którym model niezawodnie przywołuje informacje i rozumuje — jest zwykle mniejszy, a jego wartość różni się zależnie od pozycji.

Okno należy traktować jako budżet o nierównomiernej wartości: tokeny przy krawędziach są lepiej przywoływane niż tokeny ukryte w środku.

Koszt mechanizmu uwagi rośnie wraz z długością kontekstu, podobnie jak czas do pierwszego tokenu. Prompt zawierający milion tokenów może oznaczać sekundy opóźnienia w fazie prefill i znaczny koszt pojedynczego wywołania, nawet gdy odpowiedź jest krótka.

• Prefill dominuje nad opóźnieniem przy ogromnych promptach.
• Koszt skaluje się wraz z liczbą tokenów wejściowych niezależnie od rozmiaru wyniku.
• Upychanie niepotrzebnego kontekstu oznacza płacenie za dezorientowanie modelu.

Większa ilość kontekstu może pogorszyć dokładność. Nieistotne materiały rozwadniają uwagę i wprowadzają elementy rozpraszające, których model może się uczepić. Skoncentrowany prompt o długości 20 tys. tokenów często daje lepsze wyniki niż zaszumiony prompt o długości 500 tys. tokenów w przypadku konkretnego pytania.

Zasada jest prosta: uwzględniać to, co pomaga w zadaniu, a wykluczać to, co tylko mogłoby być istotne.

Długi kontekst wygrywa, gdy zadanie wymaga globalnego, przekrojowego rozumowania, które wyszukiwanie mogłoby podzielić: 'znaleźć każde miejsce w repozytorium, w którym naruszono tę niezmienną regułę', 'uzgodnić sprzeczności między wszystkimi dziesięcioma kontraktami'. Wyszukiwanie z podziałem na fragmenty może przeoczyć powiązanie rozciągające się między fragmentami.

Pełnego kontekstu należy używać do syntezy, a wyszukiwania — do znajdowania pojedynczych informacji w ogromnych korpusach.

Wyszukiwanie wygrywa, gdy istotna część danych jest niewielka i stabilna. Pobranie 5 istotnych stron z 50 000 jest tańsze, szybsze i często dokładniejsze niż umieszczenie wszystkich 50 000 stron w kontekście i nadzieja, że model je znajdzie.

• Częste zapytania dotyczące statycznego korpusu -> jednorazowo zindeksować i tanio wyszukiwać.
• Jednorazowa globalna synteza -> długi kontekst.

Wiele systemów łączy oba podejścia: wyszukiwanie zawęża zbiór, a długi kontekst służy syntezie.

Ponieważ zdolność przywoływania informacji różni się zależnie od pozycji, miejsce umieszczenia treści jest decyzją projektową. Instrukcję zadania i najważniejsze materiały należy umieszczać na początku lub końcu kontekstu, które model przywołuje najlepiej, oraz unikać ukrywania informacji, których trzeba użyć, w głębi jego środka.

Pozycją należy zarządzać świadomie, a nie pozostawiać jej przypadkowi wynikającemu z kolejności łączenia treści.

Nigdy nie należy zakładać, że model wykorzystał ukryty fakt. Należy to sprawdzić. Wstawić znany fakt kontrolny na określonej głębokości i poprosić o jego podanie; zmierzyć przywoływanie informacji na różnych głębokościach, aby scharakteryzować własny model dla własnego kształtu promptu, zanim zaufa mu się w środowisku produkcyjnym.

W długich sesjach agentowych nie należy pozwalać, aby kontekst rósł bez ograniczeń. Okresowo wykonywać kompaktowanie: streszczać nieaktualne tury do zwartego obiektu stanu i usuwać surową historię. Pozwala to zachować istotny sygnał, odzyskać budżet i ograniczyć rozwodnienie.

Gromadzenie jest domyślne i stanowi pułapkę; kompaktowanie wymaga dyscypliny.

Najlepsze rozwiązania łączą strategie: wyszukują skoncentrowany zbiór kandydatów, umieszczają go z przemyślanym pozycjonowaniem, buforują stabilny prefiks i kompaktują rozmowę. Długi kontekst jest jednym z narzędzi zarządzania budżetem, a nie zamiennikiem prac inżynieryjnych.

• Zawężać przez wyszukiwanie.
• Eksponować przez pozycjonowanie.
• Buforować, aby obniżyć koszt.
• Utrzymywać przez kompaktowanie.

Zanim sięgną Państwo po pełne okno, należy zadać sobie następujące pytania:

• Czy zadanie wymaga globalnego rozumowania, czy znalezienia pojedynczej informacji? Pojedyncza informacja -> wyszukiwanie.
• Czy istotna część danych jest mała i stabilna? Tak -> wyszukiwanie i buforowanie.
• Czy opóźnienie i koszt ogromnego prefilla będą akceptowalne? Nie -> zmniejszyć kontekst.
• Czy zweryfikowano przywoływanie informacji na głębokości, na której opierają się Państwo? Jeśli nie, najpierw należy to sprawdzić.

Pojemność to możliwość, nie plan.

Należy odpowiedzieć na jedno wąskie pytanie faktograficzne, którego odpowiedź znajduje się na około 3 stronach w statycznym archiwum liczącym 40 000 stron, a zapytanie będzie wykonywane tysiące razy dziennie.

Ogromne okno to niejednorodny budżet, a nie darmowy dostęp do całej pamięci. Efektywny kontekst jest mniejszy niż jego pojemność, opóźnienie i koszt rosną wraz z rozmiarem danych wejściowych, a nieistotny materiał obniża trafność. Długi kontekst służy do syntezy globalnej, wyszukiwanie — do pojedynczych informacji, a rozwiązania hybrydowe — do pozostałych przypadków; należy umieszczać kluczowe treści w miejscach zapewniających dobrą skuteczność odtwarzania, buforować stabilne prefiksy, kompresować długie sesje i zawsze sprawdzać skuteczność odtwarzania, zanim zaufa się faktowi ukrytemu głęboko w kontekście.