Błędy wynikające z braku kontekstu

Modele AI wiedzą bardzo dużo dzięki danym treningowym — ale nic nie wiedzą o Państwa konkretnej sytuacji, chyba że zostanie im ona przedstawiona. Prompty zakładające wiedzę, której model nie posiada, prowadzą do odpowiedzi ogólnie poprawnych, ale bezużytecznych w danej sytuacji.

„Napraw błąd.” — Jaki błąd? W jakim kodzie? Co kod obecnie robi? Co powinien robić zamiast tego?

Model wymyśli odpowiedź, zamiast poinformować, że ma za mało informacji. Taka wymyślona odpowiedź niemal nigdy nie będzie tym, czego Państwo potrzebują.

Jeśli nie zostaną mu one przekazane, model nie zna:

• Państwa konkretnego kodu, projektu ani dokumentu
• Państwa firmy, produktu, marki ani klientów
• Rozmowy prowadzonej we wcześniejszej sesji (każda rozmowa zaczyna się od zera)
• Tego, co zostało wcześniej wypróbowane i dlaczego zakończyło się niepowodzeniem
• Państwa osobistych preferencji, stylu ani standardów
• Poziomu wiedzy Państwa odbiorców
• Ograniczeń Państwa środowiska (stos technologiczny, budżet, termin)

Wszystkie informacje, które model posiada na temat zadania, muszą pochodzić z bieżącej rozmowy.

„Napraw błąd” to klasyczny prompt pozbawiony kontekstu. Model nie otrzymuje żadnych informacji na temat:

• Używanego języka ani frameworka
• Tego, co kod ma robić
• Tego, co faktycznie robi (objawu problemu)
• Pojawiającego się błędu lub nieprawidłowego wyniku
• Tego, co już wypróbowano i co nie zadziałało

Kompletny prompt dotyczący naprawy błędu zawiera wszystkie pięć elementów: „Ta funkcja w Pythonie ma zwracać sumę wszystkich liczb parzystych na liście, ale dla [2,4,6] zwraca 0. Oto kod: [wklej kod]. Błąd to…”

„Kontynuujmy od miejsca, w którym skończyliśmy.” — To częsty błąd ujawniający fundamentalne nieporozumienie: model nie zachowuje pamięci między sesjami.

Każda nowa rozmowa zaczyna się całkowicie od zera. Model nie ma dostępu do wcześniejszych rozmów, nawet jeśli użyto tego samego konta lub narzędzia. Jeśli potrzebny jest kontekst z poprzedniej sesji, należy jawnie wkleić go do bieżącej rozmowy.

Niektóre narzędzia, takie jak Claude Projects lub niestandardowe systemy pamięci, zapewniają kontekst między sesjami, ale jest to funkcja narzędzia, a nie wrodzona zdolność modelu.

Częsty błąd kontekstowy polega na założeniu, że model zna informacje stanowiące dla Państwa oczywiste tło:

• „Dopasuj to do naszej marki” (jakiej marki? jakie są wytyczne dotyczące marki?)
• „Napisz to tak jak ostatnio” (model nie ma dostępu do poprzedniej wersji)
• „Użyj takiego samego formatu jak w pozostałych raportach” (należy wkleić format lub przykładowy raport)
• „Zachowaj spójność z tym, o czym rozmawialiśmy” (jeśli jest to nowa rozmowa, wcześniej o niczym nie rozmawiano)

Rozwiązanie jest zawsze takie samo: należy uczynić to, co domyślne, jawnym. Trzeba określić, co model ma wiedzieć.

Wstrzykiwanie kontekstu oznacza jawne przekazanie informacji ogólnych potrzebnych modelowi do udzielenia poprawnej odpowiedzi. Stosuje się trzy schematy:

Wklejenie odpowiedniej treści: należy bezpośrednio do promptu dołączyć kod, dokument, wiadomość e-mail lub dane.

Opisanie sytuacji: przed instrukcją zadania należy w 2–5 zdaniach podsumować istotne informacje dotyczące kontekstu.

Określenie ograniczeń: należy podać środowisko, stos technologiczny, odbiorców oraz wszelkie istotne wcześniejsze decyzje.

Wstrzykiwanie kontekstu przekształca ogólną wiedzę modelu w odpowiedzi dostosowane do konkretnej sytuacji.

W przypadku złożonych zadań należy uporządkować kontekst za pomocą oznaczonych sekcji umieszczonych przed instrukcją zadania:

Nie każdy kontekst jest równie wartościowy. Zbyt mało kontekstu prowadzi do ogólnych wyników, natomiast zbyt dużo kontekstu ukrywa istotne informacje w szumie i może odsunąć właściwą instrukcję zadania zbyt daleko w dół promptu.

Poziom szczegółowości kontekstu należy dostosować, zadając sobie pytanie: czego potrzebowałby uważny ekspert, aby dobrze wykonać to zadanie?

• Należy uwzględnić: odbiorców, cel, ograniczenia, terminologię specyficzną dla danej dziedziny oraz istotne wcześniejsze decyzje
• Należy pominąć: informacje, które każdy już zna, nieistotną historię oraz szczegóły poboczne

Przydatna zasada: kontekst powinien być na tyle szczegółowy, aby osoba z zewnątrz nie mogła wykorzystać go do napisania tekstu dla innej firmy lub sytuacji.

Ponieważ model nie zachowuje pamięci między sesjami, rozwiązaniem jest wielokrotnego użytku kontekst bazowy — standardowy blok informacji kontekstowych wklejany na początku każdej sesji dotyczącej powtarzającego się tematu:

Powiązanym z brakiem kontekstu błędem jest niepełna specyfikacja: przekazanie części kontekstu, ale nie w ilości wystarczającej do obsłużenia przez model sytuacji brzegowych.

Przykład: „Napisz funkcję, która filtruje użytkowników według ich statusu subskrypcji.”

Jaka jest struktura danych? Jakie wartości statusu są prawidłowe? Co powinno się stać z użytkownikami bez statusu? Czy wielkość liter ma mieć znaczenie? Co funkcja powinna zwrócić, jeśli lista jest pusta?

Model przyjmie założenia dotyczące każdej z tych kwestii. Mogą one być błędne. Kompletne specyfikacje z wyprzedzeniem uwzględniają sytuacje brzegowe.

W przypadku promptów dotyczących kodu minimalny zestaw informacji kontekstowych pozwala uzyskać niezawodnie użyteczne wyniki:

• Język i wersja: Python 3.11, TypeScript 5.0
• Framework: FastAPI, Next.js, React Native
• Oczekiwane działanie kodu: oczekiwane dane wejściowe i wyjściowe
• Obecne nieprawidłowe działanie: objaw i komunikat błędu
• Podjęte próby: pozwala uniknąć powtarzania podejść, które już zakończyły się niepowodzeniem
• Ograniczenia: nie wolno używać zewnętrznych zależności, wykonanie musi trwać krócej niż 50 ms

Ten minimalny zestaw eliminuje najczęstsze przyczyny sugestii kodu AI, które są ogólnie poprawne, ale nieodpowiednie dla konkretnego kontekstu.

Błędy związane z brakiem kontekstu występują, gdy prompt zakłada wiedzę, której model nie posiada — na temat Państwa kodu, marki, wcześniejszych sesji lub decyzji zespołu. Model wypełnia te luki założeniami, tworząc ogólny albo niepoprawny wynik.

Rozwiązaniem jest wstrzykiwanie kontekstu: należy wkleić odpowiednią treść, opisać sytuację i jawnie określić ograniczenia. W przypadku powtarzających się zadań problem pamięci między sesjami rozwiązuje wielokrotnego użytku kontekst bazowy. W zadaniach dotyczących kodu należy zawsze uwzględnić język, framework, dane wejściowe i wyjściowe, bieżące działanie oraz ograniczenia.

W ostatniej lekcji tego kursu wszystkie te zasady zostaną połączone w systematyczną listę kontrolną debugowania promptów.