Limity słów i długości

Modele AI naturalnie generują odpowiedzi o domyślnej długości — zwykle takiej, którą uznają za wystarczającą do udzielenia kompletnej odpowiedzi. Ta długość często nie odpowiada Państwa potrzebom.

Ograniczenia długości w promptach pozwalają dokładnie określić, jak długa ma być odpowiedź, i dopasować wynik do miejsca docelowego: tweeta, podpisu slajdu, podsumowania wiadomości e-mail czy artykułu o długości 500 słów.

Umiejętność pisania skutecznych ograniczeń długości — oraz rozumienie, kiedy przestają działać — to praktyczna umiejętność z zakresu inżynierii promptów.

Najbardziej precyzyjnym ograniczeniem długości jest dokładna liczba słów: "Napisz to dokładnie w 100 słowach."

Modele próbują osiągnąć ten cel, ale rzadko trafiają w dokładną liczbę. W praktyce polecenie "dokładnie 100 słów" zwykle skutkuje odpowiedzią mieszczącą się w granicach ±10 słów.

W większości zastosowań jest to wystarczająca dokładność. W przypadku ścisłych wymagań, takich jak tekst z ograniczeniem liczby słów, należy zawsze sprawdzić wynik i ręcznie go skrócić. Jeśli precyzja ma znaczenie, lepiej użyć węższego przedziału: "od 98 do 102 słów."

Ograniczenia dotyczące liczby zdań są często bardziej niezawodne niż liczenie słów, ponieważ zdania są dla modelu bardziej naturalną jednostką:

• "W nie więcej niż 3 zdaniach"
• "Podsumuj to w 2 zdaniach"
• "Napisz jednozdaniowy opis"

Ograniczenia dotyczące zdań sprawdzają się szczególnie dobrze w przypadku podsumowań, opisów i wstępów. Aby uniknąć bardzo długich pojedynczych zdań, należy dodać limit słów: "W 2 zdaniach, z których każde ma mniej niż 25 słów."

Ograniczenia przedziałowe wyznaczają modelowi docelowy zakres zamiast sztywnej granicy, co często prowadzi do powstania bardziej naturalnego tekstu:

• "Napisz to w 500–600 słowach"
• "Odpowiedź powinna mieć od 150 do 200 słów"
• "Uwzględnij 3–5 punktów"

Przedziały są bardziej elastyczne i zwykle prowadzą do płynniejszego wyniku niż dokładne wartości. Z dokładnych wartości należy korzystać, gdy miejsce docelowe ma ścisły limit, na przykład limit znaków platformy lub pole formularza, a z przedziałów — w tekstach redakcyjnych.

Wiele platform ma ścisłe limity znaków. Twitter/X stosuje limit 280 znaków. W promptach dotyczących treści przeznaczonych dla konkretnej platformy należy wyraźnie określić limit:

• "Napisz tweeta (maks. 280 znaków) ogłaszającego premierę naszego produktu."
• "Utwórz powiadomienie SMS o długości poniżej 160 znaków."
• "Napisz post na LinkedIn o długości poniżej 1300 znaków."

Przed opublikowaniem należy zawsze policzyć znaki w odpowiedzi — modele szacują liczbę znaków mniej dokładnie niż liczbę słów. Proste sprawdzenie w języku Python za pomocą len(response) pozwala uniknąć kompromitacji.

Modele czasami nie przestrzegają ograniczeń długości. Typowe przyczyny to:

• zadanie jest złożone i model uznaje, że nie da się go wykonać w określonej długości;
• ograniczenie umieszczono na końcu długiego promptu, przez co mogło otrzymać mniejszą wagę;
• ograniczenia dotyczące liczby słów i treści są ze sobą sprzeczne, na przykład „omów 10 tematów w 50 słowach”.

Rozwiązania: przenieść ograniczenie długości na początek promptu, uczynić je częścią persony ("Jesteś pisarzem, który zawsze odpowiada dokładnie 100 słowami") albo zmniejszyć zakres treści, aby dopasować go do długości.

Gdy potrzebne jest programowe egzekwowanie limitów długości, należy dodać etap walidacji po wywołaniu API:

Najczęstszym powodem nieskuteczności ograniczeń długości jest niedopasowanie zakresu treści do dostępnego limitu długości.

Jeśli poproszą Państwo model o "wyjaśnienie obliczeń kwantowych, ich historii, obecnych zastosowań i przyszłego potencjału w 50 słowach", model otrzymuje niemożliwe zadanie. Albo przekroczy limit słów, albo utworzy tak skondensowaną odpowiedź, że będzie ona bezużyteczna.

Rozwiązanie: należy albo zmniejszyć zakres ("wyjaśnij obliczenia kwantowe w jednym zdaniu"), albo zwiększyć limit długości, aby dopasować go do zakresu. Nie należy jednocześnie wymagać szerokiego omówienia i bardzo krótkiego wyniku.

Ograniczenia długości nie służą wyłącznie dopasowaniu treści do dostępnego miejsca — działają również jako bodźce do myślenia, które wymuszają kondensowanie informacji i ustalanie priorytetów.

"Wyjaśnij najważniejszą myśl zawartą w tym 10-stronicowym raporcie w jednym zdaniu" to przydatne ćwiczenie, nawet jeśli jedno zdanie nie jest bezwzględnie wymagane. Ograniczenie zmusza model do wskazania jednej najważniejszej idei.

Ograniczenia krótkiej formy to skuteczny sposób na wydobywanie istoty i ustalanie priorytetów w długich, złożonych materiałach.

Można również określić minimalną długość, gdy potrzebna jest odpowiednia szczegółowość:

• "Napisz co najmniej 400 słów"
• "Podaj co najmniej 5 punktów"
• "Uwzględnij co najmniej 3 przykłady"

Ograniczenia minimalne są przydatne, gdy model ma tendencję do udzielania powierzchownych odpowiedzi na złożone tematy. Połączenie minimum i maksimum tworzy przedział: "Napisz od 400 do 500 słów." Zapobiega to zarówno zbyt krótkiej odpowiedzi, jak i sztucznemu wydłużaniu tekstu.

W aplikacjach, w których każda odpowiedź musi mieścić się w określonej długości, należy umieścić ograniczenie w promptcie systemowym, zamiast powtarzać je przy każdej wiadomości użytkownika:

"Jesteś zwięzłym asystentem. Każda odpowiedź musi mieć najwyżej 3 zdania. Jeśli użytkownik poprosi o coś, co wymaga więcej, przedstaw 3-zdaniowe podsumowanie i zaproponuj rozwinięcie."

Ograniczenia długości na poziomie systemu są bardziej niezawodne niż ograniczenia określane dla poszczególnych wiadomości, ponieważ ustanawiają trwałą zasadę zachowania, a nie jednorazowe polecenie.

Ograniczenia długości — dokładna liczba słów, limity zdań, limity znaków i przedziały — pozwalają dopasować wynik AI do miejsca docelowego. Dokładne wartości sprawdzają się przy ścisłych limitach, a przedziały prowadzą do powstania bardziej naturalnego tekstu. Ograniczenia liczby znaków dla treści przeznaczonych na konkretną platformę, takich jak tweety i SMS-y, zawsze wymagają programowej weryfikacji.

Głównym problemem jest niedopasowanie treści do długości: zakres jest zbyt duży w stosunku do dostępnego limitu. Umieszczenie ograniczenia w prompcie systemowym i programowa walidacja to najbardziej niezawodne mechanizmy egzekwowania limitów.

W następnej lekcji nauczą się Państwo ograniczać zakres tematyczny, a nie długość.