Optymalizacja kosztów wywołań LLM

Duże modele językowe (LLM) są potężne, ale korzystanie z nich wiąże się z kosztami. Koszt ten często zależy bezpośrednio od ilości przetwarzanych danych.

Zrozumienie sposobu wyceniania modeli LLM i stosowanie przemyślanych technik konstruowania promptów może znacząco obniżyć koszty operacyjne.

Większość dostawców modeli LLM pobiera opłaty na podstawie tokenów. Token to nie tylko słowo — może być także częścią słowa, pojedynczym znakiem, a nawet spacją.

• Tokeny wejściowe: Tokeny znajdujące się w prompcie wysyłanym do modelu LLM.
• Tokeny wyjściowe: Tokeny generowane przez model LLM w odpowiedzi.

Zarówno tokeny wejściowe, jak i wyjściowe wpływają na całkowity koszt wywołania API.

Można ująć to następująco: każdy znak w Państwa prompcie i każdy znak w odpowiedzi modelu LLM jest przeliczany na tokeny. Następnie całkowita liczba tokenów jest mnożona przez określoną stawkę.

Różne modele LLM i różni dostawcy stosują różne ceny tokenów. Nowsze i bardziej zaawansowane modele często mają wyższe stawki za token.

Jednym z najprostszych sposobów na obniżenie kosztów jest maksymalne skrócenie promptów. Każde zbędne słowo zwiększa liczbę tokenów wejściowych.

• Usuwanie wypełniaczy: „Proszę uprzejmie wygenerować dla mnie podsumowanie poniższego tekstu.” można zastąpić sformułowaniem „Proszę podsumować poniższy tekst.”
• Bezpośrednie instrukcje: Proszę jasno określić cel, bez nadmiernej uprzejmości i zbędnego wstępu.

Jeśli pracują Państwo z dużymi dokumentami, warto rozważyć podsumowanie lub wyodrębnienie najważniejszych informacji przed wysłaniem ich do modelu LLM. Nie zawsze trzeba przesyłać wszystkie surowe dane.

Na przykład zamiast wysyłać artykuł o długości 5000 słów, aby zadać jedno pytanie, mogą Państwo najpierw użyć tańszego, mniejszego modelu albo prostego skryptu do wyodrębnienia odpowiednich akapitów, a następnie przekazać większemu modelowi LLM prompt zawierający tylko te akapity.

Niejasne lub otwarte prompty mogą prowadzić do dłuższych, bardziej ogólnych odpowiedzi, zwiększając liczbę tokenów wyjściowych. Proszę precyzyjnie określić oczekiwany rezultat.

Zamiast: „Proszę opowiedzieć mi o zmianach klimatu”.

Proszę użyć: „Proszę wymienić w punktach trzy typowe przyczyny zmian klimatu”.

W ten sposób kierują Państwo model LLM ku krótszej i bardziej skoncentrowanej odpowiedzi.

Dostawcy LLM oferują szeroką gamę modeli o różnych możliwościach i poziomach cenowych. Korzystanie z najpotężniejszego modelu przy każdym zadaniu często jest przesadą i generuje niepotrzebne koszty.

• Do prostych zadań, takich jak ekstrakcja danych lub parafrazowanie, należy używać mniejszych, szybszych i tańszych modeli.
• Większe i droższe modele warto rezerwować do złożonego rozumowania, generowania kreatywnych treści lub zadań wymagających głębokiego zrozumienia.

Wiele interfejsów API LLM umożliwia ustawienie parametru max_tokens. Ogranicza on bezpośrednio maksymalną długość odpowiedzi LLM.

Nawet jeśli prompt jest idealny, LLM może nadal tworzyć zbyt rozwlekłe odpowiedzi. Ustawienie parametru max_tokens gwarantuje, że nie zapłacą Państwo za nadmiernie długi lub nieistotny wynik.

Porównajmy dwa prompty służące temu samemu celowi:

Drogi prompt: "Dzień dobry, asystencie AI! Mam nadzieję, że ma się Pan/Pani dziś świetnie. Czy mógłby Pan/mogłaby Pani uprzejmie powiedzieć mi, jaka jest stolica Francji? Będę bardzo wdzięczny/wdzięczna za szczegółowe wyjaśnienie jej historii i znaczenia kulturowego, być może w kilku akapitach."

Zwięzły prompt: "Jaka jest stolica Francji? Odpowiedz wyłącznie nazwą miasta."

Zwięzły prompt znacznie ogranicza zarówno liczbę tokenów wejściowych, jak i potencjalną liczbę tokenów wyjściowych, co pozwala zmniejszyć koszty.

Poznali Państwo kilka kluczowych strategii optymalizowania kosztów korzystania z API LLM:

• Zwięzłość: Należy usuwać z promptów zbędne słowa.
• Wstępne przetwarzanie danych: Przed użyciem promptu należy podsumować duże dane wejściowe lub je przefiltrować.
• Precyzja: Należy kierować LLM ku krótkim, ukierunkowanym odpowiedziom.
• Rozważny wybór: Należy dobierać modele odpowiednie do złożoności zadania.
• Kontrola wyniku: Należy używać parametrów takich jak max_tokens, aby ograniczyć długość odpowiedzi.

Stosując te techniki, mogą Państwo korzystać z LLM w sposób bardziej ekonomiczny i efektywny!