OpenAI API: chat.completions i przesyłanie strumieniowe

Pakiet openai dla języka Python to oficjalny sposób komunikowania się z modelami OpenAI, takimi jak GPT-4o. Po zainstalowaniu go za pomocą pip install openai otrzymuje się pojedynczą klasę klienta OpenAI, która obsługuje uwierzytelnianie, ponowienia prób i konstruowanie żądań.

Każde wywołanie przechodzi przez tego klienta, dlatego standardowym rozwiązaniem jest utworzenie go raz i ponowne używanie.

Proszę utworzyć instancję klienta za pomocą OpenAI(). Domyślnie odczytuje on klucz ze zmiennej środowiskowej OPENAI_API_KEY, dzięki czemu sekrety nie trafiają do kodu źródłowego.

Klucz można również przekazać jawnie, ale w aplikacjach produkcyjnych zalecane jest korzystanie ze zmiennych środowiskowych.

Modele czatu są sterowane przez listę wiadomości. Każda wiadomość jest słownikiem zawierającym role i content. Trzy podstawowe role to system (instrukcje), user (człowiek) i assistant (model).

Ta lista stanowi pełny kontekst rozmowy, który model otrzymuje przy każdym wywołaniu.

Należy wywołać client.chat.completions.create(), podając model oraz własne messages. Tekst odpowiedzi znajduje się w response.choices[0].message.content.

API zwraca listę odpowiedzi, ale w typowym użyciu odczytuje się pierwszą z nich.

Na odpowiedź wpływają dwa parametry: temperature (0 oznacza wynik deterministyczny, a wyższa wartość — większą kreatywność) oraz max_tokens (ogranicza długość odpowiedzi). Niższe wartości temperatury sprawdzają się w zadaniach wymagających faktów, a wyższe — podczas burzy mózgów.

Bez strumieniowania trzeba czekać na całą odpowiedź, zanim pojawi się jakikolwiek tekst. Dzięki strumieniowaniu tokeny docierają w miarę ich generowania, więc interfejs może wyświetlać tekst w czasie rzeczywistym, tak jak robi to ChatGPT.

Strumieniowanie włącza się za pomocą stream=True, co zmienia zwracaną wartość z pojedynczego obiektu na iterator.

Należy przekazać stream=True do create(). Zamiast ukończonej odpowiedzi otrzymuje się generator, który zwraca fragmenty w miarę generowania ich przez model.

Należy iterować po strumieniu. Każdy fragment zawiera częściowy tekst w chunk.choices[0].delta.content. W początkowych i końcowych fragmentach może znajdować się tam wartość None, dlatego przed wyświetleniem należy to sprawdzić.

W zwykłej odpowiedzi odczytuje się message.content (całą odpowiedź). W strumieniu odczytuje się delta.content (tylko nowy fragment). Słowo delta oznacza „zmianę” od czasu otrzymania poprzedniego fragmentu.

Połączenie wszystkich delt pozwala odtworzyć pełną wiadomość.

Aby kontynuować rozmowę, należy dopisać odpowiedź asystenta z powrotem do messages, a następnie dodać kolejną wiadomość użytkownika. Model nie zachowuje stanu, dlatego to Państwo muszą utrzymywać historię.

Odpowiedzi bez strumieniowania zawierają obiekt usage z polami prompt_tokens, completion_tokens i total_tokens. Dzięki niemu można śledzić i planować koszt korzystania z API, ponieważ rozliczenia odbywają się za token.

Sprawdź swoją wiedzę na temat strumieniowania.

Nauczyli się Państwo utworzyć klienta OpenAI, zbudować listę messages z rolami systemu, użytkownika i asystenta oraz wywołać chat.completions.create(). Zwykłe odpowiedzi odczytuje się z choices[0].message.content.

Po ustawieniu stream=True można iterować po fragmentach i odczytywać delta.content, aby uzyskać dane w czasie rzeczywistym, utrzymywać historię przez dopisywanie odpowiedzi oraz śledzić koszt za pomocą obiektu usage.