OpenAI API: chat.completions en streaming

Chatmodellen worden aangestuurd door een lijst met berichten. Elk bericht is een dict met een role en content. De drie belangrijkste rollen zijn system (instructies), user (de mens) en assistant (het model).

Deze lijst bevat de volledige gesprekscontext die het model bij elke aanroep ziet.

Roep client.chat.completions.create() aan met een model en je messages. De antwoordtekst staat op response.choices[0].message.content.

De API retourneert een lijst met keuzes, maar normaal gesproken lees je de eerste.

Twee parameters bepalen de vorm van het antwoord: temperature (0 = deterministisch, hoger = creatiever) en max_tokens (beperkt de lengte van het antwoord). Lagere temperaturen zijn geschikt voor feitelijke taken; hogere voor brainstormen.

Zonder streaming wacht je tot het volledige antwoord klaar is voordat je iets ziet. Met streaming komen tokens binnen zodra ze worden gegenereerd, zodat een gebruikersinterface tekst in realtime kan weergeven, net als ChatGPT.

Je schakelt dit in met stream=True. Daardoor verandert de retourwaarde van één object in een iterator.

Geef stream=True door aan create(). In plaats van een voltooid antwoord krijg je nu een generator die fragmenten oplevert terwijl het model ze genereert.

Loop over de stream. Elk fragment bevat een gedeeltelijk stuk tekst in chunk.choices[0].delta.content. In vroege en laatste fragmenten kan daar None staan, dus controleer dat voordat je de tekst afdrukt.

In een normaal antwoord lees je message.content (het volledige antwoord). In een stream lees je delta.content (alleen het nieuwe stuk). Het woord delta betekent "de wijziging" sinds het vorige fragment.

Door alle delta's samen te voegen reconstrueer je het volledige bericht.

Om een gesprek voort te zetten, voeg je het antwoord van de assistent weer toe aan messages en voeg je daarna het volgende gebruikersbericht toe. Het model is stateless, dus JE beheert de geschiedenis.

Antwoorden zonder streaming bevatten een usage-object met prompt_tokens, completion_tokens en total_tokens. Zo houd je de API-kosten bij en begroot je ze, omdat je per token betaalt.

Je hebt geleerd hoe je een OpenAI-client maakt, een messages-lijst met de rollen system/user/assistant opbouwt en chat.completions.create() aanroept. Normale antwoorden lees je uit choices[0].message.content.

Met stream=True itereer je over fragmenten en lees je delta.content voor uitvoer in realtime. Je houdt de geschiedenis bij door antwoorden toe te voegen en houdt de kosten bij via het usage-object.