API OpenAI: chat.completions e streaming

Il pacchetto Python openai è il modo ufficiale per comunicare con modelli OpenAI come GPT-4o. Lo installi con pip install openai per ottenere un'unica classe client OpenAI che gestisce autenticazione, nuovi tentativi e costruzione delle richieste.

Ogni chiamata effettuata passa attraverso questo client, quindi crearlo una volta e riutilizzarlo è il pattern standard.

Istanziare il client con OpenAI(). Per impostazione predefinita, legge la chiave dalla variabile d'ambiente OPENAI_API_KEY, mantenendo i segreti fuori dal codice sorgente.

È anche possibile passare esplicitamente la chiave, ma per le applicazioni in produzione l'approccio consigliato consiste nell'usare le variabili d'ambiente.

I modelli conversazionali si basano su una lista di messaggi. Ogni messaggio è un dizionario con un role e un content. I tre ruoli principali sono system (istruzioni), user (la persona) e assistant (il modello).

Questa lista costituisce l'intero contesto della conversazione che il modello vede a ogni chiamata.

Chiami client.chat.completions.create() specificando un model e i Suoi messages. Il testo della risposta si trova in response.choices[0].message.content.

L'API restituisce un elenco di scelte, ma nel normale utilizzo si legge la prima.

Due parametri determinano la risposta: temperature (0 = deterministico, valori più alti = maggiore creatività) e max_tokens (limita la lunghezza della risposta). Temperature più basse sono adatte alle attività fattuali; quelle più alte al brainstorming.

Senza streaming, deve attendere l'intera risposta prima di visualizzare qualsiasi contenuto. Con lo streaming, i token arrivano man mano che vengono generati, così un'interfaccia può mostrare il testo in tempo reale, come fa ChatGPT.

Lo abiliti con stream=True: il valore restituito passa da un singolo oggetto a un iteratore.

Passi stream=True a create(). Invece di una risposta completa, ora riceve un generatore che produce chunk man mano che il modello li genera.

Iteri sullo stream. Ogni chunk contiene una parte del testo in chunk.choices[0].delta.content. I chunk iniziali e finali possono contenere None in quel punto, quindi verifichi il valore prima di stamparlo.

In una risposta normale si legge message.content (l'intera risposta). In uno stream si legge delta.content (solo la nuova parte). La parola delta significa «la variazione» rispetto al chunk precedente.

Concatenando tutti i delta si ricostruisce il messaggio completo.

Per continuare una conversazione, aggiunga la risposta dell'assistant a messages e poi aggiunga il messaggio successivo dell'user. Il modello è stateless, quindi è Lei a mantenere la cronologia.

Le risposte non trasmesse in streaming includono un oggetto usage con prompt_tokens, completion_tokens e total_tokens. Questo consente di monitorare e preventivare il costo dell'API, poiché la fatturazione avviene per token.

Verifichi la Sua comprensione dello streaming.

Ha imparato a creare un client OpenAI, costruire un elenco messages con i ruoli system/user/assistant e chiamare chat.completions.create(). Ha imparato a leggere le risposte normali da choices[0].message.content.

Con stream=True può iterare sui chunk e leggere delta.content per ottenere l'output in tempo reale, mantenere la cronologia aggiungendo le risposte e monitorare il costo tramite l'oggetto usage.