API OpenAI : chat.completions et diffusion en continu

Le paquet Python openai est la méthode officielle pour communiquer avec les modèles OpenAI comme GPT-4o. Installez-le avec pip install openai pour obtenir une seule classe cliente OpenAI qui gère pour vous l’authentification, les nouvelles tentatives et la construction des requêtes.

Tous vos appels passent par ce client ; le créer une fois puis le réutiliser est donc le modèle d’utilisation standard.

Instanciez le client avec OpenAI(). Par défaut, il lit votre clé dans la variable d’environnement OPENAI_API_KEY, ce qui évite d’exposer les secrets dans votre code source.

Vous pouvez également transmettre la clé explicitement, mais les variables d’environnement constituent l’approche recommandée pour les applications en production.

Les modèles conversationnels sont pilotés par une liste de messages. Chaque message est un dictionnaire contenant un role et un content. Les trois rôles principaux sont system (instructions), user (la personne) et assistant (le modèle).

Cette liste constitue l’intégralité du contexte de la conversation que le modèle voit à chaque appel.

Appelez client.chat.completions.create() avec un model et vos messages. Le texte de la réponse se trouve à l’emplacement response.choices[0].message.content.

L’API renvoie une liste de choix, mais dans l’usage courant, vous lisez le premier.

Deux paramètres façonnent la réponse : temperature (0 = déterministe, une valeur plus élevée = plus créative) et max_tokens (limite la longueur de la réponse). Les températures basses conviennent aux tâches factuelles ; les températures élevées sont plus adaptées au remue-méninges.

Sans diffusion en continu, vous devez attendre la réponse complète avant de voir quoi que ce soit. Avec la diffusion en continu, les jetons arrivent au fur et à mesure de leur génération ; une interface peut donc afficher le texte en temps réel, comme le fait ChatGPT.

Vous l’activez avec stream=True, ce qui transforme la valeur de retour d’un objet unique en un itérateur.

Transmettez stream=True à create(). Au lieu d’une réponse terminée, vous obtenez maintenant un générateur qui produit des fragments au fur et à mesure que le modèle les génère.

Parcourez le flux. Chaque fragment contient une partie du texte dans chunk.choices[0].delta.content. Les premiers et les derniers fragments peuvent contenir None à cet emplacement ; vérifiez donc sa présence avant l’affichage.

Dans une réponse normale, vous lisez message.content (la réponse complète). Dans un flux, vous lisez delta.content (uniquement le nouvel élément). Le mot delta signifie « la modification » depuis le dernier fragment.

La concaténation de tous les deltas permet de reconstituer le message complet.

Pour poursuivre une conversation, utilisez append pour réinsérer la réponse de l’assistant dans messages, puis ajoutez le message utilisateur suivant. Le modèle est sans état ; c’est donc YOU qui gérez l’historique.

Les réponses sans diffusion incluent un objet usage avec prompt_tokens, completion_tokens et total_tokens. C’est ainsi que vous suivez et budgétez le coût de l’API, puisque la facturation se fait au jeton.

Vérifiez votre compréhension de la diffusion en continu.

Vous avez appris à utiliser create pour créer un client OpenAI, à construire une liste messages avec les rôles système, utilisateur et assistant, puis à appeler chat.completions.create(). Vous avez lu les réponses normales depuis choices[0].message.content.

Avec stream=True, vous parcourez les fragments et lisez delta.content pour obtenir une sortie en temps réel, vous gérez l’historique en ajoutant les réponses et vous suivez le coût au moyen de l’objet usage.