API de OpenAI: chat.completions y streaming

El paquete de Python openai es la forma oficial de comunicarse con modelos de OpenAI como GPT-4o. Instálelo con pip install openai y obtendrá una única clase de cliente OpenAI que gestiona la autenticación, los reintentos y la creación de solicitudes.

Todas las llamadas que realice pasan por este cliente, por lo que crearlo una vez y reutilizarlo es el patrón estándar.

Instancie el cliente con OpenAI(). De forma predeterminada, lee su clave de la variable de entorno OPENAI_API_KEY, lo que mantiene los secretos fuera del código fuente.

También puede pasar la clave explícitamente, pero las variables de entorno son el enfoque recomendado para las aplicaciones en producción.

Los modelos de chat funcionan a partir de una lista de mensajes. Cada mensaje es un diccionario con un role y un content. Los tres roles principales son system (instrucciones), user (la persona) y assistant (el modelo).

Esta lista contiene todo el contexto de la conversación que el modelo ve en cada llamada.

Llame a client.chat.completions.create() con un model y sus messages. El texto de la respuesta se encuentra en response.choices[0].message.content.

La API devuelve una lista de opciones, pero en el uso habitual debe leer la primera.

Dos parámetros determinan la respuesta: temperature (0 = determinista; los valores más altos producen respuestas más creativas) y max_tokens (limita la longitud de la respuesta). Las temperaturas bajas son adecuadas para tareas basadas en hechos; las altas, para generar ideas.

Sin streaming, debe esperar a que se genere toda la respuesta antes de ver cualquier contenido. Con streaming, los tokens llegan a medida que se generan, por lo que una interfaz puede mostrar el texto en tiempo real, como hace ChatGPT.

Se activa con stream=True, lo que cambia el valor devuelto de un único objeto a un iterador.

Pase stream=True a create(). En lugar de una respuesta completa, ahora obtiene un generador que produce fragmentos a medida que el modelo los genera.

Recorra el stream con un bucle. Cada fragmento contiene una parte parcial del texto en chunk.choices[0].delta.content. Los fragmentos iniciales y finales pueden tener el valor None allí, así que debe comprobarlo antes de imprimir.

En una respuesta normal, debe leer message.content (la respuesta completa). En un stream, debe leer delta.content (solo la parte nueva). La palabra delta significa «el cambio» desde el último fragmento.

Al concatenar todos los deltas se reconstruye el mensaje completo.

Para continuar una conversación, añada la respuesta del asistente a messages y después agregue el siguiente mensaje del usuario. El modelo no conserva estado, por lo que USTED debe mantener el historial.

Las respuestas que no usan streaming incluyen un objeto usage con prompt_tokens, completion_tokens y total_tokens. Así puede controlar y presupuestar el coste de la API, ya que la facturación se realiza por token.

Compruebe sus conocimientos sobre el streaming.

Ha aprendido a crear un cliente de OpenAI, construir una lista messages con roles de sistema, usuario y asistente, y llamar a chat.completions.create(). Las respuestas normales se leen desde choices[0].message.content.

Con stream=True, itera sobre los fragmentos y lee delta.content para obtener una salida en tiempo real, mantiene el historial añadiendo las respuestas y controla el coste mediante el objeto usage.