API da OpenAI: chat.completions e transmissão

O pacote openai para Python é a forma oficial de interagir com modelos da OpenAI, como o GPT-4o. Instale-o com pip install openai e você terá uma única classe de cliente OpenAI que cuida da autenticação, de novas tentativas e da criação de solicitações.

Toda chamada que você fizer passará por esse cliente, portanto criá-lo uma vez e reutilizá-lo é o padrão recomendado.

Instancie o cliente com OpenAI(). Por padrão, ele lê sua chave da variável de ambiente OPENAI_API_KEY, mantendo os segredos fora do código-fonte.

Você também pode passar a chave explicitamente, mas as variáveis de ambiente são a abordagem recomendada para aplicações de produção.

Os modelos de chat são orientados por uma lista de mensagens. Cada mensagem é um dicionário com um role e um content. As três funções principais são system (instruções), user (a pessoa) e assistant (o modelo).

Essa lista é o contexto completo da conversa que o modelo vê em cada chamada.

Chame client.chat.completions.create() com um model e suas messages. O texto da resposta está em response.choices[0].message.content.

A API retorna uma lista de opções, mas, no uso normal, basta ler a primeira.

Dois parâmetros moldam a resposta: temperature (0 = determinístico; valores maiores = mais criativo) e max_tokens (limita o tamanho da resposta). Temperaturas mais baixas são adequadas para tarefas factuais; temperaturas mais altas são melhores para brainstorming.

Sem transmissão em fluxo, você precisa esperar a resposta inteira antes de ver qualquer coisa. Com a transmissão em fluxo, os tokens chegam à medida que são gerados, permitindo que uma interface exiba o texto em tempo real, como o ChatGPT faz.

Você a ativa com stream=True, o que transforma o valor retornado de um único objeto em um iterador.

Transmita stream=True para create(). Em vez de uma resposta concluída, você passa a receber um gerador que produz fragmentos à medida que o modelo os cria.

Percorra o stream em um laço. Cada fragmento contém uma parte do texto em chunk.choices[0].delta.content. Os fragmentos iniciais e finais podem ter None nesse campo, portanto verifique se há um valor antes de imprimir.

Em uma resposta normal, você lê message.content (a resposta inteira). Em um stream, você lê delta.content (apenas a parte nova). A palavra delta significa "a mudança" desde o último fragmento.

Concatenar todos os deltas reconstrói a mensagem completa.

Para manter uma conversa, use append para adicionar a resposta do assistente a messages e depois acrescente a próxima mensagem do usuário. O modelo não mantém estado, portanto YOU mantém o histórico.

Respostas sem transmissão em fluxo incluem um objeto usage com prompt_tokens, completion_tokens e total_tokens. É assim que você acompanha e controla o custo da API, já que a cobrança é feita por token.

Teste sua compreensão da transmissão em fluxo.

Você aprendeu a criar um cliente OpenAI, montar uma lista messages com funções de sistema, usuário e assistente e chamar chat.completions.create(). Você lê as respostas normais em choices[0].message.content.

Com stream=True, você percorre os fragmentos e lê delta.content para obter a saída em tempo real, mantém o histórico anexando respostas e acompanha o custo por meio do objeto usage.