Otimização de custos de chamadas a LLMs

Os modelos de linguagem de grande porte (LLMs) são poderosos, mas seu uso tem um custo. Esse custo geralmente está diretamente relacionado à quantidade de dados processados.

Compreender como os LLMs são cobrados e aplicar técnicas inteligentes de engenharia de instruções pode reduzir significativamente suas despesas operacionais.

A maioria dos provedores de LLMs cobra com base em tokens. Um token não é apenas uma palavra; ele pode ser parte de uma palavra, um único caractere ou até mesmo um espaço.

• Tokens de entrada: são os tokens presentes na instrução que você envia ao LLM.
• Tokens de saída: são os tokens que o LLM gera como resposta.

Tanto os tokens de entrada quanto os de saída contribuem para o custo total de uma chamada a uma interface de programação de aplicações.

Pense desta forma: cada caractere da sua instrução e cada caractere da resposta do LLM são convertidos em tokens. O número total de tokens é então multiplicado por uma tarifa específica.

Diferentes modelos de LLM e diferentes provedores têm custos variados por token. Modelos mais recentes e capazes geralmente têm tarifas mais altas por token.

Uma das maneiras mais fáceis de economizar é tornar suas instruções tão concisas quanto possível. Cada palavra desnecessária aumenta a quantidade de tokens de entrada.

• Remova o conteúdo de preenchimento: «Gere gentilmente um resumo para mim do texto a seguir.» torna-se «Resuma o texto abaixo.»
• Dê instruções diretas: declare seu objetivo claramente, sem excesso de polidez ou introduções.

Se você estiver trabalhando com documentos grandes, considere resumir ou extrair as informações essenciais antes de enviá-los ao LLM. Nem sempre é necessário enviar todos os dados brutos.

Por exemplo, em vez de enviar um artigo de 5.000 palavras para fazer uma pergunta, você poderia primeiro usar um modelo menor e mais barato ou um script simples para extrair os parágrafos relevantes e, depois, dar instruções a um LLM maior usando apenas esses parágrafos.

Instruções ambíguas ou abertas podem resultar em respostas mais longas e gerais, aumentando a quantidade de tokens de saída. Seja específico sobre o que você deseja.

Em vez de: «Fale-me sobre as mudanças climáticas.»

Experimente: «Liste três causas comuns das mudanças climáticas em tópicos.»

Isso orienta o LLM a fornecer uma resposta mais curta e focada.

Os provedores de LLM oferecem uma variedade de modelos com diferentes capacidades e preços. Usar o modelo mais avançado para todas as tarefas geralmente é exagerado e caro.

• Use modelos menores, mais rápidos e mais baratos para tarefas simples, como extração de dados ou reformulação de texto.
• Reserve modelos maiores e mais caros para raciocínio complexo, geração criativa ou tarefas que exigem compreensão aprofundada.

Muitas APIs de LLM permitem definir um parâmetro max_tokens. Isso limita diretamente o comprimento máximo da resposta do LLM.

Mesmo que sua instrução seja perfeita, um LLM ainda pode se alongar demais. Definir max_tokens garante que você não pague por uma saída excessivamente longa ou irrelevante.

Vamos comparar duas instruções para o mesmo objetivo:

Instrução dispendiosa: "Olá, assistente de inteligência artificial! Espero que esteja tendo um ótimo dia. Você poderia, por gentileza, me dizer qual é a capital da França? Eu realmente apreciaria uma explicação detalhada sobre sua história e importância cultural, talvez em alguns parágrafos."

Instrução enxuta: "Qual é a capital da França? Responda apenas com o nome da cidade."

A instrução enxuta reduz significativamente tanto os tokens de entrada quanto os possíveis tokens de saída, economizando custos.

Aprendemos várias estratégias importantes para otimizar os custos das APIs de LLM:

• Seja conciso: Remova palavras desnecessárias das suas instruções.
• Pré-processe os dados: Resuma ou filtre entradas grandes antes de enviar a instrução.
• Seja específico: Oriente o LLM a fornecer respostas curtas e direcionadas.
• Escolha com critério: Selecione modelos adequados à complexidade da tarefa.
• Controle a saída: Use parâmetros como max_tokens para limitar o comprimento da resposta.

Ao aplicar essas técnicas, você pode tornar suas interações com o LLM mais econômicas e eficientes!