Optimización de costes de llamadas a LLM

Los modelos de lenguaje grandes (LLM) son potentes, pero su uso tiene un costo. Este costo suele estar directamente relacionado con la cantidad de datos procesados.

Comprender cómo se fijan los precios de los LLM y aplicar técnicas inteligentes de ingeniería de prompts puede reducir considerablemente sus gastos operativos.

La mayoría de los proveedores de LLM cobran según los tokens. Un token no es solo una palabra; puede ser una parte de una palabra, un carácter individual o incluso un espacio.

• Tokens de entrada: Son los tokens del prompt que envía al LLM.
• Tokens de salida: Son los tokens que el LLM genera como respuesta.

Tanto los tokens de entrada como los de salida contribuyen al costo total de una llamada a la API.

Piénselo de esta manera: cada carácter de su prompt y cada carácter de la respuesta del LLM se convierten en tokens. Después, el número total de tokens se multiplica por una tarifa específica.

Los distintos modelos de LLM y proveedores tienen costos por token diferentes. Los modelos más nuevos y capaces suelen tener tarifas más altas por token.

Una de las formas más sencillas de ahorrar costos es hacer que sus prompts sean lo más concisos posible. Cada palabra innecesaria aumenta el número de tokens de entrada.

• Eliminar relleno: "Genere amablemente un resumen del siguiente texto." se convierte en "Resuma el texto siguiente."
• Instrucciones directas: Exprese su objetivo con claridad, sin excesiva cortesía ni preámbulos.

Si trabaja con documentos grandes, considere resumir o extraer la información clave antes de enviarlos al LLM. No siempre necesita enviar todos los datos sin procesar.

Por ejemplo, en lugar de enviar un artículo de 5000 palabras para hacer una sola pregunta, primero podría utilizar un modelo más pequeño y económico o un script sencillo para extraer los párrafos relevantes y, después, formular un prompt para un LLM más grande utilizando solo esos párrafos.

Los prompts ambiguos o abiertos pueden producir respuestas más largas y generales, lo que aumenta el número de tokens de salida. Sea específico sobre lo que quiere.

En lugar de: "Hábleme sobre el cambio climático."

Pruebe con: "Enumere tres causas comunes del cambio climático en viñetas."

Esto guía al LLM hacia una respuesta más breve y centrada.

Los proveedores de LLM ofrecen una variedad de modelos con distintas capacidades y precios. Usar el modelo más potente para cada tarea suele ser innecesario y costoso.

• Utilice modelos más pequeños, rápidos y económicos para tareas sencillas, como extraer datos o reformular texto.
• Reserve los modelos más grandes y costosos para razonamientos complejos, generación creativa o tareas que requieran una comprensión profunda.

Muchas API de LLM permiten establecer un parámetro max_tokens. Esto limita directamente la longitud máxima de la respuesta del LLM.

Aunque su prompt sea perfecto, un LLM aún puede divagar. Establecer max_tokens garantiza que no pague por resultados excesivamente largos o irrelevantes.

Comparemos dos prompts para el mismo objetivo:

Prompt costoso: "¡Hola, asistente de IA! Espero que esté teniendo un buen día. ¿Podría decirme cuál es la capital de Francia? Le agradecería mucho una explicación detallada de su historia y relevancia cultural, quizá en unos cuantos párrafos."

Prompt conciso: "¿Cuál es la capital de Francia? Responda solo con el nombre de la ciudad."

El prompt conciso reduce considerablemente tanto los tokens de entrada como los posibles tokens de salida, lo que permite ahorrar costes.

Hemos aprendido varias estrategias clave para optimizar los costes de las API de LLM:

• Sea conciso: elimine las palabras innecesarias de sus prompts.
• Preprocese los datos: resuma o filtre las entradas grandes antes de crear el prompt.
• Sea específico: guíe al LLM para que proporcione respuestas breves y concretas.
• Elija con criterio: seleccione modelos adecuados para la complejidad de la tarea.
• Controle la salida: utilice parámetros como max_tokens para limitar la longitud de la respuesta.

Al aplicar estas técnicas, puede hacer que sus interacciones con LLM sean más económicas y eficientes.