Ingeniería de prompts para aplicaciones LLM en producción

En las aplicaciones reales, los prompts son código: necesitan estructura, pruebas y fiabilidad. Una buena ingeniería de prompts reduce las alucinaciones, impone el formato de salida y controla los costes. En esta lección se abordan las técnicas importantes en producción.

El system prompt establece el rol, el tono, las restricciones y las reglas del modelo. Sea específico: indique qué es el asistente, qué debe y qué no debe hacer, y cuál debe ser el formato de sus respuestas. Un system prompt claro es su herramienta de orientación más potente.

El prompting few-shot consiste en mostrar al modelo pares de entrada y salida de ejemplo para que aprenda el patrón. Debe colocarlos como mensajes alternos de usuario y asistente antes de la solicitud real.

Los ejemplos aclaran su intención mejor que las instrucciones por sí solas. Fijan el estilo exacto de salida (una palabra, JSON o una etiqueta) y mejoran enormemente la coherencia en tareas de clasificación, extracción y formateo.

Para obtener respuestas legibles por máquinas, solicite el modo JSON con response_format. Con {"type": "json_object"}, el modelo queda limitado a emitir JSON válido, que después puede analizar de forma segura.

Los límites de coste y de contexto se miden en tokens. La biblioteca tiktoken cuenta los tokens localmente para que pueda calcular el presupuesto antes de enviar la solicitud. Instálela con pip install tiktoken.

Cada modelo tiene una ventana de contexto (un número máximo de tokens) y usted paga por token. Contar de antemano le permite recortar el historial, rechazar entradas demasiado grandes y prever el coste antes de que la llamada salga de su servidor.

El tráfico de producción alcanza límites de frecuencia (HTTP 429) y errores transitorios. En lugar de que la aplicación se bloquee, vuelva a intentarlo con una espera exponencial. La biblioteca tenacity permite hacerlo con un decorador de una sola línea.

Aplique el decorador @retry a su llamada a la API. Utilice wait_exponential para aumentar el retraso entre intentos y stop_after_attempt para limitar el número total de intentos. Así podrá superar las interrupciones temporales con elegancia.

Cuando fuerce el modo JSON, describa siempre en el prompt la estructura exacta que desea para que las claves sean predecibles. Especificar el esquema en texto plano junto con el modo JSON le proporciona resultados analizables y válidos en cada ocasión.

Una canalización de prompts para producción consiste en diseñar un system prompt estricto, añadir ejemplos few-shot, forzar la salida JSON cuando sea necesario, contar tokens para gestionar el coste y el contexto, y envolver las llamadas en una lógica de reintento. En conjunto, estas técnicas hacen fiables las funcionalidades basadas en LLM.

Compruebe sus conocimientos sobre prompting en producción.

Aprendió a redactar prompts de sistema estrictos, a orientar el comportamiento mediante ejemplos few-shot y a garantizar respuestas estructuradas con el modo JSON de response_format. Contó tokens con tiktoken para gestionar el contexto y los costes, y añadió resiliencia mediante reintentos de tenacity para los límites de frecuencia.