Prompting zero-shot y few-shot

El prompting zero-shot consiste en pedir al modelo que realice una tarea sin darle ejemplos de cómo hacerlo. Simplemente describa la tarea y permita que el modelo aplique sus conocimientos preentrenados. Funciona bien con tareas que el modelo ha visto muchas veces durante el entrenamiento, como la traducción, el resumen o la clasificación sencilla.

Por ejemplo, pedir al modelo que Clasifique esta reseña como Positiva o Negativa es un prompt zero-shot. Durante el preentrenamiento, el modelo ha asimilado miles de ejemplos de clasificación de sentimientos, por lo que puede realizar la tarea sin que se le muestren ejemplos en el propio prompt.

Los prompts zero-shot son concisos y se basan en el conocimiento incorporado del modelo. Funcionan mejor cuando la tarea es habitual y no presenta ambigüedades. Observe que el prompt siguiente define claramente la tarea sin mostrar ejemplos de resultados correctos.

El prompting zero-shot puede fallar cuando el formato de la tarea es inusual, cuando el modelo debe seguir un esquema de salida poco habitual o cuando necesita un formato coherente que el modelo podría interpretar de forma diferente en cada ejecución. Pedir al modelo que extraiga datos en una estructura JSON muy específica con nombres de campo personalizados es arriesgado como prompt zero-shot, porque el modelo debe adivinar exactamente lo que pretende.

El zero-shot también tiene dificultades con la jerga específica del dominio o con categorías de clasificación muy especializadas que el modelo quizá no haya encontrado con frecuencia durante el preentrenamiento. En estos casos, proporcionar ejemplos mejora notablemente la precisión.

El prompting de pocos ejemplos consiste en proporcionar al modelo entre 2 y 8 ejemplos de la tarea (entrada y salida deseada) antes de presentar su consulta real. Los ejemplos enseñan al modelo el formato exacto y el esquema de clasificación que desea, sin necesidad de ajuste fino ni entrenamiento.

Esta es una de las técnicas más potentes y menos utilizadas de la ingeniería de prompts. El modelo utiliza los ejemplos para inferir el patrón y aplicarlo a la nueva entrada. La investigación del artículo sobre GPT-3 demostró que el rendimiento en muchas tareas aumentaba significativamente con el número de ejemplos, hasta aproximadamente 8; a partir de ahí, las mejoras se estancan y solo desperdicia tokens.

Un prompt de pocos ejemplos sigue un patrón coherente: muestra N ejemplos como pares de entrada y salida, y después presenta la nueva entrada para que el modelo complete la salida. El formato de los ejemplos enseña al modelo el formato exacto de salida que espera.

La calidad de los ejemplos importa tanto como su cantidad. Elija ejemplos que:

• Incluyan casos límite: incluya un ejemplo con una entrada ambigua para que el modelo vea cómo desea que se gestione
• Abarquen todo el espacio de salida: si tiene tres clases, incluya al menos un ejemplo de cada una
• Sean representativos: utilice ejemplos similares en estilo y complejidad a las entradas reales de producción
• Mantengan un formato coherente: cualquier inconsistencia de formato en sus ejemplos se propagará a la salida del modelo

Los ejemplos mal elegidos pueden perjudicar el rendimiento al inducir al modelo a interpretar incorrectamente la distribución de la tarea.

Utilice zero-shot cuando: la tarea sea común y esté bien definida, desee minimizar el coste en tokens o esté iterando rápidamente y todavía sea difícil recopilar ejemplos. Zero-shot también es preferible cuando no desea limitar el conocimiento general del modelo mediante ejemplos.

Utilice few-shot cuando: el formato de salida sea inusual o estricto, tenga categorías específicas de un dominio, zero-shot produzca un formato incoherente o necesite que el modelo siga de forma constante un estilo o tono determinados. Few-shot es especialmente eficaz para la extracción, la clasificación y la generación con restricciones de formato.

La clasificación es uno de los casos de uso más valiosos del prompting de pocos ejemplos. Cuando tiene etiquetas personalizadas que no se corresponden con categorías comunes, proporcionar ejemplos enseña al modelo su taxonomía. Los ejemplos siguientes definen exactamente qué significan Bug, Feature Request y Question en el contexto de los tickets de soporte.

Entre zero-shot y few-shot se encuentra el prompting de un solo ejemplo: proporcionar exactamente un ejemplo. A menudo, esto basta para resolver problemas de formato o aclarar tareas ambiguas, y requiere muchos menos tokens que un prompt completo de pocos ejemplos. El prompting de un solo ejemplo es un buen primer paso cuando zero-shot produce resultados poco fiables.

En la práctica, empiece con zero-shot, evalúe una muestra de entradas reales y añada ejemplos solo donde el modelo falle. Así mantendrá sus prompts concisos y eficientes en tokens, mientras dirige las mejoras allí donde más importan.

En los sistemas de producción, codificar los mismos ejemplos para todas las consultas no es lo óptimo. La selección dinámica de ejemplos recupera del banco de ejemplos etiquetados los más similares a la entrada actual mediante la similitud entre embeddings y, después, incorpora al prompt únicamente esos ejemplos.

De este modo, el modelo siempre ve las demostraciones más relevantes para la entrada específica, en lugar de ejemplos genéricos que podrían no coincidir con el estilo o el dominio de la entrada. Esta técnica combina las ventajas del prompting de pocos ejemplos con la escalabilidad de un sistema de recuperación y, en ocasiones, se denomina prompting aumentado mediante recuperación basado en ejemplos.

El prompting de pocos ejemplos es la forma más fiable de imponer formatos de salida estrictos antes de disponer de salidas estructuradas o del modo JSON. Al mostrar al modelo el formato exacto que espera —incluidos los nombres de los campos, los delimitadores y el orden— aumenta considerablemente la probabilidad de obtener una salida que se pueda analizar.

Termine siempre el prompt de pocos ejemplos con el comienzo del patrón de salida esperado (por ejemplo, la llave de apertura de un objeto JSON o el nombre del primer campo). Esto prepara al modelo para continuar el patrón, en lugar de que posiblemente resuma o comente primero la tarea.

En esta lección ha aprendido que: el prompting zero-shot pide al modelo que realice tareas basándose únicamente en una descripción; el prompting few-shot proporciona entre 2 y 8 ejemplos de entrada y salida para enseñar el formato y la taxonomía; y la selección dinámica de ejemplos recupera los ejemplos más relevantes para cada consulta mediante la similitud entre embeddings. A continuación, exploraremos el prompting de cadena de pensamiento para tareas de razonamiento complejo.