Prompts zero-shot e few-shot

Prompting zero-shot significa pedir ao modelo que execute uma tarefa sem fornecer exemplos de como fazê-la. Você simplesmente descreve a tarefa e permite que o modelo aplique seu conhecimento pré-treinado. Isso funciona bem para tarefas que o modelo encontrou muitas vezes durante o treinamento, como tradução, resumo ou classificação simples.

Por exemplo, pedir ao modelo para Classificar esta avaliação como Positiva ou Negativa é um prompt zero-shot. O modelo absorveu milhares de exemplos de classificação de sentimentos durante o pré-treinamento, portanto consegue executar a tarefa sem receber exemplos no próprio prompt.

Prompts zero-shot são concisos e dependem do conhecimento incorporado ao modelo. Eles funcionam melhor quando a tarefa é comum e não ambígua. Observe que o prompt abaixo define claramente a tarefa sem mostrar exemplos de resultados corretos.

O prompting zero-shot pode falhar quando o formato da tarefa é incomum, quando o modelo precisa seguir um esquema de resultado pouco comum ou quando você precisa de uma formatação consistente que o modelo pode interpretar de maneira diferente a cada execução. Pedir ao modelo que extraia dados em uma estrutura JSON muito específica, com nomes de campos personalizados, é arriscado em um prompt zero-shot, pois o modelo precisa adivinhar exatamente a sua intenção.

O zero-shot também tem dificuldades com jargão específico de um domínio ou categorias de classificação de nicho que o modelo talvez não tenha encontrado com frequência durante o pré-treinamento. Nesses casos, fornecer exemplos melhora significativamente a precisão.

Prompting com poucos exemplos significa fornecer ao modelo de 2 a 8 exemplos da tarefa (entrada e saída desejada) antes de apresentar sua consulta real. Os exemplos ensinam ao modelo o formato exato e o esquema de classificação que você deseja, sem exigir ajuste fino ou treinamento.

Esta é uma das técnicas mais poderosas e subutilizadas da engenharia de prompts. O modelo usa os exemplos para inferir o padrão e aplicá-lo à nova entrada. Pesquisas do artigo sobre GPT-3 mostraram que o desempenho em muitas tarefas aumentava significativamente com o número de exemplos, até cerca de 8; depois disso, os ganhos se estabilizam e você apenas desperdiça tokens.

Um prompt com poucos exemplos segue um padrão consistente: mostre N exemplos como pares de entrada e saída; depois, apresente a nova entrada e deixe o modelo completar a saída. A formatação dos exemplos ensina ao modelo o formato exato da saída que você espera.

A qualidade dos seus exemplos é tão importante quanto a quantidade. Escolha exemplos que:

• Abranjam casos extremos — inclua um exemplo com entrada ambígua para que o modelo veja como você deseja que ela seja tratada
• Cubram o espaço de saída — se você tiver três classes, inclua pelo menos um exemplo de cada uma
• Sejam representativos — use exemplos semelhantes, em estilo e complexidade, às entradas reais de produção
• Tenham formato consistente — qualquer inconsistência de formato nos seus exemplos será propagada para a saída do modelo

Exemplos mal escolhidos podem, na verdade, prejudicar o desempenho ao induzir o modelo a entender incorretamente a distribuição da tarefa.

Use zero-shot quando: a tarefa for comum e bem definida, você quiser minimizar o custo de tokens ou estiver iterando rapidamente e ainda for difícil coletar exemplos. O zero-shot também é preferível quando o conhecimento geral do modelo não deve ser limitado pelos exemplos.

Use poucos exemplos quando: o formato da saída for incomum ou rígido, você tiver categorias específicas do domínio, o zero-shot produzir formatação inconsistente ou precisar que o modelo siga consistentemente um estilo ou tom específico. Poucos exemplos são especialmente eficazes para extração, classification e geração com restrições de formato.

Classification é um dos casos de uso de maior valor para prompting com poucos exemplos. Quando você tem rótulos personalizados que não correspondem a categorias comuns, fornecer exemplos treina o modelo na sua taxonomia. Os exemplos abaixo definem exatamente o que Bug, Feature Request e Question significam no contexto de tíquetes de suporte.

Entre zero-shot e poucos exemplos, existe o prompting com um exemplo: fornecer exatamente um exemplo. Isso geralmente é suficiente para corrigir problemas de formatação ou esclarecer tarefas ambíguas, e custa muito menos tokens do que um prompt completo com poucos exemplos. Usar um exemplo é um bom primeiro passo quando o zero-shot produz resultados pouco confiáveis.

Na prática, comece com zero-shot, avalie uma amostra de entradas reais e adicione exemplos apenas onde o modelo estiver falhando. Assim, seus prompts permanecem enxutos e eficientes em tokens, enquanto você direciona as melhorias para os pontos mais importantes.

Em sistemas de produção, codificar os mesmos poucos exemplos para cada consulta não é o ideal. A seleção dinâmica de poucos exemplos recupera, de um banco de exemplos rotulados, os exemplos mais semelhantes à entrada atual usando similaridade entre incorporações e, em seguida, insere apenas esses exemplos no prompt.

Dessa forma, o modelo sempre vê as demonstrações mais relevantes para a entrada específica, em vez de exemplos genéricos que podem não corresponder ao estilo ou ao domínio da entrada. Essa técnica combina os benefícios do prompting com poucos exemplos com a escalabilidade de um sistema de recuperação e, às vezes, é chamada de prompting aumentado por recuperação baseado em exemplos.

O prompting com poucos exemplos é a maneira mais confiável de impor formatos rígidos de saída antes de você ter acesso a saídas estruturadas ou ao modo JSON. Ao mostrar ao modelo o formato exato que você espera — incluindo nomes de campos, delimitadores e ordenação — você aumenta significativamente a chance de obter uma saída que possa ser analisada.

Finalize sempre seu prompt com poucos exemplos com o início do padrão de saída esperado (por exemplo, a chave de abertura de um objeto JSON ou o nome do primeiro campo). Isso prepara o modelo para continuar o padrão, em vez de possivelmente resumir ou comentar a tarefa primeiro.

Teste sua compreensão dos conceitos de Engenharia de IA desta lição.

Nesta lição, você aprendeu: o prompting zero-shot pede que o modelo execute tarefas apenas com base na descrição, o prompting com poucos exemplos fornece de 2 a 8 exemplos de entrada e saída para ensinar o formato e a taxonomia e a seleção dinâmica de poucos exemplos recupera os exemplos mais relevantes para cada consulta usando similaridade entre incorporações. Em seguida, exploraremos o prompting de cadeia de raciocínio para tarefas de raciocínio complexo.